如何将JAR文件上传到Serverr

我已经创建了Scala Spark代码的JAR文件,并在本地系统上成功运行了该JAR文件。我想在群集上执行该JAR文件,为此,我必须将JAR文件推送到服务器。如何将我的JAR文件上传到服务器?

我用Maven创建JAR文件

kangzhai77 回答:如何将JAR文件上传到Serverr

您可以在构建SparkSession之前使用setJars告诉Spark在哪里找到要部署到集群的jar文件。

sparkConf.setJars(List(conf.getString("spark.oneJar")))
val sparkSession:SparkSession=SparkSession.builder().config(sparkConf).getOrCreate()

在我的情况下,我使用maven-shade-plugin在编译时构建oneJar,然后将其从目标目录部署到Spark Cluster。

,

只需登录到本地Spark集群中的节点,然后在终端中执行以下命令

$ spark-submit --class your.package.name.ClassName /home/username/your-created-jar-using-maven.jar

/home/username/your-created-jar-using-maven.jar是保存JAR文件的位置,而your.package.name.ClassName是完全限定的类位置。

请参阅“火花提交”的可用选项:https://jaceklaskowski.gitbooks.io/mastering-apache-spark/spark-submit.html

,

您可以使用MobaXterm看一下。使用SSH连接到群集,然后就可以拖放文件。

enter image description here

本文链接:https://www.f2er.com/3055397.html

大家都在问