我是Spark的新手。我还在学习。我有一些想发表意见的问题。
-
我必须为应该适合作为spark作业运行的分析方法准备jar文件。
-
jar是否必须是可执行的/可运行的？
-
我可以使用几种方法将jar准备为库
-
-
对于我来说，我具有分析的输入和输出
在这里，我可以在火花中传递输入json并获取输出json吗？
步骤是什么？
任何帮助或阅读链接会有所帮助吗？
如何在Spark中运行分析？
•
问答
a123zxxc 回答：如何在Spark中运行分析？
- 您的第一个问题基本上是询问如何使用Java API运行Spark。这是一些我认为对您有用的代码
SparkLauncher launcher = new SparkLauncher()
setAppName(config.getString("appName"))
.setSparkHome(sparkHomePath)
.setAppResource(pathToYourJar)
.setMaster(masterUrl)
.setMainClass(fullNameOfMainClass);
您可能需要添加launcher.addJar(...)
创建一个SparkAppHandle.Listener实例
SparkAppHandle handle = launcher.startApplication(sparkJobListener);
“我可以在火花中传递输入json并获取输出json吗？” 如果您希望读取JSON作为输入，可以按照此link
中的说明进行操作