如何在Spark Submit中添加多个jar?

--jars ${BASE_DIR}/bin/jtds-1.3.1.jar,${BASE_DIR}/bin/jconn3-6.10.jar \
  --driver-class-path net.sourceforge.jtds.jdbc.Driver: com.sybase.jdbc3.jdbc.SybDriver \                 

这是在Spark Submit Shel中添加多个jar的正确方法吗???? l

bluecapucino 回答:如何在Spark Submit中添加多个jar?

根据manual,是正确的方法。如果您还发布了所遇到的错误/行为,这将对您有所疑问会很有帮助?另外,您也可以在应用程序jar中包含这些库。看起来您好像滥用了-driver-class-path net.sourceforge.jtds.jdbc.Driver 参数,它不是用来指定数据库驱动程序的,它是用来修改类的SparkDriver组件的路径。您应在应用程序本身中指定JDBC连接字符串,有关更多详细信息,请参见SPARK JDBC DOC

侧面注意:但是,根据您的spark应用程序,您可能希望工作人员也可以访问DB驱动程序以进行并行访问。

本文链接:https://www.f2er.com/3159937.html

大家都在问