Spark Submit命令（请参阅最后的示例命令）正在使用spark-sql_2.11-2.4.0-cdh6.2.0.jar，但是当我将版本升级到spark-sql_2.11-2.4.0- cdh6.2.1.jar停止工作，并失败并显示消息。

命令：

spark-submit --class Spark_Src.class --deploy-mode client --jars /opt/json-simple-1.1.1.jar,/opt/test.jar --conf spark.yarn.maxAppAttempts=1 --conf spark.sql.shuffle.partitions=2000 --conf spark.network.timeout=800 --conf spark.driver.maxResultSize=1024 --conf spark.rpc.message.maxSize=1024 --conf spark.sql.broadcastTimeout=4800 --conf spark.executor.heartbeatInterval=30s --conf spark.dynamicAllocation.executorIdleTimeout=180 --conf spark.dynamicAllocation.enabled=true --conf spark.dynamicAllocation.minExecutors=30 --conf spark.dynamicAllocation.maxExecutors=500 --conf spark.default.parallelism=100 --files /etc/spark2/conf.cloudera.spark2_on_yarn/yarn-conf/hive-site.xml --conf spark.executor.extraJavaOptions=-Dlog4j.configuration=log4j.xml --conf spark.executor.extraJavaOptions=-XX:ParallelGCThreads=4 --conf spark.executor.extraJavaOptions=-XX:+UseParallelGC --conf hive.spark.client.connect.timeout=30000ms --conf hive.spark.client.server.connect.timeout=300000ms --files /opt/log4j.properties --conf "spark.executor.extraJavaOptions='-Dlog4j.configuration=log4j.properties'" --driver-java-options "-Dlog4j.configuration=file:/opt/configs/log4j.properties" /opt/Spark_Src.jar

例外：

  

2019年10月31日上午11:17:54 com.test.BigData $ SparkRunnable运行信息：对于   Spark Trace执行目录名称/ usr / bin / 2019年10月31日上午11:17:54   com.test.BigData $ SparkRunnable运行INFO：对于Spark Trace   执行目录名称/ usr / bin / 2019年10月31日上午11:17:54   com.test.BigData $ SparkRunnable运行信息：输出日志：警告：   忽略非火花配置属性：   hive.spark.client.server.connect.timeout = 300000ms 2019年10月31日   上午11:17:54 com.test.BigData $ SparkRunnable运行INFO：输出日志：   警告：忽略非火花配置属性：   hive.spark.client.connect.timeout = 30000ms 2019年10月31日11:17:54 AM   com.test.BigData $ SparkRunnable运行信息：输出日志：警告：   忽略非火花配置属性：   hive.spark.client.server.connect.timeout = 300000ms 2019年10月31日   上午11:17:54 com.test.BigData $ SparkRunnable运行INFO：输出日志：   警告：忽略非火花配置属性：   hive.spark.client.connect.timeout = 30000ms 2019年10月31日11:17:56 AM   com.test.BigData $ SparkRunnable运行   信息：输出日志：19/10/31 11:17:56错误SparkContext：初始化SparkContext时出错。十月31，2019 11:17:56上午   com.test.BigData $ SparkRunnable运行INFO：输出日志：   org.apache.hadoop.security.KerberosAuthException：登录失败：   对于主体：Kunal@EXAMPLE.COM使用票证缓存文件：   FILE：/ tmp / krb5cc_112_Gk1EN6 javax.security.auth.login.LoginException：   无法从用户获取密码 2019年10月31日，上午11:17:56   com.test.BigData $ SparkRunnable运行信息：输出日志：2019年10月31日   上午11:17:56 com.test.BigData $ SparkRunnable运行INFO：输出日志：at   org.apache.hadoop.security.UserGroupInformation.doSubjectLogin（UserGroupInformation.java:1992）   2019年10月31日上午11:17:56 com.test.BigData $ SparkRunnable运行信息：   输出日志：位于   org.apache.hadoop.security.UserGroupInformation.getUGIFromTicketCache（UserGroupInformation.java:649）   2019年10月31日上午11:17:56 com.test.BigData $ SparkRunnable运行信息：   输出日志：位于   org.apache.spark.deploy.security.HadoopDelegationTokenmanager.doLogin（HadoopDelegationTokenmanager.scala：276）   2019年10月31日上午11:17:56 com.test.BigData $ SparkRunnable运行信息：   输出日志：位于   org.apache.spark.deploy.security.HadoopDelegationTokenmanager.obtainDelegationTokens（HadoopDelegationTokenmanager.scala：140）   2019年10月31日上午11:17:56 com.test.BigData $ SparkRunnable运行信息：   输出日志：位于   org.apache.spark.scheduler.cluster.CoarseGrainedSchedulerBackend $$ anonfun $ start $ 1.apply（CoarseGrainedSchedulerBackend.scala：407）   2019年10月31日上午11:17:56 com.test.BigData $ SparkRunnable运行信息：   输出日志：位于   org.apache.spark.scheduler.cluster.CoarseGrainedSchedulerBackend $$ anonfun $ start $ 1.apply（CoarseGrainedSchedulerBackend.scala：401）   2019年10月31日上午11:17:56 com.test.BigData $ SparkRunnable运行信息：   输出日志：位于scala.Option.foreach（Option.scala：257）2019年10月31日   上午11:17:56 com.test.BigData $ SparkRunnable运行INFO：输出日志：at   org.apache.spark.scheduler.cluster.CoarseGrainedSchedulerBackend.start（CoarseGrainedSchedulerBackend.scala：401）   2019年10月31日上午11:17:56 com.test.BigData $ SparkRunnable运行信息：   输出日志：位于   org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.start（YarnClientSchedulerBackend.scala：46）   2019年10月31日上午11:17:56 com.test.BigData $ SparkRunnable运行信息：   输出日志：位于   org.apache.spark.scheduler.TaskSchedulerImpl.start（TaskSchedulerImpl.scala：184）   2019年10月31日上午11:17:56 com.test.BigData $ SparkRunnable运行信息：   输出日志：位于   org.apache.spark.SparkContext。（SparkContext.scala：511）10月31日，   2019 11:17:56 AM com.test.BigData $ SparkRunnable运行INFO：输出日志：   在org.apache.spark.SparkContext $ .getOrCreate（SparkContext.scala：2549）   2019年10月31日上午11:17:56 com.test.BigData $ SparkRunnable运行信息：   输出日志：位于   org.apache.spark.sql.SparkSession $ Builder $$ anonfun $ 7.apply（SparkSession.scala：944）   2019年10月31日上午11:17:56 com.test.BigData $ SparkRunnable运行信息：   输出日志：位于   org.apache.spark.sql.SparkSession $ Builder $$ anonfun $ 7.apply（SparkSession.scala：935）   2019年10月31日上午11:17:56 com.test.BigData $ SparkRunnable运行信息：   输出日志：位于scala.Option.getOrElse（Option.scala：121）2019年10月31日   上午11:17:56 com.test.BigData $ SparkRunnable运行INFO：输出日志：at   org.apache.spark.sql.SparkSession $ Builder.getOrCreate（SparkSession.scala：935）   2019年10月31日上午11:17:56 com.test.BigData $ SparkRunnable运行信息：   输出日志：at Spark_Src.main（Spark_Src.java:104）2019年10月31日   上午11:17:56 com.test.BigData $ SparkRunnable运行INFO：输出日志：at   sun.reflect.NativeMethodaccessorImpl.invoke0（本机方法），10月31日，   2019 11:17:56 AM com.test.BigData $ SparkRunnable运行INFO：输出日志：   在   sun.reflect.NativeMethodaccessorImpl.invoke（NativeMethodaccessorImpl.java:62）   2019年10月31日上午11:17:56 com.test.BigData $ SparkRunnable运行信息：   输出日志：位于   sun.reflect.DelegatingMethodaccessorImpl.invoke（DelegatingMethodaccessorImpl.java:43）   2019年10月31日上午11:17:56 com.test.BigData $ SparkRunnable运行信息：   输出日志：java.lang.reflect.Method.invoke（Method.java:498）   31，2019 11:17:56 AM com.test.BigData $ SparkRunnable运行INFO：输出   日志：位于   org.apache.spark.deploy.JavaMainApplication.start（SparkApplication.scala：52）   2019年10月31日上午11:17:56 com.test.BigData $ SparkRunnable运行信息：   输出日志：位于   org.apache.spark.deploy.SparkSubmit.org $ apache $ spark $ deploy $ SparkSubmit $$ runmain（SparkSubmit.scala：851）   2019年10月31日上午11:17:56 com.test.BigData $ SparkRunnable运行信息：   输出日志：位于   org.apache.spark.deploy.SparkSubmit.doRunmain $ 1（SparkSubmit.scala：167）   2019年10月31日上午11:17:56 com.test.BigData $ SparkRunnable运行信息：   输出日志：位于   org.apache.spark.deploy.SparkSubmit.submit（SparkSubmit.scala：195）十月   31，2019 11:17:56 AM com.test.BigData $ SparkRunnable运行INFO：输出   日志：位于   org.apache.spark.deploy.SparkSubmit.doSubmit（SparkSubmit.scala：86）十月   31，2019 11:17:56 AM com.test.BigData $ SparkRunnable运行INFO：输出   日志：位于   org.apache.spark.deploy.SparkSubmit $$ anon $ 2.doSubmit（SparkSubmit.scala：926）   2019年10月31日上午11:17:56 com.test.BigData $ SparkRunnable运行信息：   输出日志：位于   org.apache.spark.deploy.SparkSubmit $ .main（SparkSubmit.scala：935）十月   31，2019 11:17:56 AM com.test.BigData $ SparkRunnable运行INFO：输出   日志：位于org.apache.spark.deploy.SparkSubmit.main（SparkSubmit.scala）   2019年10月31日上午11:17:56 com.test.BigData $ SparkRunnable运行信息：   输出日志：19/10/31 11:17:56错误SparkContext：初始化错误   SparkContext。 2019年10月31日11:17:56 com.test.BigData $ SparkRunnable   运行信息：输出日志：   org.apache.hadoop.security.KerberosAuthException：登录失败：   对于主体：Kunal@EXAMPLE.COM使用票证缓存文件：   FILE：/ tmp / krb5cc_112_Gk1EN6 javax.security.auth.login.LoginException：   无法从用户Oct 31,2019 11:17:56获取密码   com.test.BigData $ SparkRunnable运行