spark:构建SparkSession本地模式,添加本地jar

我正在尝试在本地创建sparksession。我想把它放在罐子里。出于安全原因,我无法使用Maven。

我尝试了以下方法: (Scala或python的答案都可以)

from pyspark.sql import SparkSession
spark = SparkSession.builder\
    .appName('abc')\
    .config("spark.jars","/myfolder/spark-avro_2.12-2.4.4.jar")\
    .master("local[*]")\
    .getOrCreate()
df = spark.read.format("avro").load(file_path)

但是我收到一个错误消息,说它无法实例化会话。我没有使用sparksubmit等。出于特定原因,我正在本地运行它。

kukuming 回答:spark:构建SparkSession本地模式,添加本地jar

暂时没有好的解决方案,如果你有好的解决方案,请发邮件至:iooj@foxmail.com
本文链接:https://www.f2er.com/3148906.html

大家都在问