我正在尝试在本地创建sparksession。我想把它放在罐子里。出于安全原因,我无法使用Maven。
我尝试了以下方法: (Scala或python的答案都可以)
from pyspark.sql import SparkSession
spark = SparkSession.builder\
.appName('abc')\
.config("spark.jars","/myfolder/spark-avro_2.12-2.4.4.jar")\
.master("local[*]")\
.getOrCreate()
df = spark.read.format("avro").load(file_path)
但是我收到一个错误消息,说它无法实例化会话。我没有使用sparksubmit等。出于特定原因,我正在本地运行它。