我正在使用AWS Notebook。我可以运行基于常规scala的spark作业,而无需第三方库依赖项。但是我想加载一些常见的库,例如typesafe-config,mysql-connector等。
如何在AWS的Scala Spark Notebook中添加这些库依赖项?
我尝试将这些摘要添加到笔记本的第一个单元格中,但均无效
%%configure -f
{
"conf": {
"spark.jars": "s3://bucket-xxx/jars/lib/config-1.3.1.jar"
}
}
以及
%%configure -f
{
"conf": {"spark.jars.packages": "com.typesafe:config:1.3.1,mysql:mysql-connector-java:8.0.17"},"jars": ["s3://bucket-xxx/jars/lib/"]
}
都抛出了错误
控制台>:29:错误:对象ConfigFactor不是软件包的成员 com.typesafe.config 导入com.typesafe.config.ConfigFactor
当我尝试导入类型安全配置时
import com.typesafe.config.ConfigFactor
我也尝试在笔记本元数据中添加Maven坐标为
"customDeps": [
"com.typesafe:config:1.3.1"
]
得到
错误:对象typesafe不是com包的成员 导入com.typesafe.config.ConfigFactor