如何在AWS EMR笔记本中加载库/ Maven依赖项

我正在使用AWS Notebook。我可以运行基于常规scala的spark作业,而无需第三方库依赖项。但是我想加载一些常见的库,例如typesafe-config,mysql-connector等。

如何在AWS的Scala Spark Notebook中添加这些库依赖项?

我尝试将这些摘要添加到笔记本的第一个单元格中,但均无效

 %%configure -f
    {
        "conf": {
            "spark.jars": "s3://bucket-xxx/jars/lib/config-1.3.1.jar"
        }
    }

以及

%%configure -f
{
"conf": {"spark.jars.packages": "com.typesafe:config:1.3.1,mysql:mysql-connector-java:8.0.17"},"jars": ["s3://bucket-xxx/jars/lib/"]

}

都抛出了错误

  

控制台>:29:错误:对象ConfigFactor不是软件包的成员   com.typesafe.config          导入com.typesafe.config.ConfigFactor

当我尝试导入类型安全配置时

import com.typesafe.config.ConfigFactor

我也尝试在笔记本元数据中添加Maven坐标为

"customDeps": [
        "com.typesafe:config:1.3.1"
    ]

得到

  

错误:对象typesafe不是com包的成员          导入com.typesafe.config.ConfigFactor

zl1002007 回答:如何在AWS EMR笔记本中加载库/ Maven依赖项

您在输入行中有错字,应该是

import com.typesafe.config.ConfigFactory

此外,Jupyter笔记本中需要此单元格

%%configure -f 
{
  "jars": ["s3://test/libs/config-1.3.1.jar"],"conf": {"spark.jars.packages": "com.typesafe:config:1.3.1"}
}

我希望这会有所帮助。

本文链接:https://www.f2er.com/3127922.html

大家都在问