因此，我最初将 application.properties 文件保存在运行 spark-submit 的同一目录中。

我的命令是这样的：

spark-submit --class MyPackage.MyClass 
--jars s3://dir1/dep1.jar,s3://dir1/dep2.jar 
--files application.properties
--conf spark.driver.extraJavaOptions=-Dconfig.file=./application.properties 
--conf spark.executor.extraJavaOptions=-Dconfig.file=./application.properties
s3://dir1/my_code.jar 
arg1 arg2

这按预期工作。

现在我也想在 S3 中保留我的 application.properties 文件。我编辑了 --files 标志以包含我的配置文件的 S3 路径。但它仍在获取我之前使用的文件，而不是新的 S3 文件。这可能与我的 --conf 标志有关。

请让我知道我需要做什么才能完成这项工作。

目标：从 S3 中提取并使用配置文件 注意：我在 EMR 上执行此操作，因此连接到 S3 不是问题。无论如何，jar 只是从 S3 加载，所以连接到 S3 没有问题。