在主python文件中导入其他python文件,该文件用于提交数据块的火花

我天蓝色地创建了一个数据块。我已经启动了一个工作区和一个集群。 我已经将主要的python文件放置在databrick文件系统中。 dbfs:/FileStore/tables/read_batch.py​​

此read_batch.py​​已从名为 my_util 的目录中导入了另一个python文件。 在

中的用法
  

从my_util.apps_config导入crct_type_list

我将apps_config.py放置在 my_util 目录中,该目录与主python文件read_batch.py​​平行。即 my_util 目录也位于dbfs:/ FileStore / tables中。

当我尝试在数据块中创建火花提交作业时,出现以下错误,

ImportError: No module named 'my_util'

在数据块中将所有内容放入单个大python文件中运行此火花提交作业的正确方法是什么?

yunafangzxcv 回答:在主python文件中导入其他python文件,该文件用于提交数据块的火花

我压缩了相关文件并上传了文件。我已经使用

将内容zip文件导入了主要的python文件中。
  

导入系统
   sys.path.insert(0,jobs.zip)

在使用 “-py-files jobs.zip” 提交Spark期间包含的zip文件。 请参考以下链接,其中讨论了spark提交的最佳做法。 https://developerzen.com/best-practices-writing-production-grade-pyspark-jobs-cb688ac4d20f

本文链接:https://www.f2er.com/3110374.html

大家都在问