Python AWS Glue日志针对上传的python zip包说“将不带前缀的文件视为python额外文件”

2024-04-30 • 问答

在AWS Glue中，完成一个简单的熊猫工作，即在XLSX中读取数据并写入CSV。我有一个小代码。按照Python Glue的说明，我压缩了所需的库，并在执行时将as包提供给Glue Job。

问题：以下日志传达了什么内容？

Considering file without prefix as a python extra file s3://raw-data/sampath/scripts/s3fs/fsspec.zip
Considering file without prefix as a python extra file s3://raw-data/sampath/scripts/s3fs/jmespath.zip
Considering file without prefix as a python extra file s3://raw-data/sampath/scripts/s3fs/s3fs.zip
....

请详细举例吗？

poee223 回答：Python AWS Glue日志针对上传的python zip包说“将不带前缀的文件视为python额外文件”

在python shell作业中，您应该在egg文件而不是zip文件中添加外部库。压缩文件用于Spark作业。

我还编写了小的shell脚本来部署python shell作业，而无需手动步骤来创建egg文件并上传到s3并通过cloudformation进行部署。脚本会自动完成所有操作。您可以在https://github.com/fatangare/aws-python-shell-deploy上找到代码。脚本将获取csv文件，并使用熊猫和xlswriter库将其转换为excel文件。

amazon-web-services aws-glue

本文链接：https://www.f2er.com/3159476.html

Python AWS Glue日志针对上传的python zip包说“将不带前缀的文件视为python额外文件”

poee223 回答：Python AWS Glue日志针对上传的python zip包说“将不带前缀的文件视为python额外文件”

大家都在问