查询S3路径时,AWS Spectrum返回AccesDenied

我在Airflow中有一个进程,该进程将一些CSV读取到Pandas DF,然后对其执行一些操作,并将结果另存为实木复合地板文件,并存储在S3的另一个存储桶中。

然后我们通过另一个过程读取这些实木复合地板文件。

它在95%的时间内都能正常工作,但有时在读取镶木地板文件时会出现“访问被拒绝”错误。

附带的屏幕截图:

查询S3路径时,AWS Spectrum返回AccesDenied

我了解了有关ACL的信息,因此我将代码设置为:

console.log

但是在为已中断的任务实例再次运行作业之后,它仍然出现相同的问题。

关于如何避免它的任何想法?正如我所说,它只发生了三到四次,并且每小时运行一次。

tianshixincq 回答:查询S3路径时,AWS Spectrum返回AccesDenied

暂时没有好的解决方案,如果你有好的解决方案,请发邮件至:iooj@foxmail.com
本文链接:https://www.f2er.com/1481972.html

大家都在问