使用Airflow将本地目录上传到GCS

2024-05-21 • 问答

我正在尝试使用Airflow将目录（包含实木复合地板文件）上传到GCS。为此，我尝试了FileToGoogleCloudStorageOperator。

我尝试了以下选项：

src=<Path>/*.parquet

错误：No such file found

src=<Path>->其中path是目录路径

错误地说：Is a directory

问题

简短答案：目前无法实现。但我会将其作为功能请求，并尝试在即将发布的版本中添加。

到那时，您只能使用BashOperator并使用gsutil来同时复制多个文件。

另一种选择是使用PythonOperator，使用os包列出文件并循环遍历，然后使用GoogleCloudStorageHook.upload上传每个文件。

本文链接：https://www.f2er.com/3069409.html