我希望有人经过相同的过程,并且可以帮助我看看是否存在以下情况。
我目前正在构建一个从S3存储桶复制的管道。该存储桶包含大量文件夹。从S3存储桶复制数据时,Azure数据工厂是否有办法忽略文件夹,而只复制文件本身?我已经了解到COPY活动具有“扁平化的层次结构”,但是我看到的最大限制是所有文件都被重命名,而且我不确定这些文件夹中是否包含所有文件,因为它提到了它仅在“目标文件夹的第一级”中。
另一个问题是S3存储桶具有嵌套的文件夹(例如:“ domain / yyyy / mm / dd / file”),有些文件夹包含数据,有些则没有。唯一的好处是所有这些文件都包含相同的架构。
该管道的最终结果如下:
1)从S3存储桶中复制文件而不复制文件夹结构 2)将文件加载到Azure数据库
如果有人使用Azure Data Factory或其他工具做了类似的事情,我将不胜感激您的见识。