我需要我正在研究的项目的专家意见。当前，我们使用调用存储过程的本地脚本来获取加载到Azure sql数据库中的数据文件。我正计划用ssis作业替换脚本以将数据加载到我们的Azure Sql中，但是想知道这是否是一个不错的选择，我也接受不同的建议。我们经历的过程是将数据文件加载到临时表并在对活动表进行更新之前进行验证。验证和更新是通过调用存储过程来完成的...因此，ssis软件包将仅加载数据并调用这些存储过程。我看过ADF IR和Databricks，但它们似乎有些过分，但也很乐意听到有使用它们经验的人们。我目前也在本地运行ssis软件包。关于此方案的更好的体系结构或工具有什么建议吗？谢谢！
dn5681 回答：在Azure SQL中提取和处理数据的选项
您可以仅从Azure Blob存储中批量插入数据：
然后，您可以使用ADF（无IR）或Databricks或Azure Batch或Azure Elastic Jobs安排执行时间。
,我肯定会看看Azure Data Factory数据流。这样，您可以在Azure数据工厂GUI中轻松构建ETL管道。
在以下示例中，读取，合并了来自Blob存储的两个文本文件，添加了代理密钥，最后将数据加载到Azure Synapse Analytics（对于Azure SQL，将是相同的）：
最后，您将此映射数据流放入管道中并可以触发它，例如。 G。如果有新数据到达。