如何在数小时内将大量数据（近10TB）从Oracle DB传输到snowflake？我看到一些诸如Hevo和Fivetran的选项已付款。但是，我需要快速移动数据，以便不必关闭生产系统。
如何在数小时内将大量数据（近10TB）从Oracle DB传输到Snowflake
•
问答
hhxxttxsj 回答：如何在数小时内将大量数据（近10TB）从Oracle DB传输到Snowflake
将数据获取到Snowflake的最快方法是在10MB到100MB的块文件中。然后，您可以利用一个大仓库一次将所有块文件复制到其中。但是，我不能说如何将数据快速从Oracle DB移到S3 / Azure Blob，尤其是在系统运行正常工作负载时。
我建议您查看Snowflake的这份文档，以作为Snowflake方面的参考：https://docs.snowflake.net/manuals/user-guide/data-load-considerations-prepare.htm
,网络速度有问题吗？
无论如何，通过网络传输数据时都应该对其进行压缩。
分期涉及三个位置：
- Oracle数据库
- 提取客户端
- 和云存储。
您有两次数据传输：
- 在数据库和客户端之间，
- 以及客户端和云存储之间。
如果Oracle版本是12cR2或更高版本，则DB客户端在将数据从数据库中取出时可以压缩数据。然后，应再次压缩数据并将其传输到Snowflake目标的云存储中。
最后一步是将数据从云存储加载到Snowflake（在同一数据中心内）...
,理想情况下，您无需关闭生产数据库。您应该能够将数据分类为 1-历史数据将保持不变。您可以随意提取这些数据，并且不要求关闭数据库。 2-相当稳定的静态数据。您还可以随时提取这些数据
在提取其余数据时，只需要保持数据库相当稳定（而不是关闭）即可。这将要求您构建某种方式来跟踪和验证所有数据集。在执行从Oracle提取的过程中，没有理由不让用户继续读取数据库。