如何将数据从AWS Aurora Postgres DB导出到Redshift？

2024-05-04 • 问答

我在 AWS Aurora 上托管了一个 Postgres数据库，我需要从中检索数据并将其插入 Redshift 。

我当前的方法如下：

使用 Psycopg2 创建 Aurora数据库连接。
通过上面创建的 Aurora 连接，查询 Aurora数据库表，并将结果集作为 CSV 文件导出到 S3 strong>使用OUTFILE
使用 Psycopg2 从 S3 ， Redshift 连接。

我正在尝试通过删除 S3 服务并将 Aurora 直接连接到 Redshift 来优化此功能。

这是我想做的找不到资源的事情：

查询 Aurora 表-table1，并将结果集直接导出到 Redshift 表-table1中。

我什至不确定当前系统是否可行。有什么想法吗？

有两种方法可以将数据获取到Amazon Redshift数据库中：

建议使用COPY方法进行常规数据加载。它跨切片并行运行，并在附加数据后尽可能有效地存储数据。

对于{em>少量的插入，INSERT命令是可接受的，但是对于插入大量行不是一个好主意。如有可能，一次插入多行。使用INSERT ... SELECT语句是可以接受的，它可以在一个操作中插入来自不同表的批量数据。

因此，从操作中删除Amazon S3的唯一方法是将数据编码到INSERT语句中，但这不是加载数据的最佳方法。