使用SSIS/SSDT进行Redshift

Question

有没有人成功使用Amazon Redshift作为SQL Server Data Tools 2012中的源或目标ODBC组件？

我安装了亚马逊提供的PostgreSQL驱动程序并成功测试了Windows ODBC驱动程序管理员中的连接,但在我选择保存的DSN并尝试拉出表格列表时,仍然遇到了一些神秘的错误消息.

Answer 1

Redshift 基于相当旧版本的 Postgres (8.0)。从那时起，Postgres 发生了很大的变化，Postgres 工具也随之发生了变化。下载任何与 Redshift 一起使用的工具时，您可能需要使用几年前的旧版本。

表列表问题特别烦人，但我还没有找到psql可以正确列出 Redshift 表的版本。作为替代方案，您可以使用INFORMATION_SCHEMA表格来查找此类信息，在我看来，这就是 SSIS/SSDT 默认情况下应该执行的操作。

我不希望 SSIS 能够可靠地将数据加载到 Redshift 中，即创建 Redshift 目标。这是因为 Redshift 并不真正支持INSERT INTO作为加载数据的方式。如果使用，INSERT INTO每秒只能加载约 10 行。Redshift 只能使用该COPY命令从 S3 或 DynamoDB 快速加载数据。

我尝试过的所有其他 ETL 工具都有类似的情况，尤其是开源工具 Pentaho PDI（又名 Kettle）和 Talend Open Studio。这在 Talend 的情况下尤其令人烦恼，因为他们有 Redshift 组件，但实际上尝试用于INSERT INTO加载。即使亚马逊自己的 ETL 工具 Data Pipeline 还不支持 Redshift 作为“节点”。