标签: aws-dms

创建复制任务时,如果源数据库中有任何更改,则会在目标数据库中复制它.

那么只想了解更多有关此服务内部如何运作的信息？

• 我的理解 DMS具有侦听器服务,用于在触发源时侦听触发器/事件,并且侦听器收集这些事件/触发器并在目标上同时触发它们,在正在进行的复制中实现了一种流式概念并且在加载批处理时已经实现.

您能否请更多地向我澄清内部情况,或者请与我分享任何高级设计参考资料.

我需要对此进行更多澄清

I'm trying to set up an Aurora Postgres target endpoint on AWS DMS and I'm getting the error below when testing. There are no special permissions set up on the secret. The IAM role has SecretsManagerReadWrite attached and trusts dms.us-west-2.amazonaws.com. Attached below is a screenshot of the setup screen.

Note that I do currently have one (regular Postgres) target endpoint already set up, and I get the same error when trying to just recreate that one. Any advice would …

我有 2 个 Aws RDS 实例（在 Postgresql 上运行）。两者都在不同的帐户和不同的地区。我想使用 AWS DMS 在它们之间设置数据复制。我尝试过进行 VPC 对等互连。我观看了以下视频以启用 VPC 对等互连：-

https://www.youtube.com/watch?v=KmCEFGDTb8U

问题：- 当我尝试创建 AWS DMS 服务时，我为源添加了主机名、用户名和密码等（存在于其他账户上），当我点击 时Test Connection，出现以下错误。

Test Endpoint failed: Application-Status: 1020912, Application-Message: Failed to connect Network error has occurred, Application-Detailed-Message: RetCode: SQL_ERROR SqlState: 08001 NativeError: 101 Message: [unixODBC]timeout expired ODBC general error.

Test Connection令我惊讶的是，当我点击同一账户中的目标 RDS 实例时，我收到了类似的错误。IE：-

Test Endpoint failed: Application-Status: 1020912, Application-Message: Cannot connect to ODBC provider Network error has occurred, Application-Detailed-Message: RetCode: SQL_ERROR SqlState: 08001 NativeError: 101 Message: [unixODBC]timeout …

我最近开始使用 AWS 数据迁移服务 (DMS) 并遇到了一些问题。

目前正在尝试将 10GB 的 Oracle 数据库迁移到 AWS RDS Postgres。工作，但有疯狂的（？）内存要求。感觉就像将整个数据库加载到内存中......从dms.r4.large（15.5GB）开始， 但can not allocate memory在大约之后。98%.... 运行流畅dms.r4.xlarge（30.5GB）

正如您在屏幕截图中看到的（可用内存，最小值），当任务完成（或崩溃）时，在所有内存被释放之前，实例一直在“满”运行。

是否有任何设置可以改变这一点，为什么它会这样？它使整个任务变得不必要昂贵......

我正在尝试使用 AWS DMS 将 Oracle 数据库迁移到 AWS RDS，但任务失败：

2018-05-18T13:57:30 [TASK_MANAGER ]I: Task 'NEAH4DHCL65GY5WNXKFJCQ6QJQ' running full load and CDC in fresh start mode (replicationtask.c:1078)
2018-05-18T13:57:30 [TASK_MANAGER ]I: Task Id: 80e1f63b-e4e3-4ee7-bc61-2ce40f2c2119 (replicationtask.c:2700)
2018-05-18T13:57:31 [TASK_MANAGER ]I: Creating threads for all components (replicationtask.c:1681)
2018-05-18T13:58:06 [TASK_MANAGER ]I: Threads for all components were created (replicationtask.c:1836)
2018-05-18T13:58:06 [TASK_MANAGER ]I: Task initialization completed successfully (replicationtask.c:2759)
2018-05-18T13:58:06 [TARGET_APPLY ]I: Target endpoint 'Oracle' is using provider syntax 'Oracle' (provider_syntax_manager.c:589)
2018-05-18T13:58:06 [TARGET_APPLY ]I: Working in transactional apply mode (endpointshell.c:1440)
2018-05-18T13:58:07 [SOURCE_CAPTURE …

我正在尝试创建 DMS（数据库迁移服务）实例，但出现以下错误：

SYSTEM ERROR MESSAGE:The IAM Role arn:aws:iam::<account_id>:role/dms-vpc-role is not configured properly

我应该创建什么角色以及我应该将它分配给什么角色？

我正在尝试在 AWS 上创建数据迁移任务，以便将数据从一个 RDS 实例迁移到另一个实例。源端点的实例密码包含特殊字符 (+&;) 并且用大括号括起来（如 aws 文档中建议的那样）不起作用。我成功创建了目标端点。

我错过了什么吗？

更新

使用 aws cli 创建端点时，会发生同样的问题：

An error occurred (InvalidParameterValueException) when calling the CreateEndpoint operation: 
The parameter Password contains at least one unsupported characters from following list : ;+%

如果不更改密码，真的没有办法做到这一点吗？

错误-

2019-06-17T05:00:11 [SOURCE_CAPTURE ]E: RetCode: SQL_ERROR SqlState: 58P01 NativeError: 1 Message: ERROR: could not access file "pglogical": No such file or directory;, Error while executing the query [1022502] (ar_odbc_stmt.c:2546)
2019-06-17T05:00:11 [SOURCE_CAPTURE ]E: RetCode: SQL_ERROR SqlState: 42P01 NativeError: 1 Message: ERROR: relation "pglogical.replication_set" does not exist;, No query has been executed with that handle [1022502] (ar_odbc_stmt.c:3722)

我们每3个月左右收到一次此错误。重新启动任务可以解决问题，但是恢复不起作用。

复制插槽已存在，但似乎处于非活动状态-

   postgres=> select * from pg_replication_slots ;
                               slot_name                            |    plugin     | slot_type | datoid |   database    | active | active_pid | xmin | catalog_xmin …

我正在尝试使用 DMS 将数据从 oracle 实例移动到 postgres RDS。我仅执行完整加载操作，并且已禁用目标上的所有外键。我还确保同一表的列之间的数据类型不会不匹配。我在目标表准备模式下尝试了“不执行任何操作”和“截断”，当我运行该任务时，多个表失败并显示以下错误消息：

[TARGET_LOAD ]E: Command failed to load data with exit error code 1, Command output: <truncated> [1020403] (csv_target.c:981)
[TARGET_LOAD ]E: Failed to wait for previous run [1020403] (csv_target.c:1578)
[TARGET_LOAD ]E: Failed to load data from csv file. [1020403] (odbc_endpoint_imp.c:5648)
[TARGET_LOAD ]E: Handling End of table 'public'.'SKEWED_VALUES' loading failed by subtask 6 thread 1 [1020403] (endpointshell.c:2416)

DMS 没有给出正确的错误信息，我无法理解上述错误消息的含义。

当我使用“在目标上删除表”作为目标表准备模式时，它可以工作，但它以我不想要的不同方式创建列的数据类型。

任何帮助，将不胜感激。

您好，我想将数据从一个 Postgres RDS 实例迁移到另一个实例。但是我的数据库包含具有外键约束的表。根据提供的官方迁移文档，AWS DMS 仅迁移所需的架构，不会迁移外键和其他二级索引。因此，我现在采用的方法是，首先手动迁移架构，然后在目标模式设置为不执行任何操作的情况下运行 DMS 作业。但是，我的加载因外键约束冲突错误而失败，因为 DMS 尝试并行迁移表，并且可能并行选择父子表进行加载。我尝试按照官方文档中的建议设置 session_replication_role=replica 以在会话级别暂时禁用约束，但这似乎也没有得到应用（注意：AWS DMS 文档中说该属性仅适用于 CDC 模式，因此尝试了也一样，但似乎没有得到应用，我面临着同样的外键约束违规问题）。谁能帮助如何实现这一目标？