标签: amazon-dms

我们尝试使用S3 Source设置DMS但是我们无法将复制实例连接到Source S3端点.

当我们在源端点上运行连接测试时,我们收到的错误是:

Error Details: [errType=ERROR_RESPONSE, status=1020414, errMessage= Failed to connect to database., errDetails=]

我们已按照文档进行操作,但仍然无法使连接正常工作.桶是,复制实例可以访问VPC内,且IAM角色具有GetObject,ListBucket和dms*权限.我95%确定JSON映射文件已正确设置,架构和表名称指向正确的位置.

由于缺少错误消息或详细原因导致我们无法连接到源数据库(S3存储桶/ CSV文件),因此调试此操作感觉有点不合时宜.我们正在使用亚马逊控制台,而不是CLI,如果这有很大的不同.

我正在尝试使用 Amazon DMS 监听 Aurora 数据库更改并将更改推送到 Kinesis 流，其中监听流的 Lambda 函数将进行处理。

我指的是下面的文档来编写我的规则。

https://docs.aws.amazon.com/dms/latest/userguide/CHAP_Target.Kinesis.html https://aws.amazon.com/blogs/database/use-the-aws-database-migration-service-to -stream-change-data-to-amazon-kinesis-data-streams/

这是我的 DMS 持续复制 (CDC) 任务的规则映射。

{
    "rules": [
        {
            "rule-type": "selection",
            "rule-id": "1",
            "rule-name": "1",
            "object-locator": {
                "schema-name": "my_db",
                "table-name": "my_table"
            },
            "rule-action": "include"
        },
        {
            "rule-type": "object-mapping",
            "rule-id": "2",
            "rule-name": "2",
            "rule-action": "map-record-to-record",
            "object-locator": {
                "schema-name": "my_db",
                "table-name": "my_table"
            },
            "mapping-parameters": {
                "partition-key": {
                    "attribute-name": "my_id",
                    "value": "${my_id}"
                }
            }
        }
    ]
}

但是，当我对源表进行更改时，DMS 任务失败并出现以下错误。

2019-02-05T10:36:55 [TARGET_APPLY ]E: Error allocating memory for Json document [1020100] …