如何将处理后的 JSON 从 AWS Glue 输出到 DynamoDB？

Question

        {
            "adult": false,
            "backdrop_path": "/example.jpg",
            "belongs_to_collection": null,
            "budget": 350000,
            "genres": [
                {
                    "id": 18,
                    "name": "Drama"
                }
            ],
            "homepage": "",
            "id": 123,
            "imdb_id": "a3f4w4f4",
            "original_language": "en",
            "overview": "Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum",
            "popularity": 27.298,
            "poster_path": "/example.jpg",
            "production_companies": [
                {
                    "id": 60,
                    "logo_path": "/example.png",
                    "name": "example 1",
                    "origin_country": "US"
                },
                {
                    "id": 10212,
                    "logo_path": null,
                    "name": "example 2",
                    "origin_country": ""
                }
            ],
            "production_countries": [
                {
                    "iso_3166_1": "US",
                    "name": "United States of America"
                }
            ],
            "release_date": "1970-04-10",
            "revenue": 1000000,
            "runtime": 97,
            "spoken_languages": [
                {
                    "iso_639_1": "en",
                    "name": "English"
                }
            ],
            "status": "Released",
            "tagline": "Lorem ipsum.",
            "title": "Example name",
            "video": false,
            "vote_average": 8.5,
            "vote_count": 5004
        }

我是 AWS Glue 的新手。据我所知，它创建了一个 zeppelin 笔记本，可以使用关系化变换将您扔给它的 json 展平。然后它通常允许写入 RDS/s3 等。

我没有找到任何关于从 AWSglue 直接导出到 dynamodb 的好信息。上面是我想要存储在 dynamodb 中的集合中的 json 项之一。

json 字段和键与其他 json 项目相同且一致，尽管有些项目具有更少或更多的子项目。

如果 dynamodb 表和架构存在，-- 您可以假设每个 json 键映射到 dynamo 列 -- 我希望 AWS Glue 将此 json 信息插入或更新到 dynamo 中。

我怎么做？AWS Glue 可以重新创建发电机架构吗？我想尽可能自动化

Answer 1

您可以使用glue写入dynamodb，但不能从视觉glue作业设计器写入。你需要写一些Python。这是有关在glue 中使用dynamodb 的文档。您需要向下滚动到有关使用 dynamodb 作为接收器（目标/目的地）的部分。

https://docs.aws.amazon.com/glue/latest/dg/aws-glue-programming-etl-connect.html#aws-glue-programming-etl-connect-dynamodb

那里还有关于读取 json 的文档。它应该正确推断数据类型，但并非总是如此。

实际上，由于 dynamo 只真正关心密钥的数据类型，因此就胶水而言，这就是最重要的。