如何将数据从Glue移动到Dynamodb

Question

我们正在为我们的仪表板应用程序设计一个大数据解决方案,并认真考虑Glue用于我们的初始ETL.目前Glue支持JDBC和S3作为目标,但我们的下游服务和组件将使用dynamodb更好地工作.我们想知道最终将记录从Glue移动到Dynamo的最佳方法是什么.

我们应该首先写入S3然后运行lambdas将数据插入Dynamo吗？这是最好的做法吗？或者我们是否应该为Dynamodb使用第三方JDBC包装器并使用Glue直接写入Dynamo(不确定这是否可行,听起来有点可怕)或者我们应该做其他事情吗？

任何帮助是极大的赞赏.谢谢!

Answer 1

您可以将以下行添加到 Glue ETL 脚本中：

    glueContext.write_dynamic_frame.from_options(frame =DynamicFrame.fromDF(df, glueContext, "final_df"), connection_type = "dynamodb", connection_options = {"tableName": "pceg_ae_test"})

df 应该是 DynamicFrame 类型

Answer 2

对于您的工作负载，Amaon 实际上建议使用数据管道。

它绕过了胶水。所以它主要用于将S3文件加载到Dynamo。但它可能会起作用。