EMR dyanmodb导出失败,因为表容量设置为按需

G.S*_*.Su 6 amazon-web-services amazon-dynamodb

将dynamodb表的容量更改为按需后,导出dynamodb表的数据管道作业因此错误而失败。

Exception in thread "main" java.lang.RuntimeException: Read throughput should not be less than 1. Read throughput percent: 0.0
at org.apache.hadoop.dynamodb.read.AbstractDynamoDBInputFormat.getSplits(AbstractDynamoDBInputFormat.java:51)
at org.apache.hadoop.mapreduce.JobSubmitter.writeOldSplits(JobSubmitter.java:520)
at org.apache.hadoop.mapreduce.JobSubmitter.writeSplits(JobSubmitter.java:512)
at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:394)
Run Code Online (Sandbox Code Playgroud)

任何解决此问题的方法?

谢谢

--gsu

Kir*_*irk 2

我联系 AWS 支持进行确认,但被告知 EMR DynamoDB 连接器尚未正式支持使用按需配置的表。因此,您很可能需要将表切换回预配置容量作为解决方法。

编辑:自 2019 年 1 月 23 日起,DynamoDB 的 EMR 连接器支持设置为 按需计费 的表