从Dynamodb生成报告

Question

我是DynamoDB的新手,我想知道从这个键/值对数据存储生成报告与从DBMS生成报告是否有任何区别.

我的(Java)应用程序将数据写入DynamoDB,我希望从中生成业务报告(例如销售报告).

据我所知,亚马逊提供EMR(弹性地图缩减),进一步阅读它下面有Hive,这将允许我使用SQL语法来查询DynamoDB.

如果我的数据少于50GB,那么使用EMR对此任务是否过度杀伤？

Answer 1

是的,hive使用SQL语法.Hive仍然是用java编写的,它仍然是java.Hive wiki是一个很好的起点.这是一篇关于将Dynamo DB与EMR一起使用的好文章 http://aws.amazon.com/articles/28549

如果我的数据少于50GB,那么使用EMR对此任务是否过度杀伤？

我不这么认为,一旦你有EMR设置并将发电机表导出到s3或内部hadoop表.然后,您可以查询S3或内部hadoop表,而不会影响DynamoDB的临时吞吐量容量.由于S3非常快,您可以编写所有类型的复杂配置单元查询以获取所需的报告.

启动EMR 的命令行工具非常容易设置,如果您想省钱,您可以随时竞标现货实例.

此外,当作业运行缓慢时,您可以增加核心和任务节点,以便在需要时快速运行作业.