我想知道是否有任何java库支持从apache spark(Mesos)读/写dynamo db(AWS),我知道有一些库支持EMR spark每篇文章 https:// aws. amazon.com/blogs/big-data/analyze-your-data-on-amazon-dynamodb-with-apache-spark/ .请告知.
谢谢Pradeep
我正在使用spark 1.4代码,现在我们计划转向spark 2.0,当我查看下面的文档时,只有一些向后兼容的功能,这是否意味着我已经更改了我的大部分代码？
Spark 2.0中最大的变化之一是新的更新API:
- 统一DataFrame和Dataset:在Scala和Java中,DataFrame和Dataset已经统一,即DataFrame只是Row的Dataset的类型别名.在Python和R中,由于缺乏类型安全性,DataFrame是主要的编程接口.
- SparkSession:新的入口点,用于替换DataFrame和Dataset API的旧SQLContext和HiveContext.保留SQLContext和HiveContext以实现向后兼容.
- SparkSession的全新简化配置API
- 更简单,更高性能的累加器API
- 用于数据集中类型聚合的新的改进聚合器API