如何将数据从 Cassandra 导出到 mongodb？

Question

我正在使用 Apache (Kafka-Storm-Cassandra) 进行实时处理。我面临的问题是我不能直接在 Cassandra 上使用聚合查询（可以使用 Datastax，但它是一项付费服务​​）。此外，我还考虑使用 mongodb 但它不适合更多和频繁的写入。因此，我正在考虑在 Storm 中进行所有计算并将其存储到 Cassandra 中，然后每隔一小时左右将其移动到 mongodb 以执行我的进一步分析。

这是正确的方法还是有更好的选择来实现这一目标？

Also, How can I export data directly from Cassandra to mongodb prefebly using JAVA?

提前致谢 ！！

Answer 1

在不知道您的全部要求的情况下，无法预测插入/更新的数量是一种好方法还是坏方法。Mongo 不太适合大量写入，但它可以支持相当好的 no。的插入。如此重要的是每单位时间你有多少写入，并基于此你可以做出决定。

我已经看到 Mongo 在服务器级机器上每秒写入 1000-2000 次，平均 4-5 毫秒。当然 Cassandra 以微弱优势击败它，但如果您需要执行任何聚合，那么 Mongo 具有更好的框架和功能。

对于导出和导入，可以使用平面 csv。Cassandra 可以将数据导出到 csv，MongoDB 可以使用导出/导入选项从 csv 导入数据。

检查MongoImport并从 cassandra 导出，例如，

copy employee (emp_id, dept, designation, emp_name, salary)
 to 'employee.csv';