小编Swa*_*p P的帖子

Spark到mongo db插入需要60小时才能获取60Gb数据

我正在使用Spark:1.6.2MongoDB:3.2.8

我有一个8列和10亿行的数据框。随机写入数据帧为60GB。

我将使用mongo-spark-conector(mongo-spark-connector_2.10)在mongodb中插入该数据框。

MongoSpark.write(sourceValueDf).options(mongoDbOptions).mode(SaveMode.Append).save();
Run Code Online (Sandbox Code Playgroud)

插入需要10个小时以上。

如何提高性能?

mongodb apache-spark

0
推荐指数
1
解决办法
1858
查看次数

标签 统计

apache-spark ×1

mongodb ×1