我正在使用Spark:1.6.2和MongoDB:3.2.8
我有一个8列和10亿行的数据框。随机写入数据帧为60GB。
我将使用mongo-spark-conector(mongo-spark-connector_2.10)在mongodb中插入该数据框。
MongoSpark.write(sourceValueDf).options(mongoDbOptions).mode(SaveMode.Append).save();
Run Code Online (Sandbox Code Playgroud)
插入需要10个小时以上。
如何提高性能?