小编wha*_*aha的帖子

sparksql 如何批量插入数据到mysql?

全部。最近需要用sparksql往mysql中插入1亿左右的数据,但是速度比较慢,大概1小时左右。有人可以有一种有效的插入方式吗?

mysql 配置 =>

prop.setProperty("user", "user")
prop.setProperty("password", "password")
prop.setProperty("rewriteBatchedStatements", "true")
prop.setProperty("batchsize", "1000000")
prop.setProperty("numPartitions", "3000") 
Run Code Online (Sandbox Code Playgroud)

mysql apache-spark apache-spark-sql

2
推荐指数
1
解决办法
3047
查看次数

标签 统计

apache-spark ×1

apache-spark-sql ×1

mysql ×1