全部。最近需要用sparksql往mysql中插入1亿左右的数据,但是速度比较慢,大概1小时左右。有人可以有一种有效的插入方式吗?
mysql 配置 =>
prop.setProperty("user", "user")
prop.setProperty("password", "password")
prop.setProperty("rewriteBatchedStatements", "true")
prop.setProperty("batchsize", "1000000")
prop.setProperty("numPartitions", "3000")
Run Code Online (Sandbox Code Playgroud)