即使在 rewriteBatchedStatements = true 之后，mysql jdbc 也不批处理查询

Question

我一直在互联网+ stackoverflow上阅读关于为什么jdbc批量更新如此慢的信息。看起来正确的修复方法是rewriteBatchedStatements = true在连接字符串中设置。但我似乎无法让它为我工作。

我正在使用 springboot 和 spring-jdbc 我rewriteBatchedStatements = true在 application.properties 中设置

spring.datasource.url=jdbc:mysql://RDS_URL.us-west-2.rds.amazonaws.com/DATABASE?rewriteBatchedStatements=true

我还设置了一个断点来验证是否?rewriteBatchedStatements=true反映在代码中

我将 General_log 设置为 true，在查看日志时我发现插入未正确批处理

这就是我的 sql 字符串的样子

private static String INSERT_USER_TO_GROUP_SQL = "INSERT INTO users (groupId, phoneNumber, accountId, source) VALUES(?, ?, ?, ?)";

日志中的行看起来都是这样的

45 Query INSERT INTO users (groupId, phoneNumber, accountId, source) VALUES('49', '99999999999', '123', 'web')

我执行批量插入的java代码是

executor.submit(() -> {
  jdbcTemplate.batchUpdate(INSERT_USER_TO_GROUP_SQL, new BatchPreparedStatementSetter() {

    @Override
    public void setValues(PreparedStatement ps, int i) throws SQLException {
      Subscriber subscriber = subscribers.get(i);
      ps.setString(1, subscriberGroup.getGroupId());
      ps.setString(2, subscriber.getPhoneNumber());
      ps.setString(3, accountId);
      ps.setString(4, subscriberGroup.getSource());
    }

    @Override
    public int getBatchSize() {
      return subscribers.size();
    }

  }); // end BatchPreparedStatementSetter lambda class
}); // end thread

这是该方法的一个片段batchUpdate，如下所示，您可以看到它调用 addBatch()，然后最后调用executeBatch()

for (int i = 0; i < batchSize; i++) {
    pss.setValues(ps, i);
    if (ipss != null && ipss.isBatchExhausted(i)) {
        break;
    }
    ps.addBatch();
}
return ps.executeBatch();

这是我要插入的表

CREATE TABLE `users` (
  `id` int(11) unsigned NOT NULL AUTO_INCREMENT,
  `phoneNumber` varchar(20) DEFAULT NULL,
  `groupId` varchar(11) DEFAULT NULL,
  `source` varchar(30) DEFAULT NULL,
  `accountId` varchar(50) DEFAULT NULL,
  `deleted` int(1) DEFAULT '0',
  `timestamp` datetime DEFAULT CURRENT_TIMESTAMP,
  PRIMARY KEY (`id`),
  UNIQUE KEY `phoneNumber` (`phoneNumber`,`groupId`,`accountId`)
) ENGINE=InnoDB AUTO_INCREMENT=21677 DEFAULT CHARSET=latin1;

另外，我什至尝试过不依赖 jdbc.batchUpdate() 并自己完成。仍然没有运气

    Connection connection = jdbcTemplate.getDataSource().getConnection();
    connection.setAutoCommit(false);
    PreparedStatement preparedStatement = 
    connection.prepareStatement(INSERT_USER_TO_GROUP_SQL);

    preparedStatement.setString(1, "1");
    preparedStatement.setString(2, "2");
    preparedStatement.setString(3, "3");
    preparedStatement.setString(4, "4");
    preparedStatement.addBatch();

    preparedStatement.setString(1, "11");
    preparedStatement.setString(2, "22");
    preparedStatement.setString(3, "33");
    preparedStatement.setString(4, "44");
    preparedStatement.addBatch();

    preparedStatement.executeBatch();
    connection.commit();

另外，我试图排除准备好的语句的问题，因此我尝试了硬编码查询。还是没有运气。

Connection connection = jdbcTemplate.getDataSource().getConnection();
Statement statement = connection.createStatement();
statement.addBatch("INSERT INTO users (groupId, phoneNumber, accountId, source) VALUES('1', '2', '3', '4')");
statement.addBatch("INSERT INTO users (groupId, phoneNumber, accountId, source) VALUES('11', '22', '33', '44')");
statement.executeBatch();

这是我的pom中jdbc的版本

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-jdbc</artifactId>
    <version>1.5.2.RELEASE</version>
</dependency>

<dependency>
    <groupId>org.springframework</groupId>
    <artifactId>spring-jdbc</artifactId>
    <version>4.3.6.RELEASE</version>
</dependency>

我希望这个参数能够加快插入速度，并让日志显示正确批处理的插入语句。大多数 SO 文章都显示人们只需设置rewritebatchedstatements = trueurl 就可以了。

Answer 1

对于其他有 jdbcTemplate 连接 url 问题的人，rewriteBatchedStatements = true请检查您的mysql-connector-java版本pom.xml

在写这个问题时我有

<dependency>
        <groupId>mysql</groupId>
        <artifactId>mysql-connector-java</artifactId>
        <version>5.1.9</version>
</dependency>

由于我的批量写入是一一发生的，因此版本 5.1.9 似乎不支持批量更新，并且如spring 文档中所述，会回退

batchUpdate()——如果 JDBC 驱动程序不支持批量更新，则将回退到单个语句上的单独更新。

将其升级到版本 5.1.18 给了我正确的批量更新，并在 mysql 常规日志中进行了验证。

我遇到的一个错误可能会节省其他人一些时间。在版本 5.1.23 中，当您配置数据库 url 以包含我想象的大多数内容时，驱动程序和 profileSQLprofileSQL=true存在错误。