使用 JDBCexecuteBatch() 通过 appscript 批量插入到 Cloud SQL 消耗太多时间

Question

我收集了一些原始数据并将其存储在 Google 电子表格中，还有一个现有的 Google Cloud SQL 实例。我正在尝试使用 appscript 从 gsheet 中提取数据，然后推送到 gcloud SQL。

不幸的是，我发现完成“批量插入”花了太多时间。这是我的方法和结果（在这个例子中，我没有展示从 gsheet 中提取数据的方法，因为它很快而且无关紧要）：

应用脚本：

   var connection = [My Connection];
   connection.setAutoCommit(false);
   var stmt = connection.prepareStatement('INSERT INTO [testTable]'
      + '(emp_no,title,from_date,to_date) values (?, ?, ?, ?)');
   for (var i = 1; i <= 50; i++) { //tuples counter i
    stmt.setString(1, 1);
    stmt.setString(2, "Worker" + i);
    stmt.setString(3, "2018-03-11");
    stmt.setString(4, "2019-05-04");
    stmt.addBatch();
  }
  stmt.executeBatch();
  connection.commit();

简单的代码，这是我的结果（来自“执行记录”）：

当元组计数器i小于 50 时：

[19-08-12 13:57:46:470 NZST] JdbcPreparedStatement.executeBatch() [9.978 秒]

当元组计数器i小于 500 时：

[19-08-12 14:10:23:575 NZST] JdbcPreparedStatement.executeBatch() [96.578 秒]

我想做的是拉推 5000 个元组。在这种情况下如何减少执行时间？

Answer 1

Google Apps 脚本的 JDBC 连接器是出了名的慢。

您可能必须完全放弃使用它并利用其他东西。

如果您熟悉 Node.js，那么您可能需要考虑使用Cloud Function作为中间服务，在工作表和 CloudSQL 数据库中推送和提取数据。