JDBC:CSV原始数据使用流从/向远程MySQL数据库导出/导入(SELECT INTO OUTFILE/LOAD DATA INFILE)

Question

我正在开发的Web应用程序支持CSV导出(使用SELECT INTO OUTFILE)并导入(使用LOAD DATA INFILE)MySQL服务器来维护庞大的数据集,这些数据集在Java代码中使用SELECT和批量INSERT语句进行处理非常昂贵(处理结果集,字符串编码,业务逻辑遗产等).这些CSV文件不是应用程序驱动的,因此它们只代表MySQL数据库中的原始表内容.但据我所知,这种方法只有在我有本地文件时才有用,所以web应用服务器和mysqld都必须在同一台机器上运行.

应用程序配置可以指定远程数据库连接.这显然意味着上传的CSV文件存储在运行Web应用程序的机器本地的某处,因此我无法在MySQL LOAD DATA INFILE语句中指定数据文件位置.(相同的方案是CSV下载请求).所以,我想要找到的是一种"虚拟"指定CSV文件的方法 - 使用可由JDBC和MySQL处理的I/O流,类似于blob管理等.

JDBC/MySQL是否支持这种用于导入和导出的CSV文件的技术？

提前致谢.

Answer 1

您可以使用 LOCAL 选项运行 LOAD DATA INFILE，然后该选项将从运行 MySQL JDBC 客户端的位置加载 CSV 文件，使用com.mysql.jdbc.Statement#setLocalInfileInputStream. 例如：

// conn is an existing java.sql.Connection to a remote server
try (Statement st = conn.createStatement()) {
    String localCsvFileSpec = "C:/Users/Jamie/Desktop/foo.csv";  // on this machine
    ((com.mysql.jdbc.Statement) st).setLocalInfileInputStream(
            new FileInputStream(localCsvFileSpec));
    st.execute(
            "LOAD DATA LOCAL INFILE '(placeholder)' " + 
            "INTO TABLE table01 " +
            "COLUMNS TERMINATED BY ',' " +
            "(id, txt) " + 
            "");
}

请参阅这篇文章了解更多信息。

不幸的是，从Stack Overflow 上的这个答案来看，您似乎无法使用 SELECT INTO OUTFILE 将文件导出到数据库服务器以外的任何地方。