如何将数据从csv加载到Spark中的mysql数据库？

Question

我想将数据从csv批量加载到mySql。但是我可以看到将数据从csv插入到hive数据库的教程/逻辑。有人可以使用scala帮助我实现上述Spark集成吗？

Answer 1

这些教程不存在是有原因的。此任务非常简单。这是最小的工作示例：

val dbStr = "jdbc:mysql://[host1][:port1][,[host2][:port2]]...[/[database]]"

spark
  .read
    .format("csv")
    .option("header", "true")
    .load("some/path/to/file.csv")
  .write
    .mode("overwrite")
    .jdbc(dbStr, tablename, props)