我如何将 spark Dataframe 写入 clickhouse

Question

val df = spark.read.parquet(path)
val IP ="190.176.35.145"
val port = "9000" 
val table = "table1"
val user = "defalut"
val password = "default"

我不知道如何将 df 直接写入 clickhouse，我没有找到任何类似的答案。有人帮帮我吧~

Answer 1

写入 clickhouse 数据库类似于通过 JDBC 写入任何其他数据库。只需确保将 ClickHouseDriver 类导入到您的代码中。用户名和密码被传递到 ckProperties 对象中。write命令如下，可以替换字符串中的数据库名：

import ru.yandex.clickhouse._

val jdbcUrl = "jdbc:clickhouse://190.176.35.145:9000/your_database_name"

val ckProperties = new Properties()

df.write.mode("append").option("driver", "ru.yandex.clickhouse.ClickHouseDriver").jdbc(jdbcUrl, table = "table1", ckProperties)