小编Leo*_*ima的帖子

使用 Databricks Auto Loader 摄取多种类型的 CSV

我正在尝试使用 Autoloader 加载多种类型的 csv 文件,它当前将我放入一个大镶木地板表中的所有 csv 合并,我想要的是为每种类型的 schema/csv_file 创建镶木地板表

当前代码的作用是: 我目前拥有的

#Streaming files/ waiting a file to be dropped
spark.readStream.format("cloudFiles") \
  .option("cloudFiles.format", "csv") \
  .option("delimiter", "~|~") \
  .option("cloudFiles.inferColumnTypes","true") \
  .option("cloudFiles.schemaLocation", pathCheckpoint) \
  .load(sourcePath) \
  .writeStream \
  .format("delta") \
  .option("mergeSchema", "true") \
  .option("checkpointLocation", pathCheckpoint) \
  .start(pathResult)
Run Code Online (Sandbox Code Playgroud)

我想要的是在此输入图像描述

python apache-spark pyspark databricks azure-databricks

5
推荐指数
1
解决办法
814
查看次数