使用 PySpark 读取 CSV 时是否可以仅覆盖一种列类型？

Question

我正在尝试使用 PySpark 读取包含许多列的 CSV 文件。该inferschema选项非常适合推断大多数列的数据类型。如果我只想覆盖错误推断的列类型之一，那么最好的方法是什么？

我有这段代码正在运行，但它使 PySpark 仅导入架构中指定的一列，这不是我想要的。

schema = StructType() \ 
    .add("column_one_of_many", StringType(), True) 

spark.read.format('com.databricks.spark.csv') \ 
  .option('delimited',',') \ 
  .option('header','true') \ 
  .option('inferschema', 'true') \ 
  .schema(self.schema) \ 
  .load('dbfs:/FileStore/some.csv') 

我所要求的可能吗？

感谢您的时间和指导:)

Answer 1

更简单的方法是使用.withColumn和转换column_one_of_many 为字符串。

Example

from pyspark.sql.types import *

spark.read.format('com.databricks.spark.csv') \ 
  .option('delimited',',') \ 
  .option('header','true') \ 
  .option('inferschema', 'true') \ 
  .load('dbfs:/FileStore/some.csv')\
  .withColumn("column_one_of_many",col("column_one_of_many").cast("string"))

其他方法是定义架构中的所有列，然后排除inferschema仅使用.schema选项来读取 csv 文件。