小编rea*_*883的帖子

在Spark CSV中转义换行符读取

我正在使用Spark 2.2.1版本并使用以下python代码,可以转义@等特殊字符:我想转义特殊字符,例如newline(\ n)和回车(\ r)。我替换了\ n的@,但是没有用。有任何建议请。

工作方式:

spark_df = spark.read.csv(file.csv,mode="DROPMALFORMED",inferSchema=True,header =True,escape="@")
Run Code Online (Sandbox Code Playgroud)

不起作用:

spark_df = spark.read.csv(file.csv,mode="DROPMALFORMED",inferSchema=True,header =True,escape="\n")
Run Code Online (Sandbox Code Playgroud)

python dataframe apache-spark pyspark

2
推荐指数
1
解决办法
5437
查看次数

标签 统计

apache-spark ×1

dataframe ×1

pyspark ×1

python ×1