Spark - 用引号读取 csv 文件

Question

我有一个 CSV 文件，其中包含双引号 (") 中的数据。

“0001”、“A”、“001”、“2017/01/01 12”

“0001”、“B”、“002”、“2017/01/01 13”

我只想读取纯数据（没有 " 符号）。

spark.read
 .option("encoding", encoding)
 .option("header", header)
 .option("quote", quote)
 .option("sep", sep)

其他选项运行良好，但只有引用似乎不能正常工作。它加载了引号 (")。我应该如何从加载的数据中去掉这个符号。

---

dataframe.show 结果

+----+----+------+---------------+
| _c0| _c1|   _c2|             _c3|
+----+----+------+---------------+
|0001| "A"| "001"| "2017/01/01 12"|
|0001| "B"| "002"| "2017/01/01 13"|
+----+----+------+---------------+

Answer 1

您可以使用如下选项报价

option("quote", "\"")

如果你的两个数据之间有一个额外的空格作为“abc”，“xyz”，那么你需要使用

option("ignoreLeadingWhiteSpace", true)

希望这可以帮助