spark读取json中的重复列

Question

我在spark.read.json(json_file_path)一个扁平结构的 json 文件上运行。

我收到错误消息：

Reference 'col' is ambiguous, could be: col#29582L, col#29632

这可能是由于另一列具有不同大小写的名称：Col。如果我无法修改 json 数据，如何解决这个问题？

Answer 1

参考问题的R案例并搜索配置后。

我发现

spark.conf.set("spark.sql.caseSensitive", "true")

来自https://databricks.com/blog/2016/08/15/how-to-use-sparksession-in-apache-spark-2-0.html