spark-当spark读取没有头的csv时如何添加字段名称

Question

我想在Spark中阅读CSV。所以我在Java中使用命令。

result = sparkSession.read().csv("hdfs://master:9000/1.csv");

它的工作原理。但是结果就像：

_c0  _c1   _c2
1     egg    T
2     bob    F
3     tom    D

但是文件（1.csv）没有头，结果的头没用吗？

我想要这样的结果：

ID  Name   Class
1     egg   T
2     bob   F
3     tom   D

我该怎么做？

谢谢大家

Answer 1

您可以使用toDF()方法重命名所有列：https : //spark.apache.org/docs/2.0.2/api/java/org/apache/spark/sql/Dataset.html#toDF(java.lang.String .. ）

例如：

result = sparkSession.read().csv("hdfs://master:9000/1.csv").toDF("ID", "Name", "Class")