小编Ram*_*mya的帖子

如何将csv文件转换为rdd

我是新来的.我想对CSV记录中的特定数据执行一些操作.

我正在尝试读取CSV文件并将其转换为RDD.我的进一步操作基于CSV文件中提供的标题.

(来自评论)这是我的代码到目前为止:

final JavaRDD<String> File = sc.textFile(Filename).cache();
final JavaRDD<String> lines = File.flatMap(new FlatMapFunction<String, String>() { 
    @Override public Iterable<String> call(String s) { 
    return Arrays.asList(EOL.split(s)); 
    } 
});
final String heading=lines.first().toString();
Run Code Online (Sandbox Code Playgroud)

我可以像这样得到标题值.我想将其映射到CSV文件中的每条记录.

final String[] header=heading.split(" "); 
Run Code Online (Sandbox Code Playgroud)

我可以像这样得到标题值.我想将其映射到CSV文件中的每条记录.

在java中,我CSVReader record.getColumnValue(Column header)用来获取特定的值.我需要在这里做类似的事情.

scala apache-spark

49
推荐指数
4
解决办法
9万
查看次数

标签 统计

apache-spark ×1

scala ×1