How can hadoop mapreduce get data input from CSV file?

Question

我想实现 hadoop mapreduce，我使用 csv 文件作为它的输入。所以，我想问一下，有没有hadoop提供的方法来获取csv文件的值，或者我们只是用Java Split String函数来做？

谢谢大家.....

Answer 1

默认情况下，Hadoop 使用文本输入阅读器，从输入文件中逐行输入映射器。映射器中的关键是读取的行数。但是要小心 CSV 文件，因为单个列/字段可能包含换行符。您可能想要寻找一个像这样的 CSV 输入阅读器：

https://github.com/mvallebr/CSVInputFormat/blob/master/src/main/java/org/apache/hadoop/mapreduce/lib/input/CSVNLineInputFormat.java

但是，您必须在代码中拆分您的行。