使用Apache Spark从HDFS序列文件中创建键值对

Question

从HDFS序列文件中制作键值对的最佳方法是什么？我之所以要问,我必须对序列文件进行排序.除非您的RDD采用键值对的形式,否则sortByKey方法不可用.我正在使用Apache Spark 1.0.2和HDFS 2.5.0.

Answer 1

来自Spark文档:

对于SequenceFiles,使用SparkContext的sequenceFile [K,V]方法,其中K和V是文件中键和值的类型.这些应该是Hadoop的Writable接口的子类,如IntWritable和Text.此外,Spark允许您为一些常见的Writable指定本机类型; 例如,sequenceFile [Int,String]将自动读取IntWritables和Texts.

关键是你必须将Hadoop类型映射到[String,Int,...]并构建你想要的(k,v)rdd以便应用sortByKey方法.

val file = sc.sequenceFile(input, classOf[Text], classOf[Text])
val map = file.map{case (k,v) => (k.toString(), v.toString())} 
val sortedOutput = map.sortByKey(true)