使用序列文件SequenceFile在Spark中写入和读取原始字节数组

Question

如何RDD[Array[Byte]]使用Apache Spark 写入文件并再次阅读？

Answer 1

常见的问题似乎是变得奇怪,不能将BytesWritable中的异常强制转换为NullWritable.其他常见的问题是BytesWritable getBytes是一堆毫无意义的废话,根本不会得到字节.什么getBytes是你的字节比最后添加大量的零!你必须使用copyBytes

val rdd: RDD[Array[Byte]] = ???

// To write
rdd.map(bytesArray => (NullWritable.get(), new BytesWritable(bytesArray)))
  .saveAsSequenceFile("/output/path", codecOpt)

// To read
val rdd: RDD[Array[Byte]] = sc.sequenceFile[NullWritable, BytesWritable]("/input/path")
  .map(_._2.copyBytes())