在Spark中向文本文件添加新行

Question

我使用命令在Spark中读取了一个文本文件

val data = sc.textFile("/path/to/my/file/part-0000[0-4]")

我想添加一个新行作为我的文件的标题.有没有办法在不将RDD转换为数组的情况下做到这一点？

谢谢!

Answer 1

您实际上无法控制新行是否位于第一个（标题），但您可以创建新的单例 RDD 并将其与现有的合并：

val extendedData = data ++  sc.makeRDD(Seq("my precious new line"))

所以

extendedData.filter(_ startsWith "my precious").first() 

可能会证明您的线路已添加