我想RDD[String]使用相当于sc.textFile("path/to/file.Z").
RDD[String]
sc.textFile("path/to/file.Z")
除了我的文件扩展名 if not gzbut isZ相反,因此该文件不会被识别为被 gzip 压缩。
gz
Z
我无法重命名它们,因为它会破坏生产代码。我不想复制它们,因为它们很大而且很多。我想我可以使用某种符号链接,但我想先看看是否有使用 Scala/spark 的方法(我现在在我的本地 Windows 机器上)。
我怎样才能有效地阅读这个文件?
scala apache-spark
apache-spark ×1
scala ×1