相关疑难解决方法(0)

使用 spark 读取 * 带有自定义扩展名 * 的压缩文件

我想RDD[String]使用相当于sc.textFile("path/to/file.Z").

除了我的文件扩展名 if not gzbut isZ相反,因此该文件不会被识别为被 gzip 压缩。

我无法重命名它们,因为它会破坏生产代码。我不想复制它们,因为它们很大而且很多。我想我可以使用某种符号链接,但我想先看看是否有使用 Scala/spark 的方法(我现在在我的本地 Windows 机器上)。

我怎样才能有效地阅读这个文件?

scala apache-spark

4
推荐指数
1
解决办法
1869
查看次数

标签 统计

apache-spark ×1

scala ×1