如何使用spark(python)读取zip文件中的CSV文件的内容

Question

我有多个zip文件包含两种类型的文件(A.csv和B.csv)

/data/jan.zip - >包含A.csv和B.csv
/data/feb.zip - >包含A.csv和B.csv

我想使用pyspark读取所有zip文件中所有A.csv文件的内容.

 textFile = sc.textFile("hdfs://<HDFS loc>/data/*.zip")

有人能告诉我如何将A.csv文件的内容放入RDD吗？

Answer 1

在这里，您想要递归读取 zip 文件中的所有 csv 文件。

val files = sc.CSVFiles("file://path/to/files/*.zip")
files.flatMap({case (name, content) =>
  unzip(content)
})

def unzip(content: String): List[String] = {
  ...
}