小编Leo*_*ius的帖子

如何使用pyspark将bz2文件读入数据帧?

我可以使用以下命令将 json 文件读入 Pyspark 中的数据帧

spark = SparkSession.builder.appName('GetDetails').getOrCreate()
df = spark.read.json("path to json file")
Run Code Online (Sandbox Code Playgroud)

但是,当我尝试将 bz2(压缩的 csv)读入数据帧时,它给了我一个错误。我在用:

spark = SparkSession.builder.appName('GetDetails').getOrCreate()
df = spark.read.load("path to bz2 file")
Run Code Online (Sandbox Code Playgroud)

你能帮我纠正一下吗?

python apache-spark apache-spark-sql pyspark

6
推荐指数
1
解决办法
1285
查看次数

标签 统计

apache-spark ×1

apache-spark-sql ×1

pyspark ×1

python ×1