小编use*_*484的帖子

从一个位置读取多个镶木地板时如何忽略空镶木地板文件

我正在尝试将镶木地板文件读取到数据框,就像这样

val df = sqlContext.read.parquet("<location>/*.parquet")
Run Code Online (Sandbox Code Playgroud)

但是,在目录下,可能存在空的 parquet 文件(大小为 0 字节)。有没有一种有效的方法可以忽略读取空文件?

file bigdata dataframe apache-spark parquet

5
推荐指数
1
解决办法
2719
查看次数

标签 统计

apache-spark ×1

bigdata ×1

dataframe ×1

file ×1

parquet ×1