我正在尝试将镶木地板文件读取到数据框,就像这样
val df = sqlContext.read.parquet("<location>/*.parquet")
但是,在目录下,可能存在空的 parquet 文件(大小为 0 字节)。有没有一种有效的方法可以忽略读取空文件?
file bigdata dataframe apache-spark parquet
apache-spark ×1
bigdata ×1
dataframe ×1
file ×1
parquet ×1