相关疑难解决方法(0)

从分区的镶木地板文件中读取DataFrame

如何读取条件为数据帧的分区镶木地板,

这工作正常,

val dataframe = sqlContext.read.parquet("file:///home/msoproj/dev_data/dev_output/aln/partitions/data=jDD/year=2015/month=10/day=25/*")
Run Code Online (Sandbox Code Playgroud)

分区是有day=1 to day=30是它可以读取类似(day = 5 to 6)或者day=5,day=6,

val dataframe = sqlContext.read.parquet("file:///home/msoproj/dev_data/dev_output/aln/partitions/data=jDD/year=2015/month=10/day=??/*")
Run Code Online (Sandbox Code Playgroud)

如果我把*它给我所有30天的数据,它太大了.

scala apache-spark parquet spark-dataframe

22
推荐指数
3
解决办法
4万
查看次数

标签 统计

apache-spark ×1

parquet ×1

scala ×1

spark-dataframe ×1