小编r4r*_*008的帖子

使用日期范围对分区数据进行Spark SQL查询

我的数据集以这种方式分区:

Year=yyyy
 |---Month=mm
 |   |---Day=dd
 |   |   |---<parquet-files>
Run Code Online (Sandbox Code Playgroud)

在两个日期之间加载数据的spark中创建数据框的最简单有效的方法是什么?

apache-spark apache-spark-sql

5
推荐指数
2
解决办法
5388
查看次数

标签 统计

apache-spark ×1

apache-spark-sql ×1