小编Rom*_*gan的帖子

从 Spark 读取多个 json 文件

我有一个我想要并行加载的 json 文件列表。

我不能使用read.json("*")原因文件不在同一个文件夹中,并且没有我可以实现的特定模式。

我已经尝试过,sc.parallelize(fileList).select(hiveContext.read.json)但正如预期的那样,执行程序中不存在配置单元上下文。

有任何想法吗?

apache-spark

7
推荐指数
1
解决办法
1万
查看次数

标签 统计

apache-spark ×1