我有一个我想要并行加载的 json 文件列表。
我不能使用read.json("*")原因文件不在同一个文件夹中,并且没有我可以实现的特定模式。
read.json("*")
我已经尝试过,sc.parallelize(fileList).select(hiveContext.read.json)但正如预期的那样,执行程序中不存在配置单元上下文。
sc.parallelize(fileList).select(hiveContext.read.json)
有任何想法吗?
apache-spark
apache-spark ×1