tnk*_*eka 4 hadoop distributed-computing apache-spark
我已经使用HDFS设置了Spark集群配置,我知道在HDFS示例中Spark将会读取所有默认文件路径:
/ad-cpc/2014-11-28/ Spark will read in : hdfs://hmaster155:9000/ad-cpc/2014-11-28/
有时我想知道如何强制Spark在本地读取文件而不重新配置我的集群(不使用hdfs).
请帮我 !!!
可以使用前缀file:///从Spark引用本地文件系统
Eg: sparkContext.textFile("file:///<<absolute path to file>>")
此命令从本地文件系统读取文件.
注意:如果在多节点群集中执行,则此文件应在所有节点上可用.
| 归档时间： |
|
| 查看次数： |
1195 次 |
| 最近记录： |