相关疑难解决方法(0)

如何通过包含外部hadoop集群的Spark中的H/A名称节点的URI访问hdfs?

现在我有一些Spark应用程序将输出存储到HDFS.

由于我们的hadoop集群由namenode H/A组成,而spark集群在hadoop集群之外(我知道它不好)我需要为应用程序指定HDFS URI,以便它可以访问HDFS.

但它无法识别名称服务,因此我只能给出namenode的URI之一,如果失败,请修改配置文件并重试.

访问Zookeeper以显示活动似乎非常烦人,所以我想避免.

你能建议任何替代方案吗?

hadoop hdfs apache-spark

6
推荐指数
1
解决办法
6199
查看次数

标签 统计

apache-spark ×1

hadoop ×1

hdfs ×1