现在我有一些Spark应用程序将输出存储到HDFS.
由于我们的hadoop集群由namenode H/A组成,而spark集群在hadoop集群之外(我知道它不好)我需要为应用程序指定HDFS URI,以便它可以访问HDFS.
但它无法识别名称服务,因此我只能给出namenode的URI之一,如果失败,请修改配置文件并重试.
访问Zookeeper以显示活动似乎非常烦人,所以我想避免.
你能建议任何替代方案吗?
hadoop hdfs apache-spark
apache-spark ×1
hadoop ×1
hdfs ×1