小编mou*_*usi的帖子

在Kubernetes上远程访问HDFS

我正在尝试在minikube上(目前)以及以后在DEV kubernetes群集上设置HDFS,以便可以在Spark上使用它。我希望Spark在我的机器上本地运行,以便我可以在开发过程中以调试模式运行,因此它应该可以在K8s上访问我的HDFS。

我已经设置了1个namenode部署和一个datanode statefulset(3个副本),当我从群集中使用HDFS时,它们可以正常工作。我正在为数据节点使用无头服务,为名称节点使用cluster-ip服务。

当我尝试公开hdfs时,问题开始了。我当时正在考虑使用一个入口,但这只会将端口80暴露在集群外部,并将路径映射到集群内的其他服务,这不是我想要的。据我了解,我的本地Spark作业(或hdfs客户端)与namenode对话,该namenode为每个数据块提供一个地址。该地址虽然有点类似172.17.0.x:50010,但是我的本地机器当然看不到这些地址。

有什么办法可以使我工作吗?提前致谢!

hadoop hdfs kubernetes

5
推荐指数
1
解决办法
662
查看次数

标签 统计

hadoop ×1

hdfs ×1

kubernetes ×1