Hadoop DNS解析

Question

我正在尝试在VM上安装本地群集.当我打开Cloudera Manager时,有时主机运行状况检查显示为失败,错误消息基本上显示"DNS解析失败".有时HDFS服务显示为失败.我想在其他途径上有一些想法进行故障排除.我很确定使用hosts文件或DNS的某些东西很简单.我的操作系统是Ubuntu.

到目前为止,我已经编辑/ etc/hosts以获得运行ifconfig时获得的确切ipv4地址

10.2.0.15  michael-VirtualBox

我删除了条目

127.0.0.1 localhost

我也重新启动了网络服务.我执行了命令

"python -c "import socket; print socket.getfqdn(); print socket.gethostbyname(socket.getfqdn())""

我回来了

127.0.0.1 localhost

Answer 1

hadoop严重依赖于能够执行主机名的正向和反向查找:

• 将主机名解析为IP(正向查找 - DNS A记录)
• 将IP解析为主机名(反向查找 - DNS PTR记录)

对于我建议使用的本地安装,/etc/hosts因为该文件中的条目为每个条目提供正向和反向查找.群集中的所有节点必须能够解析群集中所有其他服务器的主机名,因此/etc/hosts每个服务器上的文件必须包含群集中每个Vbox VM的所有IP - >主机名条目.

hadoop看到的主机名是hostname --fqdn服务器上的输出.因此,您的/etc/hosts文件应包括输出hostname和hostname --fqdn例如

127.0.0.1  localhost
10.2.0.15  server1 server1.example.com 
10.2.0.16  server2 server2.example.com 
10.2.0.17  server3 server3.example.com 
10.2.0.18  server4 server4.example.com 

我假设您正在host-only为每个节点使用网络配置,并且所有节点都可以相互访问.

如果您使用的是cloudera,请确保cloudera-scm-agent在进行更改后重新启动/etc/hosts