标签: hadoop

在 Mac 上通过 SSH 连接到 VirtualBox

我刚刚在我的 Mac 上安装了 VirtualBox,使用 Cloudera Hadoop 磁盘映像的“使用现有的虚拟硬盘文件”创建了一个新的 Ubuntu 虚拟机。我能够启动并运行虚拟机,但是,我更喜欢从我的终端 ssh 进入。以下产生消息“连接到主机 127.0.0.1 端口 2222:连接被拒绝”:

ssh root@127.0.0.1 -p 2222
Run Code Online (Sandbox Code Playgroud)

我也试过 -p 22

我也试过使用“cloudera”作为用户。是否需要更改 VirtualBox 设置以允许 SSH?

我还尝试在不使用 Cloudera 磁盘映像的情况下创建一个新的 linux 虚拟机,我也可以通过 SSH 连接到该虚拟机。

linux ssh virtualbox hadoop

17
推荐指数
2
解决办法
4万
查看次数

RPC:端口映射器故障 - 无法接收:errno 113(没有到主机的路由)

我正在尝试通过以下链接使用 nfs 在我的本地计算机(ubuntu)上安装 hdfs:--

https://www.cloudera.com/documentation/enterprise/5-2-x/topics/cdh_ig_nfsv3_gateway_configure.html#xd_583c10bfdbd326ba--6eed2fb8-14349d04bee--7ef4
Run Code Online (Sandbox Code Playgroud)

因此,在我的机器上,我使用以下方法安装了 nfs-common:-

sudo apt-get install nfs-common
Run Code Online (Sandbox Code Playgroud)

然后,在安装之前我已经运行了这些命令:-

rpcinfo -p 192.168.170.52
program vers proto   port  service
100000    4   tcp    111  portmapper
100000    3   tcp    111  portmapper
100000    2   tcp    111  portmapper
100000    4   udp    111  portmapper
100000    3   udp    111  portmapper
100000    2   udp    111  portmapper
100024    1   udp  48435  status
100024    1   tcp  54261  status
100005    1   udp   4242  mountd
100005    2   udp   4242  mountd
100005    3   udp   4242  mountd
100005    1   tcp   4242  mountd …
Run Code Online (Sandbox Code Playgroud)

ubuntu nfs mount apt hadoop

6
推荐指数
1
解决办法
4万
查看次数

当您收到错误“无效的 HADOOP_COMMON_HOME”时,如何让 Hadoop 命令工作?

我在 Linux SUSE 12.3 上安装了 Hadoop 版本 1.x。我将目录移到其他地方以进行备份。我尝试安装 Hadoop 3.0。我希望 Hadoop 命令能够根据我所做的工作。我使用了开源 Hadoop 3.0 文件。Hadoop 命令不起作用(有或没有 sudo)。

我已将 $HADOOP_COMMON_HOME 设置为这两个值,但问题不断发生:

$HADOOP_PREFIX

/usr/local/hadoop/hadoop-yarn-project/hadoop-yarn
Run Code Online (Sandbox Code Playgroud)

都没有工作。每当我运行 Hadoop 命令时,我都会收到错误消息。如果我运行这个命令:

sudo /usr/local/hadoop/hadoop-common-project/hadoop-common/src/main/bin/hadoop version
Run Code Online (Sandbox Code Playgroud)

我收到此错误:

错误:无效的 HADOOP_COMMON_HOME

如何让 Hadoop 命令工作?

suse hadoop

5
推荐指数
0
解决办法
2260
查看次数

绑定失败,地址正在使用:无法将 TCP 端口用于源和目标?

我正在调试无法启动的 Hadoop DataNode。我们在机器上使用 saltstack 和 elasticsearch。

Hadoop DataNode 错误非常清楚:

java.net.BindException: Problem binding to [0.0.0.0:50020]    
java.net.BindException: Address already in use; 
      For more details see:  http://wiki.apache.org/hadoop/BindException

[...]

Caused by: java.net.BindException: Address already in use

[...]

(ExitUtil.java:terminate(124)) - Exiting with status 1
Run Code Online (Sandbox Code Playgroud)

lsof -i -n 对于端口 50020 表示它已被使用,但仅用作源端口而不是目标端口:

salt-mini 1733          root   25u  IPv4  17452      0t0  TCP xx.xx.132.72:50020->xx.xx.132.20:4505 (ESTABLISHED)
java      2789 elasticsearch 2127u  IPv6   9808      0t0  TCP xx.xx.132.72:50020->xx.xx.132.55:9300 (ESTABLISHED)
Run Code Online (Sandbox Code Playgroud)

但是绑定 0.0.0.0 似乎不起作用:

root@host:~# nc -l 50020
nc: Address already in use
Run Code Online (Sandbox Code Playgroud)

这是故意的吗?当端口已被用作源端口时,是否不允许绑定到 0.0.0.0?没有任何东西在监听套接字 - …

hadoop

3
推荐指数
1
解决办法
2931
查看次数

标签 统计

hadoop ×4

apt ×1

linux ×1

mount ×1

nfs ×1

ssh ×1

suse ×1

ubuntu ×1

virtualbox ×1