标签: hadoop

我正在尝试在 Ubuntu 12.04 版本中安装 Hadoop。按照http://michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/的说明 ，我java-6-openjdk从 Ubuntu 软件中心安装。我已经设置java_home了.bashrc。也设置java_home在 Hadoop 中conf/env.sh。格式化namenode时，出现以下错误：

usr/lib/jvm/java-6-openjdk/bin/java no such file or directory.

谢谢你。但它是一个 64 位操作系统。

我有一个 2 节点的 hadoop 集群。

我在主人上运行了这个命令：

$ssh-copy-id -i /home/hadoop/.ssh/id_rsa.pub hadoop@192.168.1.1

我怎样才能撤消这个？我实际上想重新分配密钥。

192.168.1.1 是奴隶。

我的笔记本电脑上运行着 Ubuntu-12.04 VM。我使用以下命令在其上安装了 zookeeper

sudo apt-get install zookeeper

现在对于传统的 Ubuntu 程序，我使用--version命令行选项检查版本。例如

gcc --version

给出 gcc 的版本为 4.6.3（例如）

同样，我如何找出zookeeper的版本？首先，它没有一个叫做 zookeeper 的二进制文件。它确实有一个名为的二进制文件zooinspector，它不响应`--version。

我对动物园管理员很陌生。任何帮助，将不胜感激。

我在 Ubuntu 10.10 中工作，并试图在 Hadoop 中启动一个单节点集群。

hadoop@abraham-Dimension-3000:/usr/local/hadoop$ bin/start-all.sh
mkdir: cannot create directory `/usr/local/hadoop/bin/../logs': Permission denied
starting namenode, logging to /usr/local/hadoop/bin/../logs/hadoop-hadoop-namenode-abraham-Dimension-3000.out
/usr/local/hadoop/bin/hadoop-daemon.sh: line 117: /usr/local/hadoop/bin/../logs/hadoop-hadoop-namenode-abraham-Dimension-3000.out: No such file or directory
head: cannot open `/usr/local/hadoop/bin/../logs/hadoop-hadoop-namenode-abraham-Dimension-3000.out' for reading: No such file or directory
localhost: mkdir: cannot create directory `/usr/local/hadoop/bin/../logs': Permission denied
localhost: starting datanode, logging to /usr/local/hadoop/bin/../logs/hadoop-hadoop-datanode-abraham-Dimension-3000.out
localhost: /usr/local/hadoop/bin/hadoop-daemon.sh: line 117: /usr/local/hadoop/bin/../logs/hadoop-hadoop-datanode-abraham-Dimension-3000.out: No such file or directory
localhost: head: cannot open `/usr/local/hadoop/bin/../logs/hadoop-hadoop-datanode-abraham-Dimension-3000.out' for reading: No such file or directory
localhost: mkdir: cannot create …

我无法 SSH 本地主机。我已经在我的 Ubuntu 12.04 LTS（32 位）上安装了 OpenSSH 服务器。

连接到网络（ip：192.168.1.2）安装了hadoop，为本地机器运行hadoop。

这是我得到的：

root@kunal-Extensa-4620:/# ssh -vvv localhost
OpenSSH_5.9p1 Debian-5ubuntu1.1, OpenSSL 1.0.1 14 Mar 2012
debug1: Reading configuration data /etc/ssh/ssh_config
debug1: /etc/ssh/ssh_config line 19: Applying options for *
debug2: ssh_connect: needpriv 0
debug1: Connecting to localhost [127.0.0.1] port 22.
debug1: Connection established.
debug1: permanently_set_uid: 0/0
debug1: identity file /root/.ssh/id_rsa type -1
debug1: identity file /root/.ssh/id_rsa-cert type -1
debug1: identity file /root/.ssh/id_dsa type -1
debug1: identity file /root/.ssh/id_dsa-cert type -1
debug1: identity file /root/.ssh/id_ecdsa …

我是一名来自非 cs 背景（不是核心系统程序员）的数据分析师，在 linux 操作系统上工作。在使用 hadoop 进行分析时，我想到了一个问题，... / 是一个根，系统的所有文件都以分层方式存在。在 hadoop 环境中，有一个称为 HDFS 的特殊文件系统，它实际上是为了存储由 hadoop 编程框架处理的大文件。

hadoop -fs put localfile.txt 

虽然，这些文件应该可以在 / 下访问。那么我在哪里可以通过使用 cat、less 或 more linux 命令而无需前缀 hadoop -fs 来查看此类文件

不幸的是，如果我在 hadoop/HDFS 环境中遇到一些错误，那么我如何访问仍然驻留在我的 linux 机器上的数据。

请原谅这个基本问题。

我正在学习本教程。

我想在 vm ubuntu 64 位上安装 hadoop。

我想知道我应该从这里下载 .deb 文件还是 tar.gz 文件？

这两种类型的文件有什么区别？ubuntu 关心哪一个？

我正在尝试在我的 Windows 7 机器上设置一些 ubuntu 虚拟机。我需要机器能够相互 ping 通，我想为它们分配一个FQDN.

这个项目的目的是搭建一个hadoop集群。我正在按照此处的说明进行操作。

系统中每个主机的完全限定域名 (FQDN)，以及您希望在哪个主机上设置的组件。Ambari 安装向导不支​​持使用 IP 地址。如果您不知道 FQDN，您可以使用主机名 -f 来检查它。

我已经编辑/etc/hosts：

127.0.0.1 localhost
10.0.0.1 base.localdomain base

如何为每个 VM 分配 FQDN，并确保机器可以相互看到？我正在使用虚拟机。

我没有 DNS。我的 VirtualBox 设置为 NAT 和所有默认值。

我通过本教程为单节点设置配置和部署了 hadoop 。

一切都部署得很好，但是当我执行 jps 查看活动进程时，未显示 datanode。

我手动尝试通过转到 来启动 datanode $HADOOP_HOME/bin : hadoop -datanode，但无济于事。

基本上总结一下，对于hadoop集群，datanode进程根本没有运行。

另外，我想知道一台机器是否可以有2个hadoop安装。我将一个用于 mapreduce 进程，另一个用于搜索引擎。? 所以他们的目录不同，可以吗？另外，我一次运行一个 hadoop 操作。

编辑 1#:- 如果这有帮助，这是我尝试通过$HADOOP_HOME.

root@thinktank:/usr/local/hadoop/bin# hadoop datanode
Warning: $HADOOP_HOME is deprecated.

13/08/27 16:34:57 INFO datanode.DataNode: STARTUP_MSG: 
/************************************************************
STARTUP_MSG: Starting DataNode
STARTUP_MSG:   host = thinktank/127.0.1.1
STARTUP_MSG:   args = []
STARTUP_MSG:   version = 1.2.1
STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152; compiled by 'mattf' on Mon Jul 22 15:23:09 PDT 2013  
STARTUP_MSG:   java = 1.6.0_27  
************************************************************/  
13/08/27 16:34:57 …

我正在尝试在 Ubuntu 12.04 上安装 hadoop。我遵循了以下文章。

http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/

我已经按照本教程中给出的说明安装了 hadoop。我已经安装了 hadoop-0.23.9.tar.gz，尽管该网站提到了旧版本。它还提到了有关更新 hadoop-env.sh 文件的信息。我在/usr/local/hadoop/conf下找不到这个文件。hadoop目录下没有conf目录。由于版本更改，该文件可能位于其他位置，但我无法找到它。我想知道这个配置文件位于hadoop主目录下的哪里。