命令"hadoop namenode -format"会做什么

Question

我正在尝试通过遵循教程并尝试在我的机器上执行伪分布式模式来学习Hadoop.

我core-site.xml是:

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
   <property>
      <name>fs.default.name</name>
      <value>hdfs://localhost:9000</value>
      <description>The name of the default file system. A URI whose scheme and authority determine the FileSystem implementation.       
      </description>   
   </property>
</configuration>

我的hdfs-site.xml档案是:

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
   <property>
      <name>dfs.replication</name>
      <value>1</value>
      <description>The actual number of replications can be specified when the
        file is created.
      </description>
   </property>
</configuration>

我的mapred-site.xml档案是:

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
   <property>      
      <name>mapred.job.tracker</name>
      <value>localhost:9001</value>
      <description>The host and port that the MapReduce job tracker runs
        at.
      </description>
   </property>
</configuration>

当我运行命令时,它运行成功,但实际上它正在做什么:

hadoop-1.2.1$ bin/hadoop namenode -format
14/11/26 12:37:16 INFO namenode.NameNode: STARTUP_MSG: 
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = myhost/127.0.0.8
STARTUP_MSG:   args = [-format]
STARTUP_MSG:   version = 1.2.1
STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152; compiled by 'mattf' on Mon Jul 22 15:23:09 PDT 2013
STARTUP_MSG:   java = 1.6.0_45
************************************************************/
14/11/26 12:37:17 INFO util.GSet: Computing capacity for map BlocksMap
14/11/26 12:37:17 INFO util.GSet: VM type       = 64-bit
14/11/26 12:37:17 INFO util.GSet: 2.0% max memory = 932118528
14/11/26 12:37:17 INFO util.GSet: capacity      = 2^21 = 2097152 entries
14/11/26 12:37:17 INFO util.GSet: recommended=2097152, actual=2097152
14/11/26 12:37:17 INFO namenode.FSNamesystem: fsOwner=myuser
14/11/26 12:37:17 INFO namenode.FSNamesystem: supergroup=supergroup
14/11/26 12:37:17 INFO namenode.FSNamesystem: isPermissionEnabled=true
14/11/26 12:37:17 INFO namenode.FSNamesystem: dfs.block.invalidate.limit=100
14/11/26 12:37:17 INFO namenode.FSNamesystem: isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s)
14/11/26 12:37:17 INFO namenode.FSEditLog: dfs.namenode.edits.toleration.length = 0
14/11/26 12:37:17 INFO namenode.NameNode: Caching file names occuring more than 10 times 
14/11/26 12:37:17 INFO common.Storage: Image file /tmp/hadoop-myuser/dfs/name/current/fsimage of size 115 bytes saved in 0 seconds.
14/11/26 12:37:18 INFO namenode.FSEditLog: closing edit log: position=4, editlog=/tmp/hadoop-myuser/dfs/name/current/edits
14/11/26 12:37:18 INFO namenode.FSEditLog: close success: truncate to 4, editlog=/tmp/hadoop-myuser/dfs/name/current/edits
14/11/26 12:37:18 INFO common.Storage: Storage directory /tmp/hadoop-myuser/dfs/name has been successfully formatted.
14/11/26 12:37:18 INFO namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at chaitanya-OptiPlex-3010/127.0.0.8
************************************************************/

有人可以让我知道它在内部做了什么.

我已经阅读了这些帖子,但没有正确的解释.

hadoop namenode格式究竟是什么？

hadoop namenode没有格式化

如何在我的机器上实际检查这一点,以便在运行命令之前和之后可以看到差异.我是Hadoop的新手,所以这可能是一个微不足道的问题.

Answer 1

hadoop namenode -format 此命令删除hdfs中的所有文件.

tmp目录包含两个文件夹datanode,本地文件系统中的namenode.如果格式化namenode,这两个文件夹将变为空.

注意:如果要格式化namenode,请先停止所有hadoop服务,然后删除本地文件系统中的tmp(包含namenode和datanode)文件夹,并启动hadoop服务,它肯定会生效.

Hadoop namenode -format的原因:

Hadoop NameNode是HDFS文件系统的集中位置,它保存文件系统中所有文件的目录树,并跟踪整个群集中文件数据的保存位置.简而言之,它保留了与数据节点相关的元数据.当我们格式化namenode时,它格式化与数据节点相关的元数据.通过这样做,数据节点上的所有信息都会丢失,并且可以重新用于新数据.

通过默认名称节点位置,将在"/ tmp目录/ Hadoop的为myuser/DFS /名"

在格式化namenode时,此文件位置已清除.

要更改namenode位置,请在hdfs-site.xml中添加以下属性

<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/search/data/dfs/namenode</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/search/data/dfs/datanode</value>
</property>

我希望这能帮到您.. :-)

Answer 2

Hadoop namenode -format

• Hadoop namenode目录包含fsimage和edit文件,其中包含有关hadoop文件系统的基本信息,例如可用数据,哪些用户创建了类似的文件

• 如果格式化namenode,则会从namedode目录中删除上述信息,该目录在hdfs-site.xml中指定为 dfs.namenode.name.dir

• 但是你仍然拥有hadoop上的数据而不是namenode元数据