小编use*_*806的帖子

当我使用hadoop fs -mkdir时,我的文件(dir)存储在哪里?

我刚刚完成了hadoop,刚刚完成安装,花了我2​​天......我现在正在尝试使用hadoop dfs命令,但我无法理解它,虽然我已经浏览了几天,但我不能找到我想知道的答案.所有的例子都显示了结果应该是什么,没有解释它的真实结构,所以如果有人能帮助我理解hadoop hdfs,我会很高兴.

我在HDFS上创建了一个目录.

bin/hadoop fs -mkdir input
Run Code Online (Sandbox Code Playgroud)

好的,我将使用ls命令检查它.

bin/hadoop fs -ls
Found 1 items
drwxr-xr-x   - hadoop supergroup          0 2012-07-30 11:08 input
Run Code Online (Sandbox Code Playgroud)

好的,没问题,一切看起来都很完美..但实际上HDFS数据存储在哪里?我以为它会存储在我的datanode目录(/ home/hadoop/datastore)中,该目录在hadoop.tmp.dir下的core-site.xml中定义,但它不存在..

然后我试图通过WEB-UI查看,我发现"输入"是在"/ user/hadoop /"(/ user/hadoop/input)下创建的.

我的问题是

  • (1)datanode目录(hadoop.tmp.dir)用于什么,因为它不存储我通过dfs命令处理的所有内容?
  • (2)用dfs命令创建的所有内容都转到/ user/XXX /,如何更改它的值?
  • (3)当我尝试通过普通的linux命令(ls/user/hadoop)访问时,我看不到任何东西./ user/hadoop逻辑上存在吗?

我很抱歉,如果我的问题是愚蠢的...新手很难理解hadoop更好..

先感谢您.

hadoop hdfs

8
推荐指数
1
解决办法
1万
查看次数

为什么在运行hadoop(或dfs命令)时会不断显示已弃用的错误

我已经安装了hadoop-2.0.0-alpha,但每当我执行一个命令时,它都会给我弃用错误(尽管看起来好像没有问题)

$ hadoop/bin/hadoop dfs -copyFromLocal input input
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.

$ hadoop/bin/hadoop dfs -rmr input
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.

rmr: DEPRECATED: Please use 'rm -r' instead.
Run Code Online (Sandbox Code Playgroud)

我用Google搜索,看起来这是hadoop-0.23的错误.但是,我的版本更新.

我找不到这个版本的答案,它仍然是一个现有的错误吗?

hadoop deprecated hdfs

5
推荐指数
1
解决办法
2万
查看次数

标签 统计

hadoop ×2

hdfs ×2

deprecated ×1