小编Cha*_*Lin的帖子

他们应该是平等的吗？

但是,为什么" hadoop fs"命令显示hdfs files" hdfs dfs"命令显示本地文件？

这是hadoop版本信息:

Hadoop 2.0.0-mr1-cdh4.2.1 Subversion git://ubuntu-slave07.jenkins.cloudera.com/var/lib/jenkins/workspace/CDH4.2.1-Packaging-MR1/build/cdh4/mr1/2.0.0 -mr1-cdh4.2.1/source -r由jenkins编写,于4月22日星期一10:48:26 PDT 2013

在Python中,当一个int大于2**31时,它会转为long:

a = 2147483647 a + 1 = 2147483648

b = -2147483648 b - 1 = -2147483649

但我需要像Python中的int那样的Python int溢出:

a = 2147483647 a + 1 = -2147483648

b = -2147483648 b - 1 = 2147483647

可能吗？提前致谢!

我有一个关于如何动态创建类(而不是实例)的问题.在我的项目中,我需要根据配置文件编写几个类似的类.例如,有一个像这样的JSON:

{                                                                                                                                                                              
    {                                                                                                                                                                          
        "lang": "python",                                                                                                                                                      
        "file": "class1.py",
        "args": ["arg1"]                                                                                                                                  
    },                                                                                                                                                                         
    {                                                                                                                                                                          
        "lang": "python",                                                                                                                                                      
        "file": "class2.py"  
        "args": ["arg2"]                                                                                                                                               
    }                                                                                                                                                                          
} 

随后,我需要在下面编写两个java类:

1类:

public class Class1 extends ShellBolt implements IRichBolt {
    public Class1() {
        super("python", "class1.py");
    }

    @Override
    public void declareOutputFields(OutputFieldsDeclarer declarer) {
        declarer.declare(new Fields(arg1));
    }

    @Override
    public Map<String, Object> getComponentConfiguration() {
        return null;
    }
}

等级2:

public class Class2 extends ShellBolt implements IRichBolt {

    public Class2() {
        super("python", "class2.py");
    }

    @Override
    public void declareOutputFields(OutputFieldsDeclarer declarer) {
        declarer.declare(new Fields(arg2));
    }

    @Override
    public …

这是详细信息:

输入文件位于hdfs路径中/user/rd/input,而hdfs输出路径是/user/rd/output 在输入路径中,有20,000个文件从part-00000到part-19999,每个文件大约是64MB.我想要做的是写一个hadoop流作业,将这20,000个文件合并到10,000个文件中.

有没有办法使用hadoop流媒体作业将这20,000个文件合并到10,000个文件？或者,换句话说,有没有办法控制hadoop流输出文件的数量？

提前致谢!