小编ban*_*ara的帖子

我正在使用Hadoop-2.4.0,我的系统配置是24核,96 GB RAM.

我正在使用以下配置

mapreduce.map.cpu.vcores=1
yarn.nodemanager.resource.cpu-vcores=10
yarn.scheduler.minimum-allocation-vcores=1
yarn.scheduler.maximum-allocation-vcores=4
yarn.app.mapreduce.am.resource.cpu-vcores=1

yarn.nodemanager.resource.memory-mb=88064
mapreduce.map.memory.mb=3072
mapreduce.map.java.opts=-Xmx2048m

容量调度程序配置

queue.default.capacity=50
queue.default.maximum_capacity=100
yarn.scheduler.capacity.root.default.user-limit-factor=2

有了上述配置,我预计每个节点纱线不会超过10个映射器,但它每个节点启动28个映射器.难道我做错了什么？？

根据定义"可以在映射器和减速器之间的每个键上调用组合器0,1或多次."

我想知道mapreduce框架在什么基础上决定将会启动多少次cobiner.

这是我的数据的一个示例:

case time (especially it's purse), read manual care, follow care instructions make stays waterproof -- example, inspect rubber seals doors (especially battery/memory card door open time) 
xm "life support" picture . flip part bit flimsy guessing won't long . sound great altec speaker dock it! chance back base (xm3020) . traveling bag connect laptop extra speaker . amount paid ($25).

我想删除除点(.)之外的所有标点符号,并删除单词length < = 2,例如我的预期输出是:

case time especially its purse read manual care follow care instructions . make …

如果我创建10个整数和10个整数数组,那么占用的总空间是否会有任何差异？

我必须创建一个包含数百万条记录的布尔数组,因此我想了解数组本身将占用多少空间.

当我们在当前节点之后添加一些对象或在当前节点之后删除一些对象时如何Iterator抛出ConcurrentModificationException.是否Iterator保留对基础集合的副本或引用？

我的hive表按年,月,日,小时分区

现在我想从2014-05-27获取数据到2014-06-05我该怎么做？

我知道一个选项是在纪元(或yyyy-mm-dd-hh)和查询传递纪元时间创建分区.我可以不失去日期层次吗？

表结构

CREATE TABLE IF NOT EXISTS table1 (col1 int, col2 int)
PARTITIONED BY (year int, month int, day int, hour int) 
STORED AS TEXTFILE;

在kubernetes中，有没有办法在pod启动后挂载hostPath卷？

循环遍历枚举的最佳方法是什么？

我有一个枚举方向,我想循环遍历它.目前我已经在枚举中实现了下一个返回下一个值的方法,我只是想知道是否有更好的方法/内置支持循环遍历.

目前的代码

enum Direction {
    east, north, west, south;

    Direction next() {

        switch (this) {
        case east:
            return north;

        case north:
            return west;

        case west:
            return south;

        case south:
            return east;
        }

        return null;
    }
}

我想编码/解码一ByteArray来String，但是输入/输出不匹配。难道我做错了什么？

System.out.println(org.apache.commons.codec.binary.Hex.encodeHexString(by));
String s = new String(by, Charsets.UTF_8);
System.out.println(org.apache.commons.codec.binary.Hex.encodeHexString(s.getBytes(Charsets.UTF_8)));

输出为：

130021000061f8f0001a
130021000061efbfbd

完整的代码：

String[] arr = {"13", "00", "21", "00", "00", "61", "F8", "F0", "00", "1A"};        
byte[] by = new byte[arr.length];

for (int i = 0; i < arr.length; i++) {
    by[i] = (byte)(Integer.parseInt(arr[i],16) & 0xff); 
}

System.out.println(org.apache.commons.codec.binary.Hex.encodeHexString(by));

String s = new String(by, Charsets.UTF_8);
System.out.println(org.apache.commons.codec.binary.Hex.encodeHexString(s.getBytes(Charsets.UTF_8)));

我想基于逗号分割一个字符串,不包括一个双引号的字符串,如果有任何相邻的逗号,它们应该被计为单独的标记

我可以在逗号上进行字符串拆分,不包括使用正则表达式使用双引号的字符串 [^,\"']+|\"([^\"]*)\"

但如果有相邻的逗号,则无法正确标记.字符串的示例

one,two,three,four,"five1,five2", six ,seven,"eight1,eight2","nine",,eleven

输出应该是

one
two
three
four
five1,five2
six
seven
eight1,eight2
nine

eleven

请帮忙