小编Sha*_*ore的帖子

Hadoop有配置参数hadoop.tmp.dir,根据文档,它是" 其他临时目录的基础".我认为,这条路径指的是本地文件系统.

我将此值设置为/mnt/hadoop-tmp/hadoop-${user.name}.格式化namenode并启动所有服务后,我看到在HDFS上创建的路径完全相同.

这是否意味着, hadoop.tmp.dir是指HDFS上的临时位置？

我正在使用一个拥有超过250万行的巨大桌子.架构很简单.

CREATE TABLE MyTable (
        id BIGINT PRIMARY KEY AUTO_INCREMENT,
        oid INT NOT NULL,
        long1 BIGINT NOT NULL,
        str1 VARCHAR(30) DEFAULT NULL,
        str2 VARCHAR(30) DEFAULT NULL,
        str2 VARCHAR(200) DEFAULT NULL,
        str4 VARCHAR(50) DEFAULT NULL,
        int1 INT(6) DEFAULT NULL,
        str5 VARCHAR(300) DEFAULT NULL,
        date1 DATE DEFAULT NULL,
        date2 DATE DEFAULT NULL,
        lastUpdated TIMESTAMP NOT NULL,
        hashcode INT NOT NULL,
        active TINYINT(1) DEFAULT 1,
        KEY oid(oid),
        KEY lastUpdated(lastUpdated),
        UNIQUE KEY (hashcode, active),
        KEY (active)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 MAX_ROWS=1000000000;

插件的性能显着下降.表中有多达1.5亿行,过去需要5-6秒才能插入10,000行.现在已经上升了2-4倍.Innodb的ibdata文件已增长到107 GB.Innodb配置参数如下.

innodb_buffer_pool_size …

BlockingQueue的文档说批量操作不是线程安全的,尽管它没有明确提到方法drainTo().

BlockingQueue实现是线程安全的.所有排队方法都使用内部锁或其他形式的并发控制以原子方式实现其效果.但是,除非在实现中另有说明,否则批量收集操作addAll,containsAll,retainAll和removeAll不一定以原子方式执行.因此,例如,在仅添加c中的一些元素之后,addAll(c)可能会失败(抛出异常).

drainTo()方法的文档指定无法以线程安全的方式修改阻塞BlockingQueue元素的集合.但是,它没有提到有关drainTo()操作是线程安全的任何事情.

从此队列中删除所有可用元素,并将它们添加到给定集合中.此操作可能比重复轮询此队列更有效.尝试向集合c添加元素时遇到的故障可能导致在抛出关联的异常时元素既不在集合中,也不在集合中.尝试将队列排放到自身会导致IllegalArgumentException.此外,如果在操作正在进行时修改指定的集合,则此操作的行为是不确定的.

那么,drainTo()方法是线程安全的吗？换句话说,如果一个线程在阻塞队列上调用了drainTo()方法,而另一个线程在同一个队列上调用了add()或put(),那么在两个操作结束时队列的状态是否一致？

表有时间戳列.其中的样本值可能是2010-03-30 13:42:42.使用Hibernate,我正在进行范围查询Restrictions.between("column-name",fromDate,toDate).

此列的Hibernate映射如下所示.

<property name="orderTimestamp"  column="order_timestamp" type="java.util.Date" />

让我们说,我想找出所有日期为2010年3月30日和2010年3月31日的记录.此字段的范围查询如下所示.

Date fromDate = new SimpleDateFormat("yyyy-MM-dd").parse("2010-03-30");
Date toDate = new SimpleDateFormat("yyyy-MM-dd").parse("2008-03-31");
Expression.between("orderTimestamp", fromDate, toDate);

这不起作用.

查询将转换为相应的时间戳"2010-03-30 00:00:00"和"2010-03-31 00:00:00".因此,2010年3月31日的所有记录都将被忽略.

解决这个问题的一个简单方法是将结束日期定为"2010-03-31 23:59:59".但是,我想知道是否有方法只匹配timestamp列的日期部分.

还Expression.between()包括两个限制？文档对此没有任何启示.

我已经基于现有的Fedora Core 13 AMI创建了一个新的AMI.当我尝试使用新映像启动实例时,实例甚至在启动之前就会终止.实例的状态从"挂起"更改为"已终止".我尝试使用Amazon Console获取系统日志,但日志为空.

如何找出实例终止的原因？

编辑:请在下面查看我的答案.