小编min*_*s23的帖子

我在HIVE中创建了一个表格

CREATE TABLE IF NOT EXISTS daily_firstseen_analysis (
    firstSeen         STRING,
    category          STRING,
    circle            STRING,
    specId            STRING,
    language          STRING,
    osType            STRING,
    count             INT)
    PARTITIONED BY  (day STRING)
    ROW FORMAT DELIMITED
    FIELDS TERMINATED BY '\t'
    STORED AS orc;

count(*)没有给我这个表的正确结果

hive> select count(*) from daily_firstseen_analysis;
OK
75
Time taken: 0.922 seconds, Fetched: 1 row(s)

虽然此表中的行数为959行

hive> select * from daily_firstseen_analysis;
....
Time taken: 0.966 seconds, Fetched: 959 row(s)

它提供了959行的数据

hive> ANALYZE TABLE daily_firstseen_analysis PARTITION(day) COMPUTE STATISTICS noscan; 
    Partition logdata.daily_firstseen_analysis{day=20140521} stats: [numFiles=6, numRows=70, totalSize=4433, …

我有一个表，其中包含属于各个日期的行。我想创建一个视图，它应该根据日期为我提供数据

CREATE VIEW newusers
AS
SELECT DISTINCT T1.uuid
FROM user_visit T1
WHERE T1.firstSeen="20140522";

我不想修复 WHERE T1.firstSeen="20140522"; 它可以是任何日期，例如 20140525 等。有什么方法可以创建以日期作为参数的视图吗？

我正在使用kafka 0.9.0.1代理和0.9.0.1消费者客户端。我的使用者实例正在使用处理时间少于1秒的记录。其他主要配置是

enable.auto.commit=false
session.timeout.ms=30000
heartbeat.interval.ms=25000

我在处理后提交了偏移量。我正在例外

提交组kafka_to_s3的偏移量时发生错误UNKNOWN_MEMBER_ID

com.bsb.hike.analytics.consumer.Consumer错误-无法提交retryCount = 2 org.apache.kafka.clients.consumer.CommitFailedException：由于组重新平衡，无法完成提交

一小时一次或两次。每天消耗约60亿个事件。似乎偏移量仅存储在主题“ __consumer_offsets”的一个分区中。这也增加了特定经纪人的负担。

有人对这些问题有头绪吗？