Hive中的字数统计程序

Question

我正在努力学习Hive.令人惊讶的是,我找不到如何编写简单的字数统计工作的示例.以下是否正确？

假设我有一个输入文件input.tsv:

hello, world
this is an example input file

我在Python中创建了一个拆分器,将每行转换为单词:

import sys

for line in sys.stdin:
 for word in line.split():
   print word

然后我的Hive脚本中有以下内容:

CREATE TABLE input (line STRING);
LOAD DATA LOCAL INPATH 'input.tsv' OVERWRITE INTO TABLE input;

-- temporary table to hold words...
CREATE TABLE words (word STRING);

add file splitter.py;

INSERT OVERWRITE TABLE words 
  SELECT TRANSFORM(text) 
    USING 'python splitter.py' 
    AS word
  FROM input;

SELECT word, count(*) AS count FROM words GROUP BY word;

我不确定我是否遗漏了某些东西,或者它是否真的很复杂.(特别是,我是否需要临时words表,是否需要编写外部分离器功能？)

Answer 1

如果您想要一个简单的,请看以下内容:

SELECT word, COUNT(*) FROM input LATERAL VIEW explode(split(text, ' ')) lTable as word GROUP BY word;

我使用横向视图来启用表值函数(explode),它使用split函数列表并为每个值输出一个新行.在实践中,我使用包装IBM的ICU4J字断路器的UDF.我通常不使用转换脚本并使用UDF进行所有操作.您不需要临时单词表.