Mapreduce Hive中的字计数程序

我在学蜂巢。令人惊讶的是，我找不到如何编写简单的字数计算作业的示例。以下是正确的吗

假设我有一个输入文件

input.tsv

：

hello, world
this is an example input file

我在Python中创建了一个拆分器，将每一行转换为单词：

import sys

for line in sys.stdin:
 for word in line.split():
   print word

然后在我的配置单元脚本中有以下内容：

CREATE TABLE input (line STRING);
LOAD DATA LOCAL INPATH 'input.tsv' OVERWRITE INTO TABLE input;

-- temporary table to hold words...
CREATE TABLE words (word STRING);

add file splitter.py;

INSERT OVERWRITE TABLE words 
  SELECT TRANSFORM(text) 
    USING 'python splitter.py' 
    AS word
  FROM input;

SELECT word, count(*) AS count FROM words GROUP BY word;

---

我不确定我是否遗漏了什么，或者它是否真的如此复杂。（特别是，我是否需要临时

字

表，以及我是否需要编写外部拆分器函数？

如果您想要一个简单的拆分器，请参见以下内容：

SELECT word, COUNT(*) FROM input LATERAL VIEW explode(split(text, ' ')) lTable as word GROUP BY word;

---

我使用一个横向视图来启用表值函数（explode），它获取从split函数中产生的列表，并为每个值输出一个新行。实际上，我使用一个UDF来包装IBM的ICU4J分词器。我通常不使用转换脚本，而是对所有内容都使用UDF。您不需要临时单词表。

您可以在hive中使用内置的UDF，如下所示：

CREATE TABLE docs (line STRING);
LOAD DATA INPATH 'text' OVERWRITE INTO TABLE docs;
CREATE TABLE word_counts AS
SELECT word, count(1) AS count FROM
(SELECT explode(split(line, '\s')) AS word FROM docs) w
GROUP BY word
ORDER BY word;

1） 步骤1：创建一个临时表，其中有一列名为数据类型数组的语句

---

create table temp as select statement from docs lateral view explode（explode（句子（lcase（行）））ltable as statement

查看您在HiveQL中涉及explode和lateral view的评论，您能不能看一下这个问题，我找不到解决方案。很抱歉这样联系您。@Steve-我已将数据加载到一个表中，当我运行命令时，我得到

失败：语义分析错误：null

。运行该命令有任何先决条件吗？