Java hadoop配置单元计数并发性
如何在hadoop中实现它 在hive中,我有一个包含很多列的表,其中两列是开始时间和结束时间 我每次都要数一数表上的数字 一张桌子是这样的:Java hadoop配置单元计数并发性,java,hadoop,hive,Java,Hadoop,Hive,如何在hadoop中实现它 在hive中,我有一个包含很多列的表,其中两列是开始时间和结束时间 我每次都要数一数表上的数字 一张桌子是这样的: begin_time end_time 2011.04.26 10:19:06^A2011.04.26 10:20:22 2011.04.26 10:19:08^A2011.04.26 10:21:49 2011.04.26 10:19:08^A2011.04.26 11:18:46 2011.04.26 10:19:0
begin_time end_time
2011.04.26 10:19:06^A2011.04.26 10:20:22
2011.04.26 10:19:08^A2011.04.26 10:21:49
2011.04.26 10:19:08^A2011.04.26 11:18:46
2011.04.26 10:19:09^A2011.04.26 12:08:36
2011.04.26 10:19:09^A2011.04.26 11:00:16
2011.04.26 10:19:11^A2011.04.26 10:19:17
2011.04.26 10:19:12^A2011.04.26 10:46:21
2011.04.26 10:19:13^A2011.04.26 10:55:43
2011.04.26 10:19:17^A2011.04.26 10:19:41
2011.04.26 10:19:18^A2011.04.26 10:34:41
我想要的结果是在一个特定的时间有多少人在里面
e、 g.2011.04.26 10:19:08,课程中有3名访客,19:06有一名,19:08有2名
2011.04.26 10:19:18是9,课程十,但一个在2011.04.26 10:19:17离开
工件的期望结果是
2011.04.26 10:19:06 1
2011.04.26 10:19:08 3
2011.04.26 10:19:09 5
2011.04.26 10:19:11 6
2011.04.26 10:19:12 7
2011.04.26 10:19:13 8
2011.04.26 10:19:17 9
2011.04.26 10:19:18 9
非常感谢并欢迎提供任何帮助。您可以在hive上尝试此操作(假设表名为test\u log):
也许不是最好的解决方案,但至少它是有效的。
您可以在受驱动子查询上添加一些过滤器以减少数据集。显示您尝试了什么?我用c编写了一个程序来实现这一点。但是应该使用hadoop来完成这项工作。解析错误:第10:16行输入不匹配“介于”预期EOF接近“时间”它在hive 0.9上工作正常,您使用哪个版本来运行此操作?
select /*+ MAPJOIN(driven) */ driven.time, count(*)
from
(select time
from
(select begin_time time from test_log union all
select end_time time from test_log) u
group by time) driven
join test_log l on true
where
driven.time between l.begin_time and l.end_time
group by driven.time