如何在pig/hive中的相应少数列中进行转置
我想知道是否有可能在猪/蜂箱中对相应的几列进行换位如何在pig/hive中的相应少数列中进行转置,hive,apache-pig,transpose,Hive,Apache Pig,Transpose,我想知道是否有可能在猪/蜂箱中对相应的几列进行换位 在处理数据时,我得到的数据低于要求 id jan feb march 1 j1 f1 m1 2 j2 f2 m2 3 j3 f3 m3 我需要把它和第一列相对,这样看起来- id value month 1 j1 jan 1 f1 feb 1 m1
在处理数据时,我得到的数据低于要求
id jan feb march
1 j1 f1 m1
2 j2 f2 m2
3 j3 f3 m3
我需要把它和第一列相对,这样看起来-
id value month
1 j1 jan
1 f1 feb
1 m1 march
2 j2 jan
2 f2 feb
2 m2 march
3 j3 jan
3 f3 feb
3 m3 march
我已经用java尝试过了,但是要让它进入分布式模式,有没有办法在pig/hive中实现呢提前感谢您的帮助 是的,这在使用内置“stack”UDF和case语句的配置单元中是绝对可能的。像这样的方法应该会奏效:
select id, value, CASE
WHEN value like 'j%'
THEN 'jan'
WHEN value like 'f%'
THEN 'feb'
WHEN value like 'm%'
THEN 'march'
ELSE ''
END as month
from table
lateral view stack(3, jan, feb, march) tb as value
;
让我知道这是否有效。Pig没有任何内置功能来解决您的需求,但您可以尝试以下方法,我想它会适合您 input.txt
1 j1 f1 m1
2 j2 f2 m2
3 j3 f3 m3
PigScript:
A = LOAD 'input.txt' USING PigStorage() AS (id,month1,month2,month3);
B = FOREACH A GENERATE FLATTEN(TOBAG(TOTUPLE(id,month1,'jan'),TOTUPLE(id,month2,'feb'),TOTUPLE(id,month3,'mar')));
DUMP B;
(1,j1,jan)
(1,f1,feb)
(1,m1,mar)
(2,j2,jan)
(2,f2,feb)
(2,m2,mar)
(3,j3,jan)
(3,f3,feb)
(3,m3,mar)
输出:
A = LOAD 'input.txt' USING PigStorage() AS (id,month1,month2,month3);
B = FOREACH A GENERATE FLATTEN(TOBAG(TOTUPLE(id,month1,'jan'),TOTUPLE(id,month2,'feb'),TOTUPLE(id,month3,'mar')));
DUMP B;
(1,j1,jan)
(1,f1,feb)
(1,m1,mar)
(2,j2,jan)
(2,f2,feb)
(2,m2,mar)
(3,j3,jan)
(3,f3,feb)
(3,m3,mar)
如果你不介意Michael,你的答案中的“值”是什么,因为没有“值”栏是的,它是由侧视图创建的。谢谢Michael,解决方案是正确的,但我正在寻找通用解决方案。