Apache pig 猪:压扁一个元组状的袋子
我有一个包含未知数量字段的元组。我想展平元组,这样元组的每个元素都会创建一个新行(就像Bag展平一样) e、 g.Apache pig 猪:压扁一个元组状的袋子,apache-pig,Apache Pig,我有一个包含未知数量字段的元组。我想展平元组,这样元组的每个元素都会创建一个新行(就像Bag展平一样) e、 g. 输入: student = { (A, B, (C, D, E, F)) } student = { (A, B, C), (A, B, D), (A, B, E), (A, B, F), } 输出: student = { (A, B, (C, D, E, F)) } student
输入:
student = { (A, B, (C, D, E, F)) }
student = { (A, B, C),
(A, B, D),
(A, B, E),
(A, B, F),
}
输出:
student = { (A, B, (C, D, E, F)) }
student = { (A, B, C),
(A, B, D),
(A, B, E),
(A, B, F),
}
如何实现这一点?好的,让它工作起来!
使用LinkedIn的DataFu UDF库函数TransportSetupletoBag将元组转换为包,然后将包压平
大概是这样的:
out=每个学生生成$0、$1、展平(TransportSetupletoBag($2)) 谢谢Himanshu的格式化!