Java 以自定义格式将apache pig数据输出到文件
我有一个制表符分隔的数据输入,由于数据大小的原因,需要使用ApachePig进行处理。 我已经成功地加载了数据,甚至对其进行了分析,但我希望以原始格式将输出存储到文件中,而不是存储元组Java 以自定义格式将apache pig数据输出到文件,java,hadoop,apache-pig,Java,Hadoop,Apache Pig,我有一个制表符分隔的数据输入,由于数据大小的原因,需要使用ApachePig进行处理。 我已经成功地加载了数据,甚至对其进行了分析,但我希望以原始格式将输出存储到文件中,而不是存储元组 Sample Input A \t B A \t B Sample Output A \t B A \t B 而不是(A,B),(A,B) 问题出在哪里?您已加载了以制表符分隔的输入,但正在将其写回新行(\n)分隔 尝试: 或 至于输出的具体格式,我建议您研究展平[1]操作符 [1] 您当前的输出实际上是什么
Sample Input
A \t B
A \t B
Sample Output
A \t B
A \t B
而不是(A,B),(A,B)
问题出在哪里?您已加载了以制表符分隔的输入,但正在将其写回新行(\n)分隔 尝试: 或 至于输出的具体格式,我建议您研究展平[1]操作符
[1] 您当前的输出实际上是什么样子的?这应该是PIG存储行中的制表符吗?类似于:1,{(a,1),(D,1)}\n 2,{(B,2),(C,2)}我希望得到与输入相同的格式。
Store D into 'output' using PigStorage('\n')
Store D into 'output' using PigStorage('\t');
Store D into 'output' using PigStorage(); -- tab is the default delimiter