Csv 从pig中的txt文件中删除不均匀的空格
我有一个带有不均匀空格的文本文件,我想使用pig将其存储为csv文件Csv 从pig中的txt文件中删除不均匀的空格,csv,text,apache-pig,Csv,Text,Apache Pig,我有一个带有不均匀空格的文本文件,我想使用pig将其存储为csv文件 2013 210 0 2878 -7543 4 29 20 116 2013 210 10 2875 -7538 4 32 20 116 2013 210 20 2872 -7533 4 29 20 116 2013 210 30 2870 -7527 4 29 20 115 2013 210 40 2867 -7522 4 30 20 115 2013
2013 210 0 2878 -7543 4 29 20 116
2013 210 10 2875 -7538 4 32 20 116
2013 210 20 2872 -7533 4 29 20 116
2013 210 30 2870 -7527 4 29 20 115
2013 210 40 2867 -7522 4 30 20 115
2013 210 50 2864 -7516 4 29 20 115
2013 210 60 2861 -7511 4 29 20 115
如果存在不均匀的空格,请先以单行形式读取值,然后使用正则表达式压缩数据,然后使用
STRSPLIT
拆分单个空格分隔的数据
text_data = load 'file.txt' as line;
squeezed_data = foreach text_data generate REPLACE(line, '\\s+', ' ');
“不均匀空白”在哪里?列分隔符是什么?不知道
pig
是什么,但是在shell中,您可以使用tr
的“压缩”选项,即tr-s'