Hadoop 使用pig进行数据转换

Hadoop 使用pig进行数据转换,hadoop,apache-pig,Hadoop,Apache Pig,我有一个csv文件,其中有两个变量。我必须加上这两个变量:-比如工资和奖金(工资用逗号分隔),但这在猪身上并没有发生。我也尝试过使用铸造。以下是数据集的屏幕截图:- 我使用了下面的脚本:- register /home/ravimishra/piggybank-0.15.0.jar; define CSVLoader org.apache.pig.piggybank.storage.CSVLoader(); emp_details_header = LOAD 'data/employee.cs

我有一个csv文件,其中有两个变量。我必须加上这两个变量:-比如工资和奖金(工资用逗号分隔),但这在猪身上并没有发生。我也尝试过使用铸造。以下是数据集的屏幕截图:-

我使用了下面的脚本:-

register /home/ravimishra/piggybank-0.15.0.jar;
define CSVLoader org.apache.pig.piggybank.storage.CSVLoader();
emp_details_header = LOAD 'data/employee.csv' USING CSVLoader  AS (id: int, name: chararray, address: chararray, occupation: chararray,salary: chararray,bonus: double);
ranked = rank emp_details_header;
NoHeader = Filter ranked by (rank_emp_details_header > 1);
B = FOREACH NoHeader GENERATE id,name,address,occupation, (double)salary + bonus as total   ;

请确保路径正确。转储加载的数据以查看薪资中的逗号是否已删除,否则请使用“替换”从薪资字段中删除逗号。最后用附加()将总和括起来,即((双倍)薪资+奖金)如何删除逗号,我尝试使用“替换”函数,但无法删除。您可以尝试一次((双倍)(替换)吗(薪水,“,”)+奖金)。此外,如果您可以在运行上述脚本时粘贴输出。感谢Suranjan,现在它可以工作了。