Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop 在PIG中加载多个文件_Hadoop_Apache Pig - Fatal编程技术网

Hadoop 在PIG中加载多个文件

Hadoop 在PIG中加载多个文件,hadoop,apache-pig,Hadoop,Apache Pig,我有35个Csv文件,我想用Pig加载数据。我尝试过以下几种方法 1) A = LOAD '/home/mrinmoy/Desktop/Sampath Project/Household/{HLPCA-00000,HLPCA-01000,HLPCA-02000,HLPCA-03000,HLPCA-04000,HLPCA-05000,HLPCA-06000,HLPCA-07000,HLPCA-08000,HLPCA-09000,HLPCA-10000,HLPCA-11000,HLPCA-12000

我有35个Csv文件,我想用Pig加载数据。我尝试过以下几种方法

1) A = LOAD '/home/mrinmoy/Desktop/Sampath Project/Household/{HLPCA-00000,HLPCA-01000,HLPCA-02000,HLPCA-03000,HLPCA-04000,HLPCA-05000,HLPCA-06000,HLPCA-07000,HLPCA-08000,HLPCA-09000,HLPCA-10000,HLPCA-11000,HLPCA-12000,HLPCA-13000,HLPCA-14000,HLPCA-15000,HLPCA-16000,HLPCA-17000,HLPCA-18000,HLPCA-19000,HLPCA-20000,HLPCA-21000,HLPCA-22000,HLPCA-23000,HLPCA-24000,HLPCA-25000,HLPCA-26000,HLPCA-27000,HLPCA-28000,HLPCA-29000,HLPCA-30000,HLPCA-31000,,HLPCA-32000,,HLPCA-33000,,HLPCA-34000,,HLPCA-35000}.csv' UsingPigStorage(',');
对于这次尝试,我得到了错误

014-10-06 00:32:07,130 [main] ERROR org.apache.pig.tools.grunt.Grunt - ERROR 2999: Unexpected internal error. Can not create a Path from an empty string
Details at logfile: /home/mrinmoy/Desktop/Sampath Project/Household/pig_1412580582549.log
在下一次尝试中,我使用SomeLoader()更改了脚本

但是我说这个是错误的

2014-10-06 00:39:42,905 [main] ERROR org.apache.pig.tools.grunt.Grunt - ERROR 1070: Could not resolve SomeLoader using imports: [, org.apache.pig.builtin., org.apache.pig.impl.builtin.]
Details at logfile: /home/mrinmoy/Desktop/Sampath Project/Household/pig_1412580912789.log

Pig将始终加载目录中的所有文件。因此,您只需要使用CSV文件指定目录

A=LOAD'/home/mrinmoy/Desktop/Sampath Project/house/'使用PigStorage(',')

另请注意
usingPigStorage()
缺少空格。应使用PigStorage()将其设置为

还有一些双逗号:
…HLPCA-31000,,HLPCA-32000,,HLPCA-33000,,HLPCA-34000,,HLPCA-35000}…
,Pig将始终加载目录中的所有文件。因此,您只需要使用CSV文件指定目录

A=LOAD'/home/mrinmoy/Desktop/Sampath Project/house/'使用PigStorage(',')

另请注意
usingPigStorage()
缺少空格。应使用PigStorage()将其设置为

您有一些双逗号:
…HLPCA-31000,,HLPCA-32000,,HLPCA-33000,,HLPCA-34000,,HLPCA-35000}…
Pig支持将文件名作为正则表达式提供。因此,您可以提供如下内容:

A = LOAD '/home/mrinmoy/Desktop/Sampath Project/Household/HLPCA*' Using PigStorage(',');

并且它将加载所有文件,文件名以HOUSE目录中的“HLPCA”开头。

Pig支持将文件名作为正则表达式提供。因此,您可以提供如下内容:

A = LOAD '/home/mrinmoy/Desktop/Sampath Project/Household/HLPCA*' Using PigStorage(',');
它将加载所有文件,文件名以家庭目录中的“HLPCA”开头