Apache pig pig无法从本地存储读取数据
我运行了以下命令,包括pig中的load和dump命令:我的文件在本地,我在独立的机器上Apache pig pig无法从本地存储读取数据,apache-pig,hadoop2,Apache Pig,Hadoop2,我运行了以下命令,包括pig中的load和dump命令:我的文件在本地,我在独立的机器上 grunt> custs = LOAD 'custs' USING PigStorage(',') As (id:long,name:chararray,surname:chararray,age:int,prof:chararray); grunt> dump custs; 我得到了这个错误: HadoopVersion PigVersion UserId StartedAt
grunt> custs = LOAD 'custs' USING PigStorage(',') As (id:long,name:chararray,surname:chararray,age:int,prof:chararray);
grunt> dump custs;
我得到了这个错误:
HadoopVersion PigVersion UserId StartedAt FinishedAt Features
2.7.1 0.15.0 sujit 2016-04-21 13:05:51 2016-04-21 13:05:51 UNKNOWN
Failed!
Failed Jobs:
JobId Alias Feature Message Outputs
N/A custs MAP_ONLY Message: java.lang.NullPointerException
Input(s):
Failed to read data from "file:///home/sujit/pig_data/custs"
Job DAG:
null
2016-04-21 13:05:51,277 [main] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher - Failed!
2016-04-21 13:05:51,278 [main] ERROR org.apache.pig.tools.grunt.Grunt - ERROR 1066: Unable to open iterator for alias custs
Details at logfile: /home/sujit/pig_data/pig_1461220631975.log
但该文件存在于其中,并具有所需的权限
sujit@sujit-pc:~/pig_data$ ls -l
total 4824
-rwxrwxrwx 1 sujit sujit 391355 Jun 9 2012 custs
我收到此错误是因为我尚未将本地文件复制到hdfs 要将文件从本地复制到hdfs,可以使用以下命令
hdfs dfs -copyFromLocal yourFileNameHere.csv ~/yourFolder/yourFileNameHere.csv
*注意:您必须先在hdfs中创建一个文件夹。这是通过如下命令完成的-
hdfs dfs -mkdir /home/ubuntu/yourFolder
将本地文件复制到HDFS后,我不再收到错误。我收到此错误,因为我尚未将本地文件复制到HDFS 要将文件从本地复制到hdfs,可以使用以下命令
hdfs dfs -copyFromLocal yourFileNameHere.csv ~/yourFolder/yourFileNameHere.csv
*注意:您必须先在hdfs中创建一个文件夹。这是通过如下命令完成的-
hdfs dfs -mkdir /home/ubuntu/yourFolder
将本地文件复制到HDFS后,我不再收到错误。加载CUTS文件时,您需要提及完整路径。。例如/home/user/custs…您使用哪种执行模式??确保访问本地文件系统文件是
local
,我使用的是local,pig-x localIs您的文件名cust?它没有任何扩展名?请指定完整路径file:///home/sujit/pig_data/custs.txtyou 加载CUTS文件时需要提及完整路径。。例如/home/user/custs…您使用哪种执行模式??确保访问本地文件系统文件是local
,我使用的是local,pig-x localIs您的文件名cust?它没有任何扩展名?请指定完整路径file:///home/sujit/pig_data/custs.txt