Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop 哈多比赢了';我无法通过mkdir_Hadoop_Hadoopy - Fatal编程技术网

Hadoop 哈多比赢了';我无法通过mkdir

Hadoop 哈多比赢了';我无法通过mkdir,hadoop,hadoopy,Hadoop,Hadoopy,我目前正在从事一个利用hadoop(2.7.0)的项目,我已经配置了一个两节点集群并正在工作(大部分情况下)。我可以手动运行mapper/reducer作业,而不会出现任何问题。但是当我尝试用hadoopy开始一项工作时,我遇到了一个错误。调试错误后,我发现它源自hadoopy执行的以下命令: hadoop fs -mkdir _hadoopy_tmp 这将产生以下错误: mkdir: '_hadoopy_tmp': No such file or directory 手动执行时,mkdir

我目前正在从事一个利用hadoop(2.7.0)的项目,我已经配置了一个两节点集群并正在工作(大部分情况下)。我可以手动运行mapper/reducer作业,而不会出现任何问题。但是当我尝试用hadoopy开始一项工作时,我遇到了一个错误。调试错误后,我发现它源自hadoopy执行的以下命令:

hadoop fs -mkdir _hadoopy_tmp
这将产生以下错误:

mkdir: '_hadoopy_tmp': No such file or directory
手动执行时,mkdir工作正常如果我在文件direcotry名称前面加一个“/”。如果我不以“/”开头,我会得到与上面相同的错误。ls命令也是如此(ls/给我一个结果,ls.给我一个错误,没有这样的文件或目录)。我猜我把hadoop的配置搞砸了。我就是不知道在哪里


EDIT:to clearify:我知道您应该使用mkdir命令和一个直接路径(ea/在它前面)。当通过终端与hadoop交互时,我会这样做。但是hadoopy框架似乎没有做到这一点(它抛出了如上所示的错误)。我的问题是:hadoopy中是否有修复/解决方法,或者我是否必须重写这些源代码?

我不明白“手动”对您来说是什么,但您看到的错误在我看来是非常有意义的,如果您想在HadoopFS中创建目录,您应该给出执行该操作的确切路径。那里没有问题,你也没有搞砸任何事。我建议您这样做:

$HADOOP_HOME/bin/hdfs dfs -mkdir /name_of_new_folder/

Pd:我对hadoopy一无所知,我只是从我使用hadoop的经验中说起(有些项目应该在两者中得到同等处理,所以这就是我在这里回答的原因,如果我错了,请纠正我的错误)

手动启动作业,我的意思是使用lib文件夹中的streamer jar,并给它一个python-mapper和-reducer。此外,当我使用命令行制作地图等时,我会给出完整的路径。但问题是hadoopy并没有做到这一点(bug?)。Hadoopy是一种包装器框架,您可以与python一起使用它来轻松访问HDF和管理批处理作业。阅读它的来源,它似乎使临时文件夹中的HDFS存储某些东西。但是当执行此操作时,它的路径并不精确(它使用我在上面发布的raw命令)