Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
如何通过URL访问hadoop hdfs并在程序中使用_Hadoop_Mapreduce - Fatal编程技术网

如何通过URL访问hadoop hdfs并在程序中使用

如何通过URL访问hadoop hdfs并在程序中使用,hadoop,mapreduce,Hadoop,Mapreduce,我的hadoop dfs可通过 http://localhost:50075/browseDirectory.jsp?dir=%2Fuser%2Fhdone%2Ftext&namenodeInfoPort=50070 在我的程序中,我必须用我的hdfs替换输入 FileInputFormat.addInputPath(conf,新路径(“输入”)) My core-site.xml具有以下价值 hdfs://localhost:54310我无法使用URL访问它 我的实际hdfs路径是/users

我的hadoop dfs可通过

http://localhost:50075/browseDirectory.jsp?dir=%2Fuser%2Fhdone%2Ftext&namenodeInfoPort=50070

在我的程序中,我必须用我的hdfs替换输入

FileInputFormat.addInputPath(conf,新路径(“输入”))

My core-site.xml具有以下价值
hdfs://localhost:54310
我无法使用URL访问它

我的实际hdfs路径是
/users/hdone/text2
,其中所有文件都具有相应的权限


那么,我应该为
输入写些什么呢?

您只需给出dfs与您输入的相对路径,就可以正确读取

例如,您正在创建一个输入路径,如下所示:

$ hadoop fs -mkdir my_input_directory
$ hadoop fs -put /home/user/my-test-file.csv my_input_directory/my-test-file.csv
现在,为了运行hadoop作业,您可以执行如下操作:

$ hadoop jar my_test_program.jar **my_input_directory** my_output_directory
在Java代码中,您可以通过
args[0]
访问它,如下所示:

FileInputFormat.addInputPath(conf, new Path(args[0]));

你能试着把端口改成9000并检查一下吗?所以它将是
hdfs://localhost:9000/users/hdone/text2