如何通过URL访问hadoop hdfs并在程序中使用
我的hadoop dfs可通过如何通过URL访问hadoop hdfs并在程序中使用,hadoop,mapreduce,Hadoop,Mapreduce,我的hadoop dfs可通过 http://localhost:50075/browseDirectory.jsp?dir=%2Fuser%2Fhdone%2Ftext&namenodeInfoPort=50070 在我的程序中,我必须用我的hdfs替换输入 FileInputFormat.addInputPath(conf,新路径(“输入”)) My core-site.xml具有以下价值 hdfs://localhost:54310我无法使用URL访问它 我的实际hdfs路径是/users
http://localhost:50075/browseDirectory.jsp?dir=%2Fuser%2Fhdone%2Ftext&namenodeInfoPort=50070
在我的程序中,我必须用我的hdfs替换输入
FileInputFormat.addInputPath(conf,新路径(“输入”))代码>
My core-site.xml具有以下价值
hdfs://localhost:54310
我无法使用URL访问它
我的实际hdfs路径是/users/hdone/text2
,其中所有文件都具有相应的权限
那么,我应该为输入写些什么呢?您只需给出dfs与您输入的相对路径,就可以正确读取
例如,您正在创建一个输入路径,如下所示:
$ hadoop fs -mkdir my_input_directory
$ hadoop fs -put /home/user/my-test-file.csv my_input_directory/my-test-file.csv
现在,为了运行hadoop作业,您可以执行如下操作:
$ hadoop jar my_test_program.jar **my_input_directory** my_output_directory
在Java代码中,您可以通过args[0]
访问它,如下所示:
FileInputFormat.addInputPath(conf, new Path(args[0]));
你能试着把端口改成9000并检查一下吗?所以它将是hdfs://localhost:9000/users/hdone/text2