Hadoop mapreduce python命令行参数

Hadoop mapreduce python命令行参数,python,hadoop,mapreduce,command-line-arguments,Python,Hadoop,Mapreduce,Command Line Arguments,在我的python映射程序代码中,我需要访问-input“path”中给出的“path”。如何在python代码中访问该文件?您可以从os.environ读取输入文件。比如说, import os input_file = os.environ['map_input_file'] 实际上,您还可以从os.environ读取其他JobConf。注意:在执行流作业期间,“mapred”参数的名称将被转换。点(.)变为下划线(u)。例如,mapred.job.id变为mapred_job_id,ma

在我的python映射程序代码中,我需要访问-input“path”中给出的“path”。如何在python代码中访问该文件?

您可以从
os.environ
读取输入文件。比如说,

import os
input_file = os.environ['map_input_file']
实际上,您还可以从
os.environ
读取其他JobConf。注意:在执行流作业期间,“mapred”参数的名称将被转换。点(.)变为下划线(u)。例如,mapred.job.id变为mapred_job_id,mapred.jar变为mapred_jar。要获取流作业的映射器/还原器中的值,请使用带下划线的参数名称。看

我还发现了一个非常有用的帖子: