Python 如何读取hadoop作业中的其他文件?

Python 如何读取hadoop作业中的其他文件?,python,hadoop,Python,Hadoop,我需要读入一个字典文件来过滤hdfs_输入中指定的内容,我已经使用put命令将其上传到集群,但我不知道如何在我的程序中访问它 我试图像普通文件一样使用集群上的路径访问它,但它给出了错误信息:IOError:[Errno 2]没有这样的文件或目录 此外,有没有办法只为所有运行作业的机器维护字典的一个副本 那么除了hadoop作业中指定的输入之外,访问文件的正确方法是什么呢?通过在conf file中添加-file选项或file=选项所需的文件来解决这个问题

我需要读入一个字典文件来过滤hdfs_输入中指定的内容,我已经使用put命令将其上传到集群,但我不知道如何在我的程序中访问它

我试图像普通文件一样使用集群上的路径访问它,但它给出了错误信息:IOError:[Errno 2]没有这样的文件或目录

此外,有没有办法只为所有运行作业的机器维护字典的一个副本


那么除了hadoop作业中指定的输入之外,访问文件的正确方法是什么呢?

通过在conf file中添加-file选项或file=选项所需的文件来解决这个问题