Hadoop 在EMR流媒体步骤中使用其他文件？

我目前有一个hadoop命令，我想使用AWS SDK复制它

我当前使用的命令

hadoop jar /home/hadoop/contrib/streaming/hadoop-streaming.jar -input /no_dups -output /sorted -mapper mapper.py -reducer reducer.py -file mapper.py reducer.py other_file1.py other_file2.py

就我所见，

StreamingStep

类没有提供一种方法让Hadoop知道需要其他文件，以及映射器和reducer

---

此功能可用吗？

我通过将

-file

选项与我需要的文件列表一起传递给

HadoopJarStepConfig

解决了这个问题

看