Python Hadoop流媒体作业限制为6张地图和6张地图

Python Hadoop流媒体作业限制为6张地图和6张地图,python,hadoop,mapreduce,hadoop-streaming,Python,Hadoop,Mapreduce,Hadoop Streaming,因此,我在我的3节点集群上通过Hadoop streaming运行一个非常基本的(只是搜索一个简单表达式)程序。当我运行作业时,JobTracker通知我只有6个map和6个reduces正在运行,有2000个挂起的map和reduce作业。为什么会这样?我已经在conf/mapred-site.xml文件中设置了映射器和还原器的最大数量(每个节点60、20个)。您建议如何解决此问题?您选择了多少张地图/地图?JobTracker UI上显示了多少可用的map/reduce插槽?我为作业选择了2

因此,我在我的3节点集群上通过Hadoop streaming运行一个非常基本的(只是搜索一个简单表达式)程序。当我运行作业时,JobTracker通知我只有6个map和6个reduces正在运行,有2000个挂起的map和reduce作业。为什么会这样?我已经在conf/mapred-site.xml文件中设置了映射器和还原器的最大数量(每个节点60、20个)。您建议如何解决此问题?

您选择了多少张地图/地图?JobTracker UI上显示了多少可用的map/reduce插槽?我为作业选择了20个map和20个reduces,这两个选项都在我正在执行的命令行和配置文件中。可用(挂起)贴图插槽有数千个,可用(挂起)减少插槽有20个。但一次只运行6个map/reduce。请告知。