Hadoop Streaming-设置每个节点的最大映射数

Hadoop Streaming-设置每个节点的最大映射数,hadoop,hadoop-streaming,Hadoop,Hadoop Streaming,是否可以设置每个节点运行的映射任务数。 我使用Hadoop流来抓取数据,每个节点只需要一个映射任务来避免阻塞 谢谢,无论是否流式处理,都可以使用mapreduce.tasktracker.map.tasks.maximum参数设置每个节点的最大映射器数。必须在节点上的mapred site.xml文件中设置参数,此属性在客户端上设置时无效。是否尝试在job.xml中使用以下设置 mapred.max.maps.per.node=1 mapred.max.reduces.per.node=1 这

是否可以设置每个节点运行的映射任务数。
我使用Hadoop流来抓取数据,每个节点只需要一个映射任务来避免阻塞


谢谢,

无论是否流式处理,都可以使用
mapreduce.tasktracker.map.tasks.maximum
参数设置每个节点的最大映射器数。必须在节点上的
mapred site.xml
文件中设置参数,此属性在客户端上设置时无效。

是否尝试在job.xml中使用以下设置

mapred.max.maps.per.node=1
mapred.max.reduces.per.node=1
这些默认值为-1,不受限制(当然,可用插槽除外)