Python 如何在单个节点中同时运行多个映射器

Python 如何在单个节点中同时运行多个映射器,python,mapreduce,hadoop2,Python,Mapreduce,Hadoop2,我在Mac中使用Hadoop 2.8.0。我想同时运行所有映射程序。我试图强制对输入文件进行多个分割,并使用多个输入文件,以便创建多个映射器。它们是创建的,但它们是按顺序运行的。我在输出中看到如下内容: 正在启动任务****\u m\u 0 完成任务****\m\u 0 启动任务****\u m\u 1 为什么制图员一个接一个地跑?如何配置以使它们立即启动?如果您在本地模式下运行mapreduce(例如,从eclipse),它一次只能运行一个映射器和一个reducer。如果您在分布式(或伪分布

我在Mac中使用Hadoop 2.8.0。我想同时运行所有映射程序。我试图强制对输入文件进行多个分割,并使用多个输入文件,以便创建多个映射器。它们是创建的,但它们是按顺序运行的。我在输出中看到如下内容:

正在启动任务****\u m\u 0

完成任务****\m\u 0

启动任务****\u m\u 1


为什么制图员一个接一个地跑?如何配置以使它们立即启动?

如果您在本地模式下运行mapreduce(例如,从eclipse),它一次只能运行一个映射器和一个reducer。如果您在分布式(或伪分布式)模式下运行它(例如,从终端使用
hadoop
命令),它可以使用更多的映射器运行

确保在配置文件中将映射器的最大数量设置为大于1


如果你有4个文件,你的Mac至少有4个内核,那么你应该看到至少4个map任务同时运行。

如果你在本地模式下运行mapreduce(例如,从eclipse),它一次只运行一个mapper和一个reducer。如果你在分布式(或伪分布式)模式下运行它(例如,使用终端的
hadoop
命令,它可以使用更多的映射器运行

确保在配置文件中将映射器的最大数量设置为大于1

如果你有4个文件,你的Mac电脑至少有4个内核,那么你应该看到至少4个地图任务同时运行