Linux 如何使用GNU parallel运行命令列表，其中4个命令同时运行

我有一个要调用的shell命令列表。最多可同时运行四个过程

一旦进程计数下降到4以下，下一个命令就会发送到shell，直到所有命令都完成

我已经从stackoverflow fellows那里得到了一个部分有效的解决方案，但是它依赖于wait-n，这在我的debian wheezy安装中是不可用的

一个人提到GNU并行。这能实现吗？非常感谢您的指导

nohup scrapy crawl urlMonitor -a slice=0 &
nohup scrapy crawl urlMonitor -a slice=1 &
nohup scrapy crawl urlMonitor -a slice=2 &
nohup scrapy crawl urlMonitor -a slice=3 &
nohup scrapy crawl urlMonitor -a slice=4 &
nohup scrapy crawl urlMonitor -a slice=5 &
nohup scrapy crawl urlMonitor -a slice=6 &
nohup scrapy crawl urlMonitor -a slice=7 &
nohup scrapy crawl urlMonitor -a slice=8 &
nohup scrapy crawl urlMonitor -a slice=9 &
nohup scrapy crawl urlMonitor -a slice=10 &
nohup scrapy crawl urlMonitor -a slice=11 &
nohup scrapy crawl urlMonitor -a slice=12 &
nohup scrapy crawl urlMonitor -a slice=13 &
nohup scrapy crawl urlMonitor -a slice=14 &
nohup scrapy crawl urlMonitor -a slice=15 &
nohup scrapy crawl urlMonitor -a slice=16 &
nohup scrapy crawl urlMonitor -a slice=17 &
nohup scrapy crawl urlMonitor -a slice=18 &
nohup scrapy crawl urlMonitor -a slice=19 &
nohup scrapy crawl urlMonitor -a slice=20 &
nohup scrapy crawl urlMonitor -a slice=21 &
nohup scrapy crawl urlMonitor -a slice=22 &
nohup scrapy crawl urlMonitor -a slice=23 &
nohup scrapy crawl urlMonitor -a slice=24 &
nohup scrapy crawl urlMonitor -a slice=25 &
nohup scrapy crawl urlMonitor -a slice=26 &
nohup scrapy crawl urlMonitor -a slice=27 &
nohup scrapy crawl urlMonitor -a slice=28 &
nohup scrapy crawl urlMonitor -a slice=29 &
nohup scrapy crawl urlMonitor -a slice=30 &
nohup scrapy crawl urlMonitor -a slice=31 &
nohup scrapy crawl urlMonitor -a slice=32 &
nohup scrapy crawl urlMonitor -a slice=33 &
nohup scrapy crawl urlMonitor -a slice=34 &
nohup scrapy crawl urlMonitor -a slice=35 &
nohup scrapy crawl urlMonitor -a slice=36 &
nohup scrapy crawl urlMonitor -a slice=37 &
nohup scrapy crawl urlMonitor -a slice=38 &

---

如果您有GNU Parallel，则可以执行以下操作：

parallel -j4 scrapy crawl urlMonitor -a slice={} ::: {1..38}

GNU Parallel是一个通用的并行程序，它使得在同一台机器上或在您有ssh访问权的多台机器上并行运行作业变得非常容易

如果您有32个不同的作业要在4个CPU上运行，并行化的直接方法是在每个CPU上运行8个作业：

GNU Parallel会在完成时生成一个新进程—使CPU保持活动状态，从而节省时间：

装置

如果您的发行版没有打包GNU Parallel，那么您可以进行个人安装，而不需要root访问。通过执行以下操作，可在10秒内完成：

(wget -O - pi.dk/3 || curl pi.dk/3/ || fetch -o - http://pi.dk/3) | bash

有关其他安装选项，请参阅

了解更多

请参阅更多示例：

观看介绍视频：

浏览本教程：

---

注册电子邮件列表以获得支持：

谢谢。当我运行您的命令时，碎片进程不会启动。相反，parallel应用程序的命令在top:/usr/bin/perl-w/usr/bin/parallel-j4 scrapy crawl-URLMonitor-a slice={}:：1 2 3 4 5 6 7 8 9 10 11 12 14 15 16 17 19 20 21 22 23 24 26 27 28 29 30 31 33 36 37 38中是这样做的：需要添加-gnu选项才能使命令工作。托勒夫和gnu有什么区别？-托勒夫退休了。它曾经使GNU并行与来自moreutils的Tollef并行兼容，但它造成的问题比它解决的问题更多，这正是您所经历的。japp。-。特别是如果这是默认选项。如果通行费是为了兼容性的话，应该是另一种方式。