Parallel processing 多个运行是否使其并行?
我已经编写了一个简短的python脚本来处理从5Gb到35Gb的大fastq文件。我在一个有很多内核的Linux服务器上运行这个脚本。该脚本根本不是并行编写的,对于单个文件,平均需要10分钟才能完成 如果我在几个文件上运行相同的脚本,如Parallel processing 多个运行是否使其并行?,parallel-processing,operating-system,fastq,Parallel Processing,Operating System,Fastq,我已经编写了一个简短的python脚本来处理从5Gb到35Gb的大fastq文件。我在一个有很多内核的Linux服务器上运行这个脚本。该脚本根本不是并行编写的,对于单个文件,平均需要10分钟才能完成 如果我在几个文件上运行相同的脚本,如 $ python my_script.py file1 & $ python my_script.py file2 & $ python my_script.py file3 & 使用符号(&S)推回流程 这些脚本是并行运行的吗?
$ python my_script.py file1 &
$ python my_script.py file2 &
$ python my_script.py file3 &
使用符号(&S)推回流程
这些脚本是并行运行的吗?我会节省一些时间吗
对我来说似乎不是这样,因为我正在使用top命令检查处理器的使用情况,并且随着我添加新的运行,每个处理器的使用情况都会下降,或者它不应该使用接近100%的地方吗
因此,如果它们不是并行运行,有没有办法让操作系统并行运行它们
感谢您的回答以这种方式执行的命令确实可以并行运行。它们没有使用100%的CPU时间的原因可能是因为它们受I/O限制,而不是CPU限制。脚本所做的描述(“大小从5Gb到35Gb的大型fastq文件”)表明可能就是这样
但是,如果您查看
ps
给出的进程列表,您应该会在其中看到三个python
进程,除非其中一个或多个进程在您运行ps
时已终止,否则等待I/O操作所花费的时间被视为不同类型的CPU使用,通常%wa
。您可能只是在看%us
(用户CPU时间)。谢谢,情况就是这样