如何运行使用 subprocess.call 的同一 Python 脚本的多个实例

Question

我有一个 Python 脚本 job.py 接受命令行参数。该脚本使用 Python 包 subprocess 到运行一些外部程序。脚本和外部程序都是连续的（即没有 MPI、openMP 等）。我想运行这个脚本 4 次，每次都使用不同的命令行参数。我的处理器有 4 个内核，因此我想同时运行所有 4 个实例。如果我打开 4 个终端并且运行脚本的每个实例在单独的终端中运行完美，我得到了我想要的。

现在我想让自己更轻松地启动 4 个实例，这样我就可以从单个终端使用单个命令完成所有这些操作。为此，我使用 bash 脚本 batch.sh:

python job.py 4 0 &
python job.py 4 1 &
python job.py 4 2 &
python job.py 4 3 &

这不起作用。原来 subprocess 是这里的罪魁祸首。所有 Python 代码运行都非常完美，直到它达到 subprocess.call 之后我得到：

[1]+  Stopped                 python job.py 4 0

所以我怎么看，是我试图在后台运行 job.py 而 job.py 本身试图运行在后台通过subprocess。由于我不明白的原因，这显然不起作用。

有没有办法在不需要多个终端的情况下多次运行job.py？

编辑 #1

根据推荐，我尝试了 multiprocessing、thread 和 threading 软件包。在最好的情况下，只有一个实例运行正确。我尝试了一个丑陋的解决方法，它确实有效。我制作了一个 bash 脚本，它在新终端中启动每个实例：

konsole -e python job.py 4 0
konsole -e python job.py 4 1
konsole -e python job.py 4 2
konsole -e python job.py 4 3

编辑 #2

这里是使用 subprocess.call 的实际函数（注意：subprocess 被导入为 sp）。

def run_case(path):
    case = path['case']
    os.chdir(case)
    cmd = '{foam}; {solver} >log.{solver} 2>&1'.format(foam=CONFIG['FOAM'],
                                                       solver=CONFIG['SOLVER'])
    sp.call(['/bin/bash', '-i', '-c', cmd])

让我填空：

CONFIG 是全局定义的字典。
CONFIG['FOAM'] = 'of40' 这是我的 .bashrc 中的别名，用于获取属于二进制文件的文件，我是运行ning.
CONFIG['SOLVER'] = 'simpleFoam' 这是我运行ning.

编辑 #3

我终于可以使用它了

def run_case():
    case = CONFIG['PATH']['case']
    os.chdir(case)
    cmd = 'source {foam}; {solver} >log.simpleFoam 2>&1'.format(foam=CONFIG['FOAM'],
                                                                solver=CONFIG['SOLVER'])
    sp.call([cmd], shell=True, executable='/bin/bash')

解决方案是同时设置 shell=True 和 executable='/bin/bash'，而不是在实际命令行中包含 /bin/bash 以传递给 shell。注意：foam 现在是文件路径而不是别名。

Answer 1

您可以从 Python:

内部并行化

import multiprocessing
import subprocess

def run_job(spec):
    ...
    if spec ...:
        subprocess.call(...)

def run_all_jobs(specs):
    pool = multiprocessing.Pool()
    pool.map(run_job, specs)

它的优点是让你 monitor/log/debug 并行化。

如何运行使用 subprocess.call 的同一 Python 脚本的多个实例

How to run multiple instances of the same Python script which uses subprocess.call

python

bash

terminal

subprocess

background-process

如何 运行 使用 subprocess.call 的同一 Python 脚本的多个实例

How to run multiple instances of the same Python script which uses subprocess.call

python

bash

terminal

subprocess

background-process

如何运行使用 subprocess.call 的同一 Python 脚本的多个实例