Python 多进程运行多次

Question

我正在尝试同时运行两个 python 文件（A.py 和 B.py）。我尝试运行它们有两种不同的方式，并使用两个单独的命令来运行它们，效果很好。

问题是，我希望有一个脚本文件来运行它们并行。我尝试使用以下代码进行多处理：

if __name__ == '__main__':
    jobs=[]
    jobs.append(Process(target=A.start))
    jobs.append(Process(target=B.start))

    for job in jobs:
        job.start()

    for job in jobs:
        job.join()

结果是运行s A 和 B 两次，我希望他们每个人只运行一次他们。

问题的原因是什么，我该如何解决？或者是否有任何其他解决方案可以让我并行运行两个 python 文件？

提前感谢您的帮助。

对于我的导入信息，我有三个文件：A.py、B.py 和 run.py。

在A.py中，我有：

from scapy.all import *
from scapy.layers.http import HTTPRequest 
from scapy.layers.http import HTTPResponse
from colorama import init, Fore
import docker
import time
import redis

在B.py中，我有：

import json
import docker
import socket
import time
import psutil
import socket
import redis
import prometheus_client
from prometheus_client import Gauge,Counter
from prometheus_client.core import CollectorRegistry
from flask import Response, Flask

在 run.py 中，我有：

from multiprocessing import Process
import A
import B

====更新问题原因====

玩了几个小时代码后，我想我找到了原因，但我不明白为什么。

原因在我的A.py文件中，我有代码

#flask starts
app.run(host="0.0.0.0", port=15600,debug=True)

如果我删除调试模式，代码运行良好。只有在调试模式打开时才会出现此问题。

有人知道为什么会这样吗？

Answer 1

首先我要确保，在您的脚本中，您有想要运行在可调用函数中的脚本。然后确保在开始时导入函数，如 from fileA import A.

from multiprocessing import Process
import time
# from fileA import A
# from fileB import B


def A():
    print("Running A")
    time.sleep(2)
    print("Ending A")


def B():
    print("Running B")
    time.sleep(3)
    print("Ending B")

if __name__ == '__main__':
    jobs=[]
    jobs.append(Process(target=A))
    jobs.append(Process(target=B))

    for job in jobs:
        job.start()

    for job in jobs:
        job.join()

输出：

Running A
Ending A
Running B
Ending B
[Finished in 3.2s]

Answer 2

我认为您要找的是 multiprocessing.Pool，具体来说 Pool.apply_async。这将允许您异步启动将并行执行不相关任务的单独进程。你可以这样使用它：

A.py:

def square(x):
    print('x squared is: ' + str(x**2))

B.py:

def cube(x):
    print('x cubed is: ' + str(x**3))

然后：

import multiprocessing as mp
import A
import B

p = mp.Pool(2)

a = p.apply_async(A.square, args=(5,))
b = p.apply_async(B.cube, args=(7,))

p.close()

更新

好的，根据新信息，发生这种情况的原因很简单，但可能 non-obvious，它与您使用多处理无关（尽管这很可能会给您带来麻烦如果您打算运行在真正的 Web 服务器中而不是 Flask 中内置的服务器中使用此应用程序，请继续前进。

当您运行它处于 debug 模式并打开 use_reloader 时，Flask 调试服务器会启动 2 个进程。父进程监视您的代码，当检测到更改时，它会向子进程发出重新加载的信号。这就是为什么 Flask 服务器能够立即应用您所做的任何代码更改而无需您执行任何操作的原因。您遇到的问题是您的代码在 父级和子级 .

中都是运行

有两种修复方法。

不要使用 debug=True。
使用 debug=True 但也可以通过添加 use_reloader=False.

选项 (2) 可能是更有吸引力的解决方案，因为您仍然可以访问调试控制台，但您也会失去自动重新加载功能，因此您需要在应用更改之前手动重新启动服务器。为此，请将 app.run 行更改为：

app.run(host="0.0.0.0", port=15600, debug=True, use_reloader=False)

Python 多进程运行多次

Python Multi-Process run multiple times

python

multiprocessing

python-multiprocessing

更新

Python 多进程 运行 多次

Python Multi-Process run multiple times

python

multiprocessing

python-multiprocessing

更新

Python 多进程运行多次