multiprocessing.Pool 产生太多线程

Question

如果我运行以下python代码

def dummy(t):
    A = np.random.rand(10000, 10000)
    inv = np.linalg.inv(A)
    return np.linalg.norm(inv)


if __name__ == "__main__":
    with multiprocessing.Pool(2) as pool:
        print(pool.map(dummy, range(20)))

产生了超过指定的 2 个进程，或者至少看起来是这样。更具体地说，当我使用 htop 监视系统时，它显示所有线程都处于忙碌状态，即 100% CPU 使用率。我希望只有 2 个线程显示完全 100% 使用率，但也许这个假设是错误的。

奇怪的是，如果矩阵大小增加（增加 10 倍），只有 2 个指定的线程忙碌。

使用的 python 版本：3.6.9 / 3.8.5。机器：40核skylake服务器。

Answer 1

正如@Booboo 的评论所暗示的那样，该示例包含未考虑的额外并行性。 numpy.linalg.inv 调用很可能在幕后使用了某种多线程。因此，假设只有与 Pool 构造函数中指定的进程数一样多的硬件线程是无效的。如果额外并行性的来源已知并且可以禁用，则可以实现预期的行为。

multiprocessing.Pool 产生太多线程

multiprocessing.Pool spawns too many threads

python

numpy

multiprocessing

threadpool

python-multiprocessing