Python 使用具有大量输出到标准输出的子进程时代码挂起

Question

我有一个子进程可以将大量数据输出到标准输出。当生成太多数据时，它会导致子进程挂起，因为它正在等待 stdout 缓冲区被清空。

下面是一个小例子...

test.py

#!/usr/local/bin/python2.7

# test.py

import subprocess

proc = subprocess.Popen(["python","./_ping_con.py"], stdout = subp.PIPE)

while proc.poll() is None:
    pass

print proc.stdout.read()

...和子流程：

#!/usr/local/bin/python2.7

# _ping_con.py

print(96000 * "*")   # Hangs here because it's too much data for the stdout pipe

我想知道的是，是否可以扩展此缓冲区以允许处理更多数据？如果没有，是否可以通过其他方式发送数据来避免此问题？或者在主进程中，有没有办法判断标准输出缓冲区是否已满并进行读取？

Answer 1

我最后做的是将我所有的输出写入一个临时文件，然后将文件名传回给父文件。效果很好！

Python 使用具有大量输出到标准输出的子进程时代码挂起

Python code hangs when using a subprocess with a large amout of output to stdout

python

subprocess

stdout