multiprocessing.pool.MaybeEncodingError: Error sending result: Reason: 'TypeError("cannot serialize '_io.BufferedReader' object",)'

Question

我收到以下错误：

multiprocessing.pool.MaybeEncodingError: Error sending result: '<multiprocessing.pool.ExceptionWithTraceback object at 0x7f758760d6a0>'. Reason: 'TypeError("cannot serialize '_io.BufferedReader' object",)'

当运行这段代码时：

from operator import itemgetter
from multiprocessing import Pool
import wget


def f(args):
    print(args[1])
    wget.download(args[1], "tests/" + target + '/' + str(args[0]), bar=None)

if __name__ == "__main__":
    a = Pool(2)
    a.map(f, list(enumerate(urls))) #urls is a list of urls.

错误是什么意思，我该如何解决？

Answer 1

第一条建议：

您应该经常检查项目的维护情况。显然 wget 包不是。
您应该检查包使用了哪些库，以防发生此类情况。

现在，进入正题。

显然 wget 使用 urllib.request 进行请求。经过一些测试，我得出的结论是它不能处理所有 HTTP 状态代码。更具体地说，当 HTTP 状态为 304 时，它会以某种方式中断。这就是为什么您必须使用具有更高级别接口的库。即使 urllib.request 在官方 documentation:

中也这么说

The Requests package is recommended for a higher-level HTTP client interface.

所以，事不宜迟，这里是工作片段。

您可以只更新要保存文件的位置。

from multiprocessing import Pool

import shutil
import requests


def f(args):
    print(args)
    req = requests.get(args[1], stream=True)
    with open(str(args[0]), 'wb') as f:
        shutil.copyfileobj(req.raw, f)

if __name__ == "__main__":
    a = Pool(2)
    a.map(f, enumerate(urls))  # urls is a list of urls.

shutil lib 用于文件操作。在这种情况下，将数据流式传输到文件对象。

multiprocessing.pool.MaybeEncodingError: Error sending result: Reason: 'TypeError("cannot serialize '_io.BufferedReader' object",)'

multiprocessing.pool.MaybeEncodingError: Error sending result: Reason: 'TypeError("cannot serialize '_io.BufferedReader' object",)'

serialization

multiprocessing

bufferedreader

threadpool

python-multiprocessing