Python 3.5 dill pickling/unpickling on different servers: "KeyError: 'ClassType'"

Question

查看底部更新

--

这里有人提出了类似的问题，但从未解决： pickling and unpickling user-defined class

我正在开展一个项目，该项目需要对用户定义的 class 进行酸洗，然后将它们发送到远程服务器，在那里对它们进行解酸洗和调用。我们使用 Dill 库来实现这一点，并取得了很大的成功。

不幸的是，我运行遇到了一个很难调试的问题。我创建并腌制了一个 class 如下：

import dill, base64
import time, random

class periodicSource(object):
    def __call__(self):
        while True:
            time.sleep(0.1)
            yield random.uniform(20,100)

periodic_src = periodicSource()
a = base64.b64encode(dill.dumps(periodic_src)).decode("ascii")
print(a)

它创建了 dilled class 的 ascii 表示。

gANjZGlsbC5kaWxsCl9jcmVhdGVfdHlwZQpxAChjZGlsbC5kaWxsCl9sb2FkX3R5cGUKcQFYCQAAAENsYXNzVHlwZXEChXEDUnEEWA4AAABwZXJpb2RpY1NvdXJjZXEFaAFYBgAAAG9iamVjdHEGhXEHUnEIhXEJfXEKKFgIAAAAX19jYWxsX19xC2NkaWxsLmRpbGwKX2NyZWF0ZV9mdW5jdGlvbgpxDChoAVgIAAAAQ29kZVR5cGVxDYVxDlJxDyhLAUsASwFLA0tjQyl4IgB0AABqAQBkAQCDAQABdAIAagMAZAIAZAMAgwIAVgFxAwBXZAAAU3EQKE5HP7mZmZmZmZpLFEtkdHERKFgEAAAAdGltZXESWAUAAABzbGVlcHETWAYAAAByYW5kb21xFFgHAAAAdW5pZm9ybXEVdHEWWAQAAABzZWxmcReFcRhYHwAAADxpcHl0aG9uLWlucHV0LTIwLTdhNGU5MDIwYWM2Yz5xGWgLSwdDBgABAwENAXEaKSl0cRtScRx9cR0oWAYAAAByYW5kb21xHmNkaWxsLmRpbGwKX2ltcG9ydF9tb2R1bGUKcR9oFIVxIFJxIVgEAAAAdGltZXEiaB9YBAAAAHRpbWVxI4VxJFJxJXVoC05OfXEmdHEnUnEoWAoAAABfX21vZHVsZV9fcSlYCAAAAF9fbWFpbl9fcSpYBwAAAF9fZG9jX19xK05YDQAAAF9fc2xvdG5hbWVzX19xLF1xLXV0cS5ScS8pgXEwLg==

当我在另一台服务器上反序列化它时：

a = 'gANjZGlsbC5kaWxsCl9jcmVhdGVfdHlwZQpxAChjZGlsbC5kaWxsCl9sb2FkX3R5cGUKcQFYCQAAAENsYXNzVHlwZXEChXEDUnEEWA4AAABwZXJpb2RpY1NvdXJjZXEFaAFYBgAAAG9iamVjdHEGhXEHUnEIhXEJfXEKKFgIAAAAX19jYWxsX19xC2NkaWxsLmRpbGwKX2NyZWF0ZV9mdW5jdGlvbgpxDChoAVgIAAAAQ29kZVR5cGVxDYVxDlJxDyhLAUsASwFLA0tjQyl4IgB0AABqAQBkAQCDAQABdAIAagMAZAIAZAMAgwIAVgFxAwBXZAAAU3EQKE5HP7mZmZmZmZpLFEtkdHERKFgEAAAAdGltZXESWAUAAABzbGVlcHETWAYAAAByYW5kb21xFFgHAAAAdW5pZm9ybXEVdHEWWAQAAABzZWxmcReFcRhYHwAAADxpcHl0aG9uLWlucHV0LTIwLTdhNGU5MDIwYWM2Yz5xGWgLSwdDBgABAwENAXEaKSl0cRtScRx9cR0oWAYAAAByYW5kb21xHmNkaWxsLmRpbGwKX2ltcG9ydF9tb2R1bGUKcR9oFIVxIFJxIVgEAAAAdGltZXEiaB9YBAAAAHRpbWVxI4VxJFJxJXVoC05OfXEmdHEnUnEoWAoAAABfX21vZHVsZV9fcSlYCAAAAF9fbWFpbl9fcSpYBwAAAF9fZG9jX19xK05YDQAAAF9fc2xvdG5hbWVzX19xLF1xLXV0cS5ScS8pgXEwLg=='
a = dill.loads(base64.b64decode(a.encode()))
print(a)

我收到以下错误：

/home/streamsadmin/anaconda3/bin/python /home/streamsadmin/git/streamsx.topology/test/python/topology/deleteme2.py

Traceback (most recent call last):
 File "/home/streamsadmin/git/streamsx.topology/test/python/topology/deleteme2.py", line 40, in <module>
   a = dill.loads(base64.b64decode(a.encode()))
 File "/home/streamsadmin/anaconda3/lib/python3.5/site-packages/dill/dill.py", line 277, in loads
   return load(file)
 File "/home/streamsadmin/anaconda3/lib/python3.5/site-packages/dill/dill.py", line 266, in load
   obj = pik.load()
 File "/home/streamsadmin/anaconda3/lib/python3.5/site-packages/dill/dill.py", line 524, in _load_type
   return _reverse_typemap[name]
KeyError: 'ClassType'

如果我在远程系统上使用不同版本的 Python，我会期望这样，但它们是相同的：

服务器 1：

>>> import sys
>>> sys.version
'3.5.2 |Anaconda 4.1.1 (64-bit)| (default, Jul  2 2016, 17:53:06) \n[GCC 4.4.7 20120313 (Red Hat 4.4.7-1)]'

服务器 2：

>>> import sys
>>> sys.version
'3.5.2 |Anaconda 4.2.0 (64-bit)| (default, Jul  2 2016, 17:53:06) \n[GCC 4.4.7 20120313 (Red Hat 4.4.7-1)]'

另外，Dill 的两个版本都是 0.2.6。有什么办法可以调试吗？

编辑：我认为这可能与我的环境有关。 我正在使用 Python 3.5，但列出内置类型：

>>> import types
>>> dir(types)
  ['BuiltinFunctionType',
   'BuiltinMethodType',
   'ClassType',
   'CodeType',
   ...
  ]

似乎 ClassType 在输出中，应该 NOT 因为 ClassType在 Python 3.5 中被删除。这太奇怪了。

我运行正在安装Python 2.7 和Python 3.5 的系统上。 2.7 安装会不会以某种方式污染了 3.5 安装？

Answer 1

罪魁祸首是cloudpickle。默认情况下，在 Python 3.5 中，types.ClassType 未设置。

>>> import types
>>> dir(types)
['BuiltinFunctionType', 'BuiltinMethodType', 'CodeType', ...]

导入 cloudpickle 时，突然，types.ClassType 被定义。

>>> import cloudpickle
>>> dir(types)
['BuiltinFunctionType', 'BuiltinMethodType', 'ClassType', 'CodeType', ...]

服务器A使用dill序列化对象，还导入cloudpickle。因此它在序列化期间包含对 ClassType 的引用。

服务器 B 不导入 cloudpickle，然后在反序列化期间尝试查找对 ClassType 的引用但失败。引发错误：

Traceback (most recent call last):
 File "/home/streamsadmin/git/streamsx.topology/test/python/topology/deleteme2.py", line 40, in <module>
   a = dill.loads(base64.b64decode(a.encode()))
 File "/home/streamsadmin/anaconda3/lib/python3.5/site-packages/dill/dill.py", line 277, in loads
   return load(file)
 File "/home/streamsadmin/anaconda3/lib/python3.5/site-packages/dill/dill.py", line 266, in load
   obj = pik.load()
 File "/home/streamsadmin/anaconda3/lib/python3.5/site-packages/dill/dill.py", line 524, in _load_type
   return _reverse_typemap[name]
KeyError: 'ClassType'

在我们的系统上，我们无法从我们的环境中删除 cloudpickle，因此我们必须执行以下解决方法。

在 服务器 B 上，在我们导入 dill 之后和第一次调用 dill.loads 之前的某个时间，我们调用以下代码行：

dill._dill._reverse_typemap['ClassType'] = type

这适当地定义了 ClassType。并导致 dill 反序列化按预期工作。

Answer 2

我确定是 cloudpickle 引起了问题。大家可以一步步调试。

首先检查内置类型中是否存在 classType

import types dir(types)

如果它存在，那么它应该对您有用，如果不存在，则转到下一步。

import cloudpickle 现在再次检查。您将在内置类型中拥有 classType
执行下面的代码

dill.dill._reverse_typemap['ClassType'] = type

它应该适合你:)

但是如果您仍然遇到错误 AttributeError: module 'dill' has no attribute 'dill'

比使用这个 dill._dill._reverse_typemap['ClassType'] = type 因为 dill.dill 被移动到 dill._dill

Python 3.5 dill pickling/unpickling on different servers: "KeyError: 'ClassType'"

Python 3.5 dill pickling/unpickling on different servers: "KeyError: 'ClassType'"

python

serialization

pickle

python-3.x

dill