使用自定义验证器存储重复的 KeyProperty 时出现 BadValueError
BadValueError when storing repeated KeyProperty with custom validator
我试图通过使用将字符串转换为相应类型的 Key 的自定义验证器来简化 ndb KeyProperties 的 JSON 序列化和反序列化。
想法是 属性 像这样：
def key_validator(kind):
def validator(prop, value):
if not isinstance(value, ndb.Key):
return ndb.Key(kind, value)
return value
return validator
class Bar(ndb.Model):
foo = ndb.KeyProperty('Foo', validator=key_validator('Foo'))
如您所见，验证器将任何字符串转换为给定类型的 Key。
目标是能够将包含 Key id 的 JSON 对象传递给 populate 方法，如下所示：
bar = Bar()
bar.populate(json.loads('{"foo": "1234"}'))
哪个应该有效地做到这一点：
bar = Bar()
bar.foo = ndb.Key("Foo", "1234")
问题是这需要重写 KeyProperty，因为在执行一些基本验证后调用验证器，但失败了，因为 "1234" 显然不是 Key，请参阅issue 268.
所以为了完成这项工作，我创建了一个 "ValidationMixin" 和一个新的 KeyProperty，它在 之前调用验证器 任何其他验证发生（并且还序列化 Key 到 id）。
class ValidationMixin(object):
# make sure to call _validator before we do as the very first validation step
def _do_validate(self, value):
if self._validator is not None:
newvalue = self._validator(self, value)
if newvalue is not None:
value = newvalue
return super(ValidationMixin, self)._do_validate(value)
# A KeyProperty that allows a validator to generate a Key.
# In addition it serializes to just the id of the key
class KeyProperty(ValidationMixin, ndb.KeyProperty):
# return just the id of the key
def _get_for_dict(self, entity):
value = self._get_value(entity)
if self._repeated:
return [v.id() for v in value]
elif value is not None:
return value.id()
return value
使用这个 KeyProperty 对非重复属性来说就像一个魅力。不幸的是，对于具有 repeated=True.
的属性，它严重失败
当我调用 bar.populate(json.loads('[{"foo": "1234"}]')) 后跟 put() 时抛出以下异常：
File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/ext/ndb/model.py", line 3451, in _put
return self._put_async(**ctx_options).get_result()
File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/ext/ndb/tasklets.py", line 383, in get_result
self.check_success()
File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/ext/ndb/tasklets.py", line 427, in _help_tasklet_along
value = gen.throw(exc.__class__, exc, tb)
File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/ext/ndb/context.py", line 824, in put
key = yield self._put_batcher.add(entity, options)
File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/ext/ndb/tasklets.py", line 430, in _help_tasklet_along
value = gen.send(val)
File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/ext/ndb/context.py", line 358, in _put_tasklet
keys = yield self._conn.async_put(options, datastore_entities)
File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/datastore/datastore_rpc.py", line 1852, in async_put
pbs = [entity_to_pb(entity) for entity in entities]
File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/ext/ndb/model.py", line 697, in entity_to_pb
pb = ent._to_pb()
File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/ext/ndb/model.py", line 3167, in _to_pb
prop._serialize(self, pb, projection=self._projection)
File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/ext/ndb/model.py", line 1422, in _serialize
values = self._get_base_value_unwrapped_as_list(entity)
File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/ext/ndb/model.py", line 1192, in _get_base_value_unwrapped_as_list
wrapped = self._get_base_value(entity)
File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/ext/ndb/model.py", line 1180, in _get_base_value
return self._apply_to_values(entity, self._opt_call_to_base_type)
File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/ext/ndb/model.py", line 1355, in _apply_to_values
newvalue = function(value)
File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/ext/ndb/model.py", line 1234, in _opt_call_to_base_type
value = _BaseValue(self._call_to_base_type(value))
File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/ext/ndb/model.py", line 1255, in _call_to_base_type
return call(value)
File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/ext/ndb/model.py", line 1331, in call
newvalue = method(self, value)
File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/ext/ndb/model.py", line 2013, in _validate
raise datastore_errors.BadValueError('Expected Key, got %r' % (value,))
BadValueError: Expected Key, got [Key('Foo', '486944fe896a44c689275e6f19e3084a')]
如您所见，它抱怨值是一个列表而不是单个 Key。请注意，异常是在 put() 而不是 populate 中抛出的，因此 _set_value 执行的初始验证成功。
所以我的问题是，我的方法是坏了还是应该起作用？如果它应该工作，为什么不工作，如何修复？
更新
根据堆栈跟踪，代码执行通过 model.py, line 1355, which is strange, because the property is repeated and should the the other branch in model.py, line 1347
更新 2
我刚刚发现，当我从模型中删除另一个非重复 KeyProperty 时它会起作用。看起来序列化被破坏并且错误的 KeyProperty 实例被传递给 _seralize 方法
好的，找到了。 KeyProperty 有这个非常奇怪的构造函数 "signature magic" (model.py, line 1963).
重点是如果第一个参数是字符串，就变成了属性的字段名，不是那种！如果你想通过字符串指定种类，你必须使用关键字参数，否则种类参数必须是实际类型而不仅仅是名称。如果我错了请纠正我，但这不是 public 文档的一部分。这真的很令人困惑，因为使用 ndb.Key 您实际上可以将类型指定为字符串作为第一个位置参数。
碰巧我有 3 个类型相同但属性名称不同的 KeyProperties。但是，由于我将种类指定为字符串，所以它实际上变成了名称。所以所有三个属性都使用相同的名称。结果，重复的 属性 值与非重复的 KeyProperty 实例序列化，导致此崩溃。
解决方案是使用关键字参数指定种类：
foo = ndb.KeyProperty(kind='Foo', validator=key_validator('Foo'))
序列化 KeyProperties from/to JSON 现在运行良好。
我试图通过使用将字符串转换为相应类型的 Key 的自定义验证器来简化 ndb KeyProperties 的 JSON 序列化和反序列化。
想法是 属性 像这样：
def key_validator(kind):
def validator(prop, value):
if not isinstance(value, ndb.Key):
return ndb.Key(kind, value)
return value
return validator
class Bar(ndb.Model):
foo = ndb.KeyProperty('Foo', validator=key_validator('Foo'))
如您所见，验证器将任何字符串转换为给定类型的 Key。
目标是能够将包含 Key id 的 JSON 对象传递给 populate 方法，如下所示：
bar = Bar()
bar.populate(json.loads('{"foo": "1234"}'))
哪个应该有效地做到这一点：
bar = Bar()
bar.foo = ndb.Key("Foo", "1234")
问题是这需要重写 KeyProperty，因为在执行一些基本验证后调用验证器，但失败了，因为 "1234" 显然不是 Key，请参阅issue 268.
所以为了完成这项工作，我创建了一个 "ValidationMixin" 和一个新的 KeyProperty，它在 之前调用验证器 任何其他验证发生（并且还序列化 Key 到 id）。
class ValidationMixin(object):
# make sure to call _validator before we do as the very first validation step
def _do_validate(self, value):
if self._validator is not None:
newvalue = self._validator(self, value)
if newvalue is not None:
value = newvalue
return super(ValidationMixin, self)._do_validate(value)
# A KeyProperty that allows a validator to generate a Key.
# In addition it serializes to just the id of the key
class KeyProperty(ValidationMixin, ndb.KeyProperty):
# return just the id of the key
def _get_for_dict(self, entity):
value = self._get_value(entity)
if self._repeated:
return [v.id() for v in value]
elif value is not None:
return value.id()
return value
使用这个 KeyProperty 对非重复属性来说就像一个魅力。不幸的是，对于具有 repeated=True.
当我调用 bar.populate(json.loads('[{"foo": "1234"}]')) 后跟 put() 时抛出以下异常：
File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/ext/ndb/model.py", line 3451, in _put
return self._put_async(**ctx_options).get_result()
File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/ext/ndb/tasklets.py", line 383, in get_result
self.check_success()
File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/ext/ndb/tasklets.py", line 427, in _help_tasklet_along
value = gen.throw(exc.__class__, exc, tb)
File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/ext/ndb/context.py", line 824, in put
key = yield self._put_batcher.add(entity, options)
File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/ext/ndb/tasklets.py", line 430, in _help_tasklet_along
value = gen.send(val)
File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/ext/ndb/context.py", line 358, in _put_tasklet
keys = yield self._conn.async_put(options, datastore_entities)
File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/datastore/datastore_rpc.py", line 1852, in async_put
pbs = [entity_to_pb(entity) for entity in entities]
File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/ext/ndb/model.py", line 697, in entity_to_pb
pb = ent._to_pb()
File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/ext/ndb/model.py", line 3167, in _to_pb
prop._serialize(self, pb, projection=self._projection)
File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/ext/ndb/model.py", line 1422, in _serialize
values = self._get_base_value_unwrapped_as_list(entity)
File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/ext/ndb/model.py", line 1192, in _get_base_value_unwrapped_as_list
wrapped = self._get_base_value(entity)
File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/ext/ndb/model.py", line 1180, in _get_base_value
return self._apply_to_values(entity, self._opt_call_to_base_type)
File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/ext/ndb/model.py", line 1355, in _apply_to_values
newvalue = function(value)
File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/ext/ndb/model.py", line 1234, in _opt_call_to_base_type
value = _BaseValue(self._call_to_base_type(value))
File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/ext/ndb/model.py", line 1255, in _call_to_base_type
return call(value)
File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/ext/ndb/model.py", line 1331, in call
newvalue = method(self, value)
File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/ext/ndb/model.py", line 2013, in _validate
raise datastore_errors.BadValueError('Expected Key, got %r' % (value,))
BadValueError: Expected Key, got [Key('Foo', '486944fe896a44c689275e6f19e3084a')]
如您所见，它抱怨值是一个列表而不是单个 Key。请注意，异常是在 put() 而不是 populate 中抛出的，因此 _set_value 执行的初始验证成功。
所以我的问题是，我的方法是坏了还是应该起作用？如果它应该工作，为什么不工作，如何修复？
更新
根据堆栈跟踪，代码执行通过 model.py, line 1355, which is strange, because the property is repeated and should the the other branch in model.py, line 1347
更新 2
我刚刚发现，当我从模型中删除另一个非重复 KeyProperty 时它会起作用。看起来序列化被破坏并且错误的 KeyProperty 实例被传递给 _seralize 方法
好的，找到了。 KeyProperty 有这个非常奇怪的构造函数 "signature magic" (model.py, line 1963).
重点是如果第一个参数是字符串，就变成了属性的字段名，不是那种！如果你想通过字符串指定种类，你必须使用关键字参数，否则种类参数必须是实际类型而不仅仅是名称。如果我错了请纠正我，但这不是 public 文档的一部分。这真的很令人困惑，因为使用 ndb.Key 您实际上可以将类型指定为字符串作为第一个位置参数。
碰巧我有 3 个类型相同但属性名称不同的 KeyProperties。但是，由于我将种类指定为字符串，所以它实际上变成了名称。所以所有三个属性都使用相同的名称。结果，重复的 属性 值与非重复的 KeyProperty 实例序列化，导致此崩溃。
解决方案是使用关键字参数指定种类：
foo = ndb.KeyProperty(kind='Foo', validator=key_validator('Foo'))
序列化 KeyProperties from/to JSON 现在运行良好。