Mongodb 批量写入错误

Question

我正在执行批量写入

bulk = new_packets.initialize_ordered_bulk_op()

bulk.insert(packet)

output = bulk.execute()

并收到一个错误，我将其解释为数据包不是字典。但是，我确实知道这是一个命令。可能是什么问题？

这里是错误：

    BulkWriteError                            Traceback (most recent call last)
    <ipython-input-311-93f16dce5714> in <module>()
          2 
          3 bulk.insert(packet)
    ----> 4 output = bulk.execute()

    C:\Users\e306654\AppData\Local\Continuum\Anaconda\lib\site-packages\pymongo\bulk.pyc in execute(self, write_concern)
583         if write_concern and not isinstance(write_concern, dict):
584             raise TypeError('write_concern must be an instance of dict')
    --> 585         return self.__bulk.execute(write_concern)

    C:\Users\e306654\AppData\Local\Continuum\Anaconda\lib\site-packages\pymongo\bulk.pyc in execute(self, write_concern)
429             self.execute_no_results(generator)
430         elif client.max_wire_version > 1:
    --> 431             return self.execute_command(generator, write_concern)
432         else:
433             return self.execute_legacy(generator, write_concern)

    C:\Users\e306654\AppData\Local\Continuum\Anaconda\lib\site-packages\pymongo\bulk.pyc in execute_command(self, generator, write_concern)
296                 full_result['writeErrors'].sort(
297                     key=lambda error: error['index'])
    --> 298             raise BulkWriteError(full_result)
299         return full_result
300 

    BulkWriteError: batch op errors occurred

Answer 1

好的，问题是我明确地分配了 _id，结果发现字符串大于 12 字节的限制，我的错。

Answer 2

你应该检查两件事：

重复，如果您定义自己的密钥。
能够管理自定义类型，在我的例子中，我试图传递一个无法转换为有效 objectId 的哈希类型对象，这让我想到了第一点，我觉得恶性循环（我解决了将 myObject 转换为字符串的问题。

一个一个地插入会让你知道发生了什么。

Answer 3

可能有很多原因...
最好的是你尝试...捕获...异常并检查错误

from pymongo.errors import BulkWriteError
try:
    bulk.execute()
except BulkWriteError as bwe:
    print(bwe.details)
    #you can also take this component and do more analysis
    #werrors = bwe.details['writeErrors']
    raise

Answer 4

尝试使用调试器，它应该会给您 errmsg 准确的错误，并且 op 对象正在尝试插入。

Answer 5

除上述之外，检查您的 unique indexes。如果您正在批量插入并指定了数据中不存在的索引，则会出现此错误。

例如，我不小心将 name 指定为 unique index，而我插入的数据没有名为 name 的键。第一个条目插入 mongo 后，它会抛出此错误，因为从技术上讲，您插入的是 unique name 为 null.

的另一个文档

这是我的模型定义的一部分，我在其中声明 unique index:

self.conn[self.collection_name].create_index(
            [("name", ASCENDING)],
            unique=True,
        )

这里是抛出错误的详细信息：

{'writeErrors': [{'index': 1, 'code': 11000, 'keyPattern': {'name': 1},
'keyValue': {'name': None}, 'errmsg': 'E11000 duplicate key error collection:
troposphere.temp index: name_1 dup key: { name: null }'
...

更多资源：

Answer 6

我试图插入两个具有相同“_id”和其他键的文档。解决方案：

为不同的文档插入不同的“_id”。或者
删除“_id”，你会得到一个随机的。

Mongodb 批量写入错误

Mongodb bulk write error

mongodb

pymongo