从列表中删除重复值 (Python)

Question

我正在尝试为某些 NLP 制作倒排索引，以查看某个单词在文档中出现了多少次。我是通过字典来做的，但我的输出是这样的（这里的单词 man 出现在文档 1 和 11 中）

{'man': [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
 1, 1, 1, 1, 11, 11, 11, 11, 11, 11, 11, 11, 11, 11, 11, 11, 11, 11, 11],
 'upon': [1, 1, 1, 3, 3, 3, 1539, 1539, 1539]}

我如何摆脱这些重复值，所以我只有

{'man': [1,11], 'upon': [1,3,1539]}

Answer 1

只需将值转换为集合，然后再转换回列表：

my_dict = {k: list(set(v)) for k, v in my_dict.items()}

从列表中删除重复值 (Python)

Removing Duplicate Values From List (Python)

python

indexing

dictionary

nlp