将值从字典转换为矩阵

Question

我计算了一个单词在文本文档中出现的次数，并将这些值放入字典中。现在我想将这些金额添加到一个矩阵中，该矩阵由作为列的文本文件和作为行的不同单词组成。这是字典的输出：

{'test1.txt': {'peer': 1, 'appel': 1, 'moes': 1}, 
'test2.txt': {'peer': 1, 'appel': 1}, 
'test3.txt': {'peer': 1, 'moes': 2}, 
'test4.txt': {'peer': 1, 'moes': 1, 'ananas': 1}}

矩阵的输出必须如下所示：

[['', 'test1.txt', 'test2.txt', 'test3.txt', 'test4.txt'],
['moes', 1, 0, 2, 1],
['appel', 1, 1, 0, 0],
['peer', 1, 1, 1, 1],
['ananas', 0, 0, 0, 1]]

这是我现在打印矩阵的代码，但是一个单词在每个文档中出现的次数还没有实现。

term_freq_matrix = []

list_of_files.insert(0," ")
term_freq_matrix.insert(1, list_of_files)

for unique_word in unique_words:
    unique_word = unique_word.split()
    term_freq_matrix.append(unique_word)

print(term_freq_matrix)

谢谢！

Answer 1

your_dict = {'test1.txt': {'peer': 1, 'appel': 1, 'moes': 1}, 
'test2.txt': {'peer': 1, 'appel': 1}, 
'test3.txt': {'peer': 1, 'moes': 2}, 
'test4.txt': {'peer': 1, 'moes': 1, 'ananas': 1}}

sklearn 有一个简洁的实用程序 class 用于这种预处理

from sklearn.feature_extraction import DictVectorizer
vectorizer = DictVectorizer()
matrix = vectorizer.fit_transform(list(your_dict.values()))

字典键到矩阵索引的映射在 vectorizer.vocabulary_

可用

Answer 2

要在没有外部库的情况下执行此操作：

代码：

d = {'test1.txt': {'peer': 1, 'appel': 1, 'moes': 1}, 
    'test2.txt': {'peer': 1, 'appel': 1}, 
    'test3.txt': {'peer': 1, 'moes': 2}, 
    'test4.txt': {'peer': 1, 'moes': 1, 'ananas': 1}}

res = [[''] + list(d.keys())]
for c in set(k for v in d.values() for k in v.keys()):
    res.append([c] + [d[k].get(c, 0) for k in res[0][1:]])

输出：

>>> res
[['', 'test1.txt', 'test2.txt', 'test3.txt', 'test4.txt'],
 ['peer', 1, 1, 1, 1],
 ['ananas', 0, 0, 0, 1],
 ['appel', 1, 1, 0, 0],
 ['moes', 1, 0, 2, 1]]

Answer 3

与pandas:

import pandas as pd
df = pd.DataFrame(d).fillna(0)  #d is your dictionary
result = [[''] + df.columns.to_numpy().tolist()]+ df.reset_index().to_numpy().tolist()
print(result)

输出

[['', 'test1.txt', 'test2.txt', 'test3.txt', 'test4.txt'],
 ['ananas', 0.0, 0.0, 0.0, 1.0], 
 ['appel', 1.0, 1.0, 0.0, 0.0], 
 ['moes', 1.0, 0.0, 2.0, 1.0], 
 ['peer', 1.0, 1.0, 1.0, 1.0]]

Answer 4

您可以使用嵌套列表理解：

data = {'test1.txt': {'peer': 1, 'appel': 1, 'moes': 1}, 'test2.txt': {'peer': 1, 'appel': 1}, 'test3.txt': {'peer': 1, 'moes': 2}, 'test4.txt': {'peer': 1, 'moes': 1, 'ananas': 1}}
h, v = data.keys(), {i for b in data.values() for i in b}
r = [['', *h], *[[b, *[data[k].get(b, 0) for k in h]] for b in v]]

输出：

[['', 'test1.txt', 'test2.txt', 'test3.txt', 'test4.txt'], 
 ['moes', 1, 0, 2, 1], 
 ['peer', 1, 1, 1, 1], 
 ['appel', 1, 1, 0, 0], 
 ['ananas', 0, 0, 0, 1]]

将值从字典转换为矩阵

Convert values from a dictionary to a matrix

python

dictionary

list

matrix

nested-lists