如何在 TfidfVectorizer 中计算词频？

Question

我搜索了很多以了解这一点，但我做不到。我知道默认情况下 TfidfVectorizer 将对术语频率应用 l2 归一化。 This文章解释了它的方程式。我在用古吉拉特语编写的文本上使用 TfidfVectorizer。以下是有关它的输出的详细信息：

我的两个文件是：

ખુબ વખાણ કરે છે

ખુબ વધારે છે

我使用的代码是：

vectorizer = TfidfVectorizer(tokenizer=tokenize_words, sublinear_tf=True, use_idf=True, smooth_idf=False)

这里，tokenize_words 是我的分词函数。我的数据的TF-IDF列表是：

[[ 0.6088451   0.35959372  0.35959372  0.6088451   0.        ]
 [ 0.          0.45329466  0.45329466  0.          0.76749457]]

功能列表：

['કરે', 'ખુબ', 'છે.', 'વખાણ', 'વધારે']

idf 的值：

{'વખાણ': 1.6931471805599454, 'છે.': 1.0, 'કરે': 1.6931471805599454, 'વધારે': 1.6931471805599454, 'ખુબ': 1.0}

请在这个例子中解释一下我的两个文档中每个词的词频是多少。

Answer 1

好的，现在让我们逐步完成 documentation I gave in comments：

文件：

`ખુબ વખાણ કરે છે
 ખુબ વધારે છે`

获取所有唯一项 (features)：['કરે', 'ખુબ', 'છે.', 'વખાણ', 'વધારે']
计算文档中每个术语的频率：-

一个。文档 1 [ખુબ વખાણ કરે છે] 中出现的每个术语出现一次，而 વધારે 不出现。`

b。所以词频向量（按特征排序）：[1 1 1 1 0]

c。在 document2 上应用步骤 a 和 b，我们得到 [0 1 1 0 1]

d。所以我们最终的词频向量是 [[1 1 1 1 0], [0 1 1 0 1]]

注意：这就是你要的词频
现在找IDF（这是基于特征，不是基于文档）：

idf(term) = log(number of documents/number of documents with this term) + 1

1 被添加到 idf 值以防止零除法。它由 "smooth_idf" 参数控制，默认情况下为 True。
```
idf('કરે') = log(2/1)+1 = 0.69314.. + 1 = 1.69314..

idf('ખુબ') = log(2/2)+1 = 0 + 1 = 1

idf('છે.') = log(2/2)+1 = 0 + 1 = 1

idf('વખાણ') = log(2/1)+1 = 0.69314.. + 1 = 1.69314..

idf('વધારે') = log(2/1)+1 = 0.69314.. + 1 = 1.69314..
```
注意：这与您显示的问题数据相对应。

现在计算TF-IDF（这又是document-wise计算，根据特征排序计算）：

一个。对于文档 1：

 For 'કરે', tf-idf = tf(કરે) x idf(કરે) = 1 x 1.69314 = 1.69314

 For 'ખુબ', tf-idf = tf(કરે) x idf(કરે) = 1 x 1 = 1

 For 'છે.', tf-idf = tf(કરે) x idf(કરે) = 1 x 1 = 1

 For 'વખાણ', tf-idf = tf(કરે) x idf(કરે) = 1 x 1.69314 = 1.69314

 For 'વધારે', tf-idf = tf(કરે) x idf(કરે) = 0 x 1.69314 = 0

所以对于document1，最终的tf-idf向量是[1.69314 1 1 1.69314 0]

b。现在标准化已经完成（l2 Euclidean）：

dividor = sqrt(sqr(1.69314)+sqr(1)+sqr(1)+sqr(1.69314)+sqr(0))
         = sqrt(2.8667230596 + 1 + 1 + 2.8667230596 + 0)
         = sqrt(7.7334461192)
         = 2.7809074272977876...

将 tf-idf 数组的每个元素除以除数，我们得到：

[0.6088445 0.3595948 0.3595948548 0.6088445 0]

注意：这是您发布的第一个问题文档的tfidf。

c。现在对文档 2 执行相同的步骤 a 和 b，我们得到：

[ 0. 0.453294 0.453294 0. 0.767494]

更新：关于sublinear_tf = True OR False

您的原始词频向量是 [[1 1 1 1 0], [0 1 1 0 1]]，您的理解是正确的，即使用 sublinear_tf = True 将更改词频向量。

new_tf = 1 + log(tf)

现在，上面的行仅适用于术语频率中的非零元素。因为对于 0，log(0) 是未定义的。

所有非零条目都是 1。log(1) 是 0 和 1 + log(1) = 1 + 0 = 1`。

您看到值为 1 的元素的值将保持不变。所以您的 new_tf = [[1 1 1 1 0], [0 1 1 0 1]] = tf(original)。

由于 sublinear_tf，您的词频正在发生变化，但它仍然保持不变。

因此，如果您使用 sublinear_tf=True 或 sublinear_tf=False.

，则以下所有计算都相同，输出也相同

现在，如果您更改词频向量包含 除 1 和 0 以外的元素的文档，您将使用 sublinear_tf 获得差异。

希望你的疑惑现在已经消除了。

如何在 TfidfVectorizer 中计算词频？

How term frequency is calculated in TfidfVectorizer?

tf-idf

python-3.x

scikit-learn