Gensim 训练 word2vec 和 Fasttext

Question

我需要用 word2vec 和 fasttext 训练我自己的模型。通过阅读不同的来源，我发现了不同的信息。所以我做了模型并像这样训练它：

model = FastText(all_words, size=300, min_count= 3,sg=1)
model = Word2Vec(all_words, min_count=3, sg = 1, size = 300 )

所以我读到这应该足以创建和训练模型。但是后来我看到，有些人是分开做的：

model = FastText(size=4, window=3, min_count=1)  # instantiate
model.train(sentences=common_texts, total_examples=len(common_texts), epochs=10)  # train

现在我很迷茫，不知道我做的对不对。有人可以帮我说清楚吗？谢谢

Answer 1

当您实例化模型对象时，提供您的训练语料库是完全可以接受的 - all_words。在这种情况下，模型将使用该数据自动执行训练模型所需的所有步骤。所以你可以这样做：

model = Word2Vec(all_words, ...)  # where '...' is your non-default params

在实例化模型时不提供语料库也是可以接受的 - 但是模型非常小，只有您的初始参数。它仍然需要发现相关的词汇（这需要对训练数据进行单次传递），然后分配一些变化很大的内部结构来容纳这些词，然后进行实际训练（这需要对训练数据进行多次传递）。

所以如果你在实例化模型时不提供语料库，你应该两次额外的方法调用：

model = Word2Vec(...)  # where '...' is your non-default params
model.build_vocab(all_words)  # discover vocabulary & allocate model
# now train, with #-of-passes & #-of-texts set by earlier steps
model.train(all_words, epochs=model.iter, total_examples=model.corpus_count)

我展示的这两个代码块是等价的。顶部为您执行通常的步骤；底部将步骤分解为您的明确控制。

(您在问题中摘录的代码仅显示一个 .train() 调用，由于多种原因会出错。.build_vocab()是获得完全分配模型的必要步骤，对 .train() 的调用必须明确说明所需的 epochs 和语料库中项目数的准确计数 total_examples . 但是，您可以并且通常应该重新使用已经通过前两个步骤缓存到 model 中的值。）

使用哪种方法由您选择。一般来说，如果人们想在步骤之间做其他 output/logging，或者在步骤之间进行一些可能会篡改模型状态的高级操作，人们通常只会使用 3 个独立步骤的过程。

Gensim 训练 word2vec 和 Fasttext

Gensim train word2vec and Fasttext

python

machine-learning

gensim