在句子中使用 word2vec
Using word2vec in a sentence
我正在尝试生成给定句子正确的概率。
语言中的每个标记都有 word2vec,我想预测句子正确的概率。我无法创建合适的模型。我该如何继续?
单靠词向量无法帮助您做到这一点。
虽然它们的相似性和相对方向是通过预测单词共现来训练的,但向量本身并不能明确指导同时出现的单词。而且词向量绝对不会编码语法使用规则,因为通常的训练输入只是接近度,而不是正确的顺序。
就是说,如果您碰巧使用了 Word2Vec
的 Python gensim
实现,并且您自己训练了一个完整的模型(而不是使用现成的- shelf pre-trained vectors),在某些模式下,整个模型将支持 score()
方法,该方法根据一组句子与模型期望的符合程度对它们进行评分。它 不会 告诉您文本是否 "correct",只是告诉您它是否 "familiar" – 并且是第一个 proposed/added 作为应用多个的可能方式对比 Word2Vec
模型以帮助解决分类问题。您可以在方法文档中阅读有关此方法的更多信息,并找到指向激发它的研究论文和演示用法的链接:
https://radimrehurek.com/gensim/models/word2vec.html#gensim.models.word2vec.Word2Vec.score
我正在尝试生成给定句子正确的概率。
语言中的每个标记都有 word2vec,我想预测句子正确的概率。我无法创建合适的模型。我该如何继续?
单靠词向量无法帮助您做到这一点。
虽然它们的相似性和相对方向是通过预测单词共现来训练的,但向量本身并不能明确指导同时出现的单词。而且词向量绝对不会编码语法使用规则,因为通常的训练输入只是接近度,而不是正确的顺序。
就是说,如果您碰巧使用了 Word2Vec
的 Python gensim
实现,并且您自己训练了一个完整的模型(而不是使用现成的- shelf pre-trained vectors),在某些模式下,整个模型将支持 score()
方法,该方法根据一组句子与模型期望的符合程度对它们进行评分。它 不会 告诉您文本是否 "correct",只是告诉您它是否 "familiar" – 并且是第一个 proposed/added 作为应用多个的可能方式对比 Word2Vec
模型以帮助解决分类问题。您可以在方法文档中阅读有关此方法的更多信息,并找到指向激发它的研究论文和演示用法的链接:
https://radimrehurek.com/gensim/models/word2vec.html#gensim.models.word2vec.Word2Vec.score