在类比测试中,训练有素的 Word2Vec 的准确度是多少?

What is considered a good accuracy for trained Word2Vec on an analogy test?

Word2Vec 训练完成后,在类比测试中准确率应该达到多少?如果训练得好,应该达到什么水平的准确度?

类比测试只是一种有趣的自动评估模型或比较算法的方法。

它可能不是衡量词向量对您自己的项目特定目标的效果的最佳指标。 (也就是说,对于任何其他信息检索、分类或您真正追求的其他目标,在单词类比上表现更好的模型可能更差。)所以如果有的话可能的话,创建一个根据您自己的需要调整的自动评估。

请注意,绝对类比分数也可能对你如何 trim 训练前的词汇量,或者你如何用词汇外的词处理类比问题,或者你是否 trim 结果最后只是高频词。其中每一个的某些选择可能会提升简单类比问题的假定 "correctness",但不会改进整体模型以实现更实际的应用。

所以这些简单的问题应该是目标,没有绝对的准确率。只有相对率在某种程度上具有指示性——有助于显示更多数据或调整的训练参数何时似乎可以改善向量。但即使是在一般类比上具有很小的明显准确性的向量也可能在其他地方有用。

综上所述,您可以查看像 gensim "Comparison of FastText and Word2Vec" 这样的演示笔记本,看看 Google word2vec.c `questions-words.txt' 的准确度类比集 (40-60%) 是在一些简单的默认值和相对较小的训练集 (100MB-1GB) 下实现的。