使用 Word2Vec 解决多义问题
Using Word2Vec for polysemy solving problems
我对 Word2Vec 有一些疑问：
什么决定了结果模型向量的维度？
这个向量的元素是什么？
如果我已经有了每个单词含义的文本，我可以使用 Word2Vec 来解决多义问题吗（state = administrative unit vs state = condition）？
(1) 您选择所需的维度，作为模型的元参数。有足够时间的严谨项目可能会尝试不同的规模，看看什么最适合他们的定性评估。
(2) 每个词向量（浮点数）的单个 dimensions/elements，在 vanilla word2vec 中不容易解释。只有单词的整体排列才有用——将相似的单词放在一起，并使相对方向（例如 "towards 'queen' from 'king'"）与人类对 categories/continuous-properties 的直觉相匹配。而且，由于算法使用显式随机化，并且优化的多线程操作将线程调度随机性引入到训练示例的顺序中，即使完全相同的数据也会导致不同（但同样好的）向量坐标 运行-到-运行.
(3) 基本的 word2vec 没有一个简单的修复方法，但是向量中有一堆多义词的暗示，并且研究工作要做更多的事情来消除对比意义的歧义。
例如，通常更多多义词的词标记以词向量结束，这些词向量是它们多种意义的某种组合，并且（通常）比不那么多义词的量级更小。
此 early paper used multiple representations per word to help discover polysemy. Similar later papers like this one 使用上下文聚类来发现多义词，然后重新标记它们以赋予每个意义其自己的向量。
This paper 通过对正常的 word2vec 向量进行后处理来完成一项令人印象深刻的检测替代意义的工作。
我对 Word2Vec 有一些疑问：
什么决定了结果模型向量的维度？
这个向量的元素是什么？
如果我已经有了每个单词含义的文本，我可以使用 Word2Vec 来解决多义问题吗（state = administrative unit vs state = condition）？
(1) 您选择所需的维度，作为模型的元参数。有足够时间的严谨项目可能会尝试不同的规模，看看什么最适合他们的定性评估。
(2) 每个词向量（浮点数）的单个 dimensions/elements，在 vanilla word2vec 中不容易解释。只有单词的整体排列才有用——将相似的单词放在一起，并使相对方向（例如 "towards 'queen' from 'king'"）与人类对 categories/continuous-properties 的直觉相匹配。而且，由于算法使用显式随机化，并且优化的多线程操作将线程调度随机性引入到训练示例的顺序中，即使完全相同的数据也会导致不同（但同样好的）向量坐标 运行-到-运行.
(3) 基本的 word2vec 没有一个简单的修复方法，但是向量中有一堆多义词的暗示，并且研究工作要做更多的事情来消除对比意义的歧义。
例如，通常更多多义词的词标记以词向量结束，这些词向量是它们多种意义的某种组合，并且（通常）比不那么多义词的量级更小。
此 early paper used multiple representations per word to help discover polysemy. Similar later papers like this one 使用上下文聚类来发现多义词，然后重新标记它们以赋予每个意义其自己的向量。
This paper 通过对正常的 word2vec 向量进行后处理来完成一项令人印象深刻的检测替代意义的工作。