在 Python3 中，Python2 的 en_core_web_sm 在哪里？

Question

我需要重复一个实验。实验在python2.7和spacy 1.8.2中进行。以下 snippet 给出不同的输出：

for raw_doc in spam + ham:
    doc = self.nlp(raw_doc)
    docs.append(' '.join(
        [token.lemma_ for token in doc if (token.is_alpha and not (token.is_oov or token.is_stop))]))

在Python3.7环境下，token.is_oov一直是True，导致空选。虽然 spacy 1.8.2 给出了合理的结果。这里的词汇对于相同的重复很重要。

现在我想在 python 3.7 和 spacy 2.3 中重复这个实验。请问我现在可以做什么？

我不得不承认我的问题提出得不好。 spacy.Thelink(https://github.com/explosion/spacy-models)是个很好的参考spacy.The

Answer 1

感兴趣的环境试试：

import en_core_web_sm
en_core_web_sm.__file__

Answer 2

尝试从 https://github.com/explosion/spacy-models 获取旧版本的 en_core_web_sm 模型 1.2.0，它与旧的 spacy 库一起使用所有旧的 spacy 模型和 en_core..models 都在那里存档。

在 Python3 中，Python2 的 en_core_web_sm 在哪里？

Where is en_core_web_sm of Python2 for spacy in Python3?

nlp

machine-learning

spacy

data-science