Spacy

Question

我看到了一些创建自定义分词器的方法，但我有点困惑。我正在做的是使用短语匹配器来匹配模式。但是，它会匹配一个 4 位数的数字模式，比如 1234，在 111-111-1234 中，因为它在破折号上分开。

我想做的就是修改当前的分词器（来自 nlp = English()）并添加一条规则，它不应该在某些字符上拆分，而只能在数字模式上拆分。

Answer 1

为此，您需要用自己的 infix 覆盖 spaCy 的默认标记化方案。您可以通过修改 spaCy 使用的中缀标记化方案来做到这一点 found here.

import spacy
from spacy.lang.char_classes import ALPHA, ALPHA_LOWER, ALPHA_UPPER, HYPHENS
from spacy.lang.char_classes import CONCAT_QUOTES, LIST_ELLIPSES, LIST_ICONS
from spacy.util import compile_infix_regex

# default tokenizer
nlp = spacy.load("en_core_web_sm")
doc = nlp("111-222-1234 for abcDE")
print([t.text for t in doc])

# modify tokenizer infix patterns
infixes = (
        LIST_ELLIPSES
        + LIST_ICONS
        + [
            r"(?<=[0-9])[+\*^](?=[0-9-])", # Remove the hyphen
            r"(?<=[{al}{q}])\.?(?=[{au}{q}])".format( # Make the dot optional
                al=ALPHA_LOWER, au=ALPHA_UPPER, q=CONCAT_QUOTES
            )
            ,
            r"(?<=[{a}]),(?=[{a}])".format(a=ALPHA),
            r"(?<=[{a}])(?:{h})(?=[{a}])".format(a=ALPHA, h=HYPHENS),
            r"(?<=[{a}0-9])[:<>=/](?=[{a}])".format(a=ALPHA),
        ]
)

infix_re = compile_infix_regex(infixes)
nlp.tokenizer.infix_finditer = infix_re.finditer
doc = nlp("111-222-1234 for abcDE")
print([t.text for t in doc])

输出

With default tokenizer:
['111', '-', '222', '-', '1234', 'for', 'abcDE']

With custom tokenizer:
['111-222-1234', 'for', 'abc', 'DE']

Spacy - 修改数字模式的分词器

Spacy - modify tokenizer for numeric patterns

python

tokenize