如何使用 Python nltk.tokenize 将包含停用词的短语视为单个标记

Question

可以通过使用 nltk.tokenize 删除一些不必要的停用词来标记字符串。但是，如何将包含停用词的短语标记为单个标记，同时删除其他停用词？

例如：

输入：特朗普是美国总统。

输出：['Trump','President of the United States']

我怎样才能得到只删除 'is' 和第一个 'the' 但不删除 'of' 和第二个 'the' 的结果？

Answer 1

您可以使用 nltk 的 Multi-Word Expression Tokenizer，它允许将多词表达式合并为单个标记。您可以创建多词表达式的词典，并像这样向其中添加条目：

from nltk.tokenize import MWETokenizer
mwetokenizer = MWETokenizer([('President','of','the','United','States')], separator=' ')
mwetokenizer.add_mwe(('President','of','France'))

请注意，MWETokenizer 将标记化文本列表作为输入，并对其进行重新标记。因此，首先将句子标记化，例如。使用 word_tokenize()，然后将其输入 MWETokenizer：

from nltk.tokenize import word_tokenize
sentence = "Trump is the President of the United States, and Macron is the President of France."
mwetokenized_sentence = mwetokenizer.tokenize(word_tokenize(sentence))
# ['Trump', 'is', 'the', 'President of the United States', ',', 'and', 'Macron', 'is', 'the', 'President of France', '.']

然后，过滤掉停用词得到最终过滤后的标记化句子：

from nltk.corpus import stopwords
stop_words = set(stopwords.words('english'))
filtered_sentence = [token for token in mwetokenizer.tokenize(word_tokenize(sentence)) if token not in stop_words]
print(filtered_sentence)

输出：

['Trump', 'President of the United States', ',', 'Macron', 'President of France', '.']

如何使用 Python nltk.tokenize 将包含停用词的短语视为单个标记

How to treat a phrase containing stopwords as a single token with Python nltk.tokenize

python

tokenize

nltk

stop-words