创建词干分析器以将单词简化为基本形式

Question

我现在正在处理一个案例，我想为其创建自己的词干提取算法。我知道有一些优秀的库可用于此，但这不适用于此用例。

本质上，我想导入一个字典，这样我就可以遍历句子中的单词，如果列表中存在一个单词，则将其简化为基本形式。

所以以防万一，fe 减少 'banker' 到银行。我已经制作了这个，但是这是不可扩展的。

list_bank = ('banking', 'banker' )
sentence = ("There's a banker")
banker_tags = []

for word in sentence.split():
 print(word)

所以以防万一，fe 减少 'banker' 到银行如果 list_bank 中的单词： #替换单词

有什么关于如何让它工作的建议吗？

Answer 1

将单词及其词干放在 dictionary 中，然后用它来查找词干形式：

dictionary = { 'banker' : 'bank', 'banking': 'bank' } # Add the rest of your words and stems
sentence = "There's a banker"
for word in sentence.split():
    if word in dictionary:
        word = dictionary[word]
    print(word)

There's
a
bank

创建词干分析器以将单词简化为基本形式

Create a stemmer to reduce words to a base form

python

text-mining