如何根据单词列表标记字符串

Question

我想根据 Python 3.6 中的已知单词列表将变量名称转换为商业友好名称。

我的已知词列表如下所示，即第一个元素是已知词，第二个是它的友好名称：

Acct,Account
Account,Account
Num,Number
Number,Number
Payee,Payee
Pymt,Payment
Type,Type

我的变量是这样的：

ACCOUNTNUM
ACCT_NUM
ACCTNUM
PAYEETYPE
PAYEE_TYP
PYMT_DT

我希望上述变量列表的输出如下所示：

Account Number
Account Number
Account Number
Payee Type
Payee Typ
Payment Dt

我该怎么做？要转换的变量名列表大约有 10,000 个。已知单词列表为 400,000。两者都在文件中可用。

Answer 1

您可以创建已知词的翻译映射，然后使用 re.split 将变量名称与已知词分开，用映射词替换匹配项并用另一个正则表达式替换合并空格：

import re
known_words = '''Acct,Account
Account,Account
Num,Number
Number,Number
Payee,Payee
Pymt,Payment
Type,Type'''
variables = '''ACCOUNTNUM
ACCT_NUM
ACCTNUM
PAYEETYPE
PAYEE_TYP
PYMT_DT'''
m = {k.upper(): v for line in known_words.splitlines() for k, v in (line.split(','),)}
print([re.sub(' +', ' ', ' '.join(m.get(t, t).replace('_', '').title() for t in re.split('(%s)' % '|'.join(map(re.escape, m)), v, flags=re.IGNORECASE) if t)) for v in variables.splitlines()])

这输出：

['Account Number', 'Account Number', 'Account Number', 'Payee Type', 'Payee Typ', 'Payment Dt']

如何根据单词列表标记字符串

how to tokenize strings based on a word list

python

tokenize