无空格字符串中的关键字（使用 NLP？）

Question

我试图在无空格的字符串中找到相关的关键字集。一个例子是：

freelancemarketingconsultant

通过阅读，您可以区分以下关键词：

freelance marketing consultant

您可以看出这项任务并不简单，因为常见的混淆是区分“自由”和“职业”。

是否有已知的（可能是 NLP）技术可以从此类字符串中提取关键字？

Answer 1

您可以使用维特比算法找到最有可能（最佳）的字符串拆分方式。有一个名为 wordsegment that does this in Python, and you can read more about the technique at Peter Norvig's page.

的库

最近还有一个名为 Hashtag Master 的研究项目，它使用神经方法来标记标签。

这在英语中不是常见问题，但在空格不分隔单词的语言中是标准问题，例如日语。方法多种多样，研究仍在继续，但基于维特比的方法通常具有速度和准确性的最佳平衡。