使用 lingpipe 进行增量语言模型训练

Question

我正在尝试在 > 20GB 的大数据集上训练 DynamicLMClassifier.createNGramProcess(categories,nGram)。我目前正在将整个训练文件作为 String 提供给训练方法，出于显而易见的原因，我得到了 java.lang.OutOfMemoryError: Java heap space

虽然可以增加 JVM 堆大小来支持此类训练，但我有兴趣找到一种增量方法。

训练代码如下所示：

char[] csBuf = new char[numChars];
for (int i = 0; i < categories.length; ++i) {
    String category = categories[i];
    File trainingFile = new File(new File(dataDir,category),
                                 category + ".txt");
    FileInputStream fileIn
        = new FileInputStream(trainingFile);
    InputStreamReader reader
        = new InputStreamReader(fileIn,Strings.UTF8);
    reader.read(csBuf);
    String text = new String(csBuf,0,numChars);
    Classification c = new Classification(category);
    Classified<CharSequence> classified
        = new Classified<CharSequence>(text,c);
    classifier.handle(classified);
    reader.close();
}

理想的解决方案是在训练集的 N 个子集的循环中提供 classifier.handle()。理论上我认为这应该是可能的，因为模型只需要记住 ngrams 元组及其各自的计数来计算 MLE。

Answer 1

是的，您可以逐步训练这些分类器。您只需要编写自己的数据处理程序，它不会尝试一次读取所有数据。上面并没有缓冲所有数据，而是在每个训练项目中读取一次，这样应该可以工作。如果你仍然运行内存不足，这可能只是因为如果你有很长的上下文或者没有明确地修剪，那么构建超过 20GB 的语言模型需要大量内存。

我写了一篇关于 LingPipe 的缩放如何用于语言模型的论文，增量分类器只是构建了一堆并行语言模型。

http://www.aclweb.org/anthology/W05-1107

一种更极端的节省内存的方法是分别训练每个类别，然后将它们组合成一个分类器，LingPipe 也支持这种方法API。

使用 lingpipe 进行增量语言模型训练

Incremental language model training with lingpipe

java

nlp

lingpipe

language-model