我们如何使用使用自定义数据集训练斯坦福 NER 标记器后生成的输出文件？

Question

按照 Stanford NLP FAQ 中的步骤进行操作后，我能够生成模型的 zip 文件。但在文档中，他们使用 TSV 文件来计算针对已注释文件的预测准确性，但没有任何文档说明如何针对新文件对其进行测试！

用于生成模型的命令是

 java -Xmx10240m -cp 'path_to_stanford-ner.jar' edu.stanford.nlp.ie.crf.CRFClassifier -prop austen.prop

其中 austen.prop 是影响训练的属性

这里是Java的初学者，如果问题很傻，请见谅

Answer 1

解决方案是获取要针对模型进行测试的输入文件并将其转换为 TSV 文件，该文件可以通过以下方式提供给 ner 模型命令

java -cp stanford-ner.jar edu.stanford.nlp.ie.crf.CRFClassifier -loadClassifier ner-model.ser.gz -testFile converted_to_tsv.tsv

这是一个将文件转换为 TSV 的小脚本 python:

import json
import re
file = filepath
for line in open(file, mode="r",encoding = 'utf8'):
    regex = '[ ]'  
    with open('output.tsv','w+') as output_file:

        for line in list(filter(bool, file.splitlines())):

            for word in re.split(split_regex,line):
                print(word+"\tO")
                output_file.write(word+"\tO"+"\n")

我们如何使用使用自定义数据集训练斯坦福 NER 标记器后生成的输出文件？

How do we use the output file generated after training a Stanford NER tagger using custom dataset?

nltk

stanford-nlp