如何提高 LUIS 模型的性能?
How can the performance of LUIS models be improved?
如果您使用过 Microsoft 认知服务套件中的语言理解服务 (LUIS),您可能已经到了需要提高模型预测意图性能的地步。
LUIS 允许您根据您以交互方式或批量提供的样本话语来训练模型。此外,我想让聊天记录显示被模型错误分类的话语,这样我就可以将它们用作新训练数据集的基础。
我想这样的功能会在未来发布,但与此同时,有人有解决这种情况的方法吗?
我认为(手动)实现此目的的一种好方法是将所有错误分类的消息路由到某种存储或日志,以便您将来可以使用它们重新训练您的 LUIS 模型。事实上,您可以使用 LUIS API 动态轻松地使用日志中的数据进行调用。
因此,流程将是这样的:
1) 用户向机器人发送消息。
2) 机器人逻辑尝试使用 LUIS 模型匹配消息的意图。
3) 未找到意图或与结果关联的值非常低。
4) 获取该消息并将其存储在某处(从存储在 Azure Blob 存储中的简单 txt 文件)或数据库(Table 存储、DocumentDB 或 SQL 服务器) .
5) 制作一个简单的程序,让您为日志中的每一行选择一个意图,然后调用 LUIS Api 进行重新训练。
所以,我找到了最接近我提出问题时的想法。
就在 luis.ai 的 "MyApps" 页面上,可以下载聊天记录,从中可以看到用户与机器人之间的一整套互动。这可能是挑选出被错误分类的意图的一个很好的起点。
I attached a screenshot to indicate the link
唯一需要注意的是,日志聊天格式目前为 .csv,可读性差。希望 LUIS 很快支持 json 格式的日志。
如果您使用过 Microsoft 认知服务套件中的语言理解服务 (LUIS),您可能已经到了需要提高模型预测意图性能的地步。
LUIS 允许您根据您以交互方式或批量提供的样本话语来训练模型。此外,我想让聊天记录显示被模型错误分类的话语,这样我就可以将它们用作新训练数据集的基础。
我想这样的功能会在未来发布,但与此同时,有人有解决这种情况的方法吗?
我认为(手动)实现此目的的一种好方法是将所有错误分类的消息路由到某种存储或日志,以便您将来可以使用它们重新训练您的 LUIS 模型。事实上,您可以使用 LUIS API 动态轻松地使用日志中的数据进行调用。
因此,流程将是这样的:
1) 用户向机器人发送消息。
2) 机器人逻辑尝试使用 LUIS 模型匹配消息的意图。
3) 未找到意图或与结果关联的值非常低。
4) 获取该消息并将其存储在某处(从存储在 Azure Blob 存储中的简单 txt 文件)或数据库(Table 存储、DocumentDB 或 SQL 服务器) .
5) 制作一个简单的程序,让您为日志中的每一行选择一个意图,然后调用 LUIS Api 进行重新训练。
所以,我找到了最接近我提出问题时的想法。
就在 luis.ai 的 "MyApps" 页面上,可以下载聊天记录,从中可以看到用户与机器人之间的一整套互动。这可能是挑选出被错误分类的意图的一个很好的起点。
I attached a screenshot to indicate the link
唯一需要注意的是,日志聊天格式目前为 .csv,可读性差。希望 LUIS 很快支持 json 格式的日志。