Bots LUIS bot应用程序是否建议进行任何文本预处理?

Bots LUIS bot应用程序是否建议进行任何文本预处理?,bots,text-classification,azure-language-understanding,Bots,Text Classification,Azure Language Understanding,是否建议对“培训话语”和“最终用户输入话语”执行以下文本预处理任务 替换为“root”同义词。例如,用“根”同义词regular替换单词普通/典型。这类似于LUIS短语列表,但我可以定义自己应用程序的内部列表,不限于10个短语列表 词干分析:将屈折词(或有时派生词)还原为词根形式。例如,单词“连接”、“连接”、“连接”、“连接”、“连接”将映射为“连接” …我是否错过了任何其他文本预处理任务?根据我与路易斯的经验,我不建议做文本预处理。LUIS正在使用词性标注的分类方法。词根的词干或替换可能会改

是否建议对“培训话语”和“最终用户输入话语”执行以下文本预处理任务

  • 替换为“root”同义词。例如,用“根”同义词regular替换单词普通/典型。这类似于LUIS短语列表,但我可以定义自己应用程序的内部列表,不限于10个短语列表
  • 词干分析:将屈折词(或有时派生词)还原为词根形式。例如,单词“连接”、“连接”、“连接”、“连接”、“连接”将映射为“连接”

  • …我是否错过了任何其他文本预处理任务?

    根据我与路易斯的经验,我不建议做文本预处理。LUIS正在使用词性标注的分类方法。词根的词干或替换可能会改变句子的意思。最好的方法是继续使用用户创建的原始内容

    你是否对此进行了一些研究来证明你的结论?例如,应用交叉验证技术测试预处理性能或不测试预处理性能。或者你有一些微软推荐的避免预处理的链接?我确实有过在聊天机器人LUIS模型中使用这种场景的经验。在我们的机器人中,我们应用了预处理,这有助于提高精度。然而,这导致了管理预处理和相关副作用的负担过重。微软有什么建议吗?MS是否部署了任何技术来消除预处理的需要?当您将请求推送到LUIS时,您可以启用bing拼写检查器。我想这就够了。谢谢你的回复。必应拼写检查已经存在。然而,如果路易斯接受过“给我芒果”的培训,那么“给我芒果”(复数)的效果就很差。有时候,即使有明显的言辞,我们的信心也很低,以至于我们不得不自己做一些准备工作