Nlp 是否需要对每个输入进行Chatbot文本预处理?

Nlp 是否需要对每个输入进行Chatbot文本预处理?,nlp,chatbot,Nlp,Chatbot,我正在努力学习NLP和聊天机器人。 据我所知,文本预处理(例如,小写和将数字转换为单词)是对训练数据进行的,以便训练模型。我认为,为了在以后找到合适的响应,用户每次输入都需要这样做,但我找不到任何来源证实这一点 请求是按原样输入到模型中的,还是以前进行过预处理?您不必使用小写字母。您可以选择使用不重要的比较和哈希函数。但是:在生成答案时,很难解决所需的情况。[与空白和标点符号类似]和:还有词性标记。好的,但是是否对用户输入进行了任何形式的文本预处理,还是仅对培训数据进行了预处理?可能两者都有?你

我正在努力学习NLP和聊天机器人。 据我所知,文本预处理(例如,小写和将数字转换为单词)是对训练数据进行的,以便训练模型。我认为,为了在以后找到合适的响应,用户每次输入都需要这样做,但我找不到任何来源证实这一点


请求是按原样输入到模型中的,还是以前进行过预处理?

您不必使用小写字母。您可以选择使用不重要的比较和哈希函数。但是:在生成答案时,很难解决所需的情况。[与空白和标点符号类似]和:还有词性标记。好的,但是是否对用户输入进行了任何形式的文本预处理,还是仅对培训数据进行了预处理?可能两者都有?你不能接受“任何数据”,你至少要标记它(或执行POS,或查找,或插入,或…)好的,这就是我的想法,但我找不到任何来源。谢谢:)