Neural network Rasa NLU实体提取使用什么模型?它是LSTM还是仅仅是一个简单的神经网络?

Neural network Rasa NLU实体提取使用什么模型?它是LSTM还是仅仅是一个简单的神经网络?,neural-network,nlp,rasa-nlu,named-entity-extraction,Neural Network,Nlp,Rasa Nlu,Named Entity Extraction,RASA NLU使用什么样的模型来提取单词嵌入后的实体和意图?这从RASA中澄清了一些方面 使用Rasa,您将首先训练一个向量器,该向量器将每个文档转换为N维向量,其中N是词汇表的大小。这正是scikit learn所做的 相反,每个意图嵌入都被构建为一个热向量或一个多1的向量(如果您有混合意图)。这些向量中的每一个都具有文档嵌入的相同维度,因此我猜N实际上可能是词汇表大小+意图数量 此时,Rasa将训练一个神经网络默认值:2个隐藏层,其中损失函数设计为最大化文档d和意图i之间的相似性(如果d在

RASA NLU使用什么样的模型来提取单词嵌入后的实体和意图?

这从RASA中澄清了一些方面

使用Rasa,您将首先训练一个向量器,该向量器将每个文档转换为N维向量,其中N是词汇表的大小。这正是scikit learn所做的

相反,每个意图嵌入都被构建为一个热向量或一个多1的向量(如果您有混合意图)。这些向量中的每一个都具有文档嵌入的相同维度,因此我猜N实际上可能是词汇表大小+意图数量

此时,Rasa将训练一个神经网络默认值:2个隐藏层,其中损失函数设计为最大化文档d和意图i之间的相似性(如果d在训练集中标记为i),并最小化d与所有其他意图嵌入的相似性。默认情况下,相似度计算为余弦相似度

每个新的、看不见的文档都由神经网络嵌入,并为每个意图计算其相似性。与新文档最相似的意图将作为预测标签返回

旧答案:

这不是LSTM。他们说,他们的做法受到了Facebook的启发

然而,我并不觉得上面的文章很有启发性 据称,星际空间的Github回购协议 使其设置与以前的工作标记空间相同

这一点更加清楚,并解释了他们如何使用CNN 将每个文档嵌入到一个空间中,使其与 关联类向量最小化。文字、文件和 类标记嵌入在相同的d维空间中,并且 通过余弦相似性或内积测量它们的距离