Keras 利用相似输出神经网络获得最佳匹配对的有效方法?
我正在尝试建立一个神经网络,对两对短文本(例如,stackexchange标题和正文)进行排序。以深度学习食谱为例,网络基本上如下所示: 所以我们有两个输入(标题和正文),嵌入它们,然后计算嵌入之间的余弦相似性。模型的输入为[标题,正文],输出为[模拟] 现在我想要一个给定标题的最接近匹配的主体。我想知道是否有一种更有效的方法可以做到这一点,而不需要迭代每一对可能的(标题、正文)并计算相应的相似性?因为对于非常大的数据集,这是不可行的Keras 利用相似输出神经网络获得最佳匹配对的有效方法?,keras,Keras,我正在尝试建立一个神经网络,对两对短文本(例如,stackexchange标题和正文)进行排序。以深度学习食谱为例,网络基本上如下所示: 所以我们有两个输入(标题和正文),嵌入它们,然后计算嵌入之间的余弦相似性。模型的输入为[标题,正文],输出为[模拟] 现在我想要一个给定标题的最接近匹配的主体。我想知道是否有一种更有效的方法可以做到这一点,而不需要迭代每一对可能的(标题、正文)并计算相应的相似性?因为对于非常大的数据集,这是不可行的 非常感谢您的帮助 迭代每个可能的数据对确实不是很有效。相反
非常感谢您的帮助 迭代每个可能的数据对确实不是很有效。相反,您可以使用您的模型提取标题和文本正文的所有嵌入内容,并将它们保存在数据库中(或者简单地保存在.npy文件中)。因此,您不使用模型来输出相似性分数,而是使用模型来输出嵌入(从嵌入层) 在推理时,您可以使用库进行有效的相似性搜索,例如。给定一个标题,你只需查找它的嵌入,然后在所有主体嵌入的整个嵌入空间中搜索,看看哪一个得分最高。我自己也使用过这种方法,能够在100毫秒内搜索到1百万个向量