Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/xcode/7.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Keras 利用相似输出神经网络获得最佳匹配对的有效方法?_Keras - Fatal编程技术网

Keras 利用相似输出神经网络获得最佳匹配对的有效方法?

Keras 利用相似输出神经网络获得最佳匹配对的有效方法?,keras,Keras,我正在尝试建立一个神经网络,对两对短文本(例如,stackexchange标题和正文)进行排序。以深度学习食谱为例,网络基本上如下所示: 所以我们有两个输入(标题和正文),嵌入它们,然后计算嵌入之间的余弦相似性。模型的输入为[标题,正文],输出为[模拟] 现在我想要一个给定标题的最接近匹配的主体。我想知道是否有一种更有效的方法可以做到这一点,而不需要迭代每一对可能的(标题、正文)并计算相应的相似性?因为对于非常大的数据集,这是不可行的 非常感谢您的帮助 迭代每个可能的数据对确实不是很有效。相反

我正在尝试建立一个神经网络,对两对短文本(例如,stackexchange标题和正文)进行排序。以深度学习食谱为例,网络基本上如下所示:

所以我们有两个输入(标题和正文),嵌入它们,然后计算嵌入之间的余弦相似性。模型的输入为[标题,正文],输出为[模拟]

现在我想要一个给定标题的最接近匹配的主体。我想知道是否有一种更有效的方法可以做到这一点,而不需要迭代每一对可能的(标题、正文)并计算相应的相似性?因为对于非常大的数据集,这是不可行的


非常感谢您的帮助

迭代每个可能的数据对确实不是很有效。相反,您可以使用您的模型提取标题和文本正文的所有嵌入内容,并将它们保存在数据库中(或者简单地保存在.npy文件中)。因此,您不使用模型来输出相似性分数,而是使用模型来输出嵌入(从嵌入层)

在推理时,您可以使用库进行有效的相似性搜索,例如。给定一个标题,你只需查找它的嵌入,然后在所有主体嵌入的整个嵌入空间中搜索,看看哪一个得分最高。我自己也使用过这种方法,能够在100毫秒内搜索到1百万个向量