Indexing 信息检索索引与排序模型

我想不出与这个问题（a）相匹配的结构

我曾想过发布100x100+1个条目的列表，其中包含任何像素的精确数据，但在我看来，这是一个浪费的想法

---

如果我能在接下来的问题（b，c）中得到一些帮助，我不明白我需要如何处理它。

我给出了一个想法，您可以尝试一下

由于我们有图像和标题，我的想法是从图像中提取不同类型的信息，并将它们与标题一起存储为文本。当用户提交文本查询和/或图像时，我们需要将其转换为搜索查询。排名模型意味着您需要根据相似度和一些预定义的分数（如果有的话）为索引文档（图像+标题）打分

通过图像，我们可以做几件事：（参见）

（1） 我们可以通过字符识别程序运行图像，从照片中可见的标牌中提取任何单词。（例如，阅读图像模因的文本）

（2） 我们能认出任何著名的地标。（我们拥有从任何角度识别它们的复杂技术）

（3） 我们可以识别名人和名人的面孔，或者，如果说你的私人照片在谷歌照片搜索中被编入索引，我们可以从其他照片中识别你的家人和朋友。即使我们没有名字，我们也可以找到熟悉的面孔，并在索引中将它们组合在一起。我们还可以识别宠物

（4） 我们可以识别物体——交通工具、建筑物、动物物种

我们可以从一张照片及其标题中提取的潜在内容列表相当长，而且种类繁多，但一些显而易见的内容比其他内容提供了更高质量的术语。所有提取的特征不一定具有足够的相关性。例如，在计算相关性得分时，从标题中提取的特征应该得到更多强调

类似地，阅读照片中出现的t恤的文字远不如阅读街道标志和商店标志有用，因为街道标志和商店标志可以让我们很容易地确定位置

因此，当我们寻找要放入索引的内容时，我们会建立一个与照片相关的长长的列表，以及一些关于我们对这些术语准确反映照片内容的信心的信息。我们可以通过确定有多少人在搜索特定术语后点击图像来调整这些分数。如果它获得了大量点击，那么将该术语的分数提高可能是合理的。如果它从未被点击过，相对于结果中它附近的其他照片，我们可以降低它

当用户提交查询和照片时，我们必须运行特征提取策略并将其转换为搜索查询。然后，我们必须找出一组具有与查询匹配的术语的照片。然后，我们必须根据相关性，根据匹配术语的分数，对这些照片进行排名。然后我们可以向用户显示结果

从图像中提取特征并根据提取的特征计算相关性分数并非易事。什么类型的排名模型会给你带来好的结果很大程度上取决于提取的特征（特征意味着与图像相关的关键词）以及你的系统能够如何精确地对与图像相关的术语进行加权

---

一旦可以将标题和/或图像转换为文本信息，您可以使用搜索引擎使用的排序函数，根据匹配文档与给定搜索查询的相关性对其进行排序。

但是我有像素级的图像，需要使用索引中的像素，因此我不明白如何从像素级的显示图像中提取信息通常如图所示一组像素值。通常图像以三维矩阵的形式给出。例如，如果有128 X 64大小的图像，则将其存储在（128 X 64 X 3）数组中，其中3表示一个像素的RGB值。因此，我们可以从像素值中提取特征，而我提出的方法将起作用。我想你应该做一些文献调查，以便更深入地了解图像处理/匹配系统。