Deep learning 对于计算机视觉中的图像标题问题，如果训练的模型遇到数据集中从未出现过的对象，会发生什么？

我刚刚开始关注关于图像字幕的研究，这是简历的一个子领域。众所周知，就像其他深度学习培训过程一样，你必须根据培训集培训模型，一旦模型准备好，你就可以使用它。因此，我在图像标题问题中有一个问题，如果经过训练的模型遇到数据集中从未出现过的对象，会发生什么？谢谢你的回复

两件事中可能有一件会发生：

该对象被分类为数据集类别中的某个对象，文本生成器将提取该类来构建一个句子

该对象无法识别，帧的其余部分用于生成一个句子

---

这取决于实际类与数据集中内置的任何对象的关系有多密切。如果对象控制帧内的区域，则第一个选项更有可能出现。您可以设置一个手动阈值，在某个置信度以下丢弃类信息。

谢谢您的回答。但对于第二个选项，我不太明白。如果对象无法重新编码，帧的其余部分如何基于未知对象生成句子？这在很大程度上取决于您的问题。由于你没有给出任何实际的背景，我无法编一个可能与你相关的例子。理论上，框架可以包含其他对象，也可以包含有关场景、时间或其他引用的信息。你最初的问题很广泛，理论性很强。有人能给你的唯一准确答案是：任何事情都有可能发生。好吧，也许当我在这个领域更深入地挖掘时，我会找到答案。但你为我指明了方向，谢谢你的工作。