Deep learning 如何使用两个不同大小的图像作为深度网络的输入？

我正在尝试训练一个深度神经网络，它使用来自两个独立图像的信息，以获得类似的最终图像输出。区别在于我的两个输入图像没有任何空间关系，因为它们是完全不同的图像，具有不同的信息量。如何使用两流CNN或任何其他使用这些类型输入的架构

---

供参考：一个图像有大小（5184x3456），另一个有大小（640x240）。

首先：有两个图像并不重要。当您将一个图像作为输入时，您会遇到完全相同的问题，即单个图像可能具有不同的大小

解决此问题有多种策略：

• 裁剪和缩放：只需强制输入所需的大小即可。裁剪是为了确保纵横比正确。有时，同一幅图像的不同部分被送入网络，结果被合并（例如平均）
• 卷积+全局池：卷积层不关心输入大小。在你关心它的时候，你可以做出决定。这意味着您有一个池区域，它将始终覆盖完整的输入，无论大小
• 特殊层：我不记得其概念或名称，但有些层允许不同大小的输入。。。也许这是一种基于注意力的方法

合并两个输入 在您选择的框架中查找“合并层”或“连接层”：

另见

• 凯拉斯：
• Caffe：

---

缩放图像会破坏表示吗？也可以尝试创建两个并行网络，并在某个点使用（正如论文所建议的）特征串联或在两个网络上应用一些二进制运算符将它们折叠成单个流。你的问题很宽泛，很难得到具体的答案。卷积之后和FC之前的空间金字塔池。检查