Keras 将文本特征和图像数据一起传递到CNN模型

我试图解决一个多标签图像分类问题，我有图像数据，但我也有一些其他特征，如性别等，但问题是，我将在测试期间获得这些信息，换句话说，在测试期间只提供图像信息

我的问题是，如何使用这些额外的功能来帮助我的图像模型，这是一个卷积神经网络，即使我在测试期间没有这些信息

---

任何建议都会有帮助。提前谢谢。

这是一个真正的开放式问题。我可以给你一些关于如何工作的一般指导方针

keras

模型API支持多个输入和层。例如，您可以有如下内容：

from keras.layers import Input
from keras.models import Model

image = Input(...)
text = Input(...)

... # apply layers onto image and text

from keras.layers.merge import Concatenate
combined = Concatenate()([image, text])

... # apply layers onto combined

model = Model([image, text], [combined])

这样，您就可以拥有一个

模型

，该模型接受多个输入，可以利用您的所有数据源

keras

提供了将不同输入组合成一个输出的工具。这成为开放式的部分是体系结构

现在，您可能应该将

图像

通过

CNN

，然后

将输出与
文本
合并。您必须调整确切的规格，例如如何处理每个输入、合并方法以及如何处理组合输出

使用
merge
的一个很好的例子是，一个GAN被赋予了图像形式的潜在噪声，但也被赋予了一个标签，以确定它应该生成什么样的图像。
鉴别器
和
生成器
都利用
乘法
合并层来组合它们的输入。
这是一个真正的开放式问题。我可以给你一些关于如何工作的一般指导方针

keras
模型API支持多个输入和层。例如，您可以有如下内容：

from keras.layers import Input
from keras.models import Model

image = Input(...)
text = Input(...)

... # apply layers onto image and text

from keras.layers.merge import Concatenate
combined = Concatenate()([image, text])

... # apply layers onto combined

model = Model([image, text], [combined])

这样，您就可以拥有一个
模型
，该模型接受多个输入，可以利用您的所有数据源
keras
提供了将不同输入组合成一个输出的工具。这成为开放式的部分是体系结构

现在，您可能应该将
图像
通过
CNN
，然后
将输出与
文本
合并。您必须调整确切的规格，例如如何处理每个输入、合并方法以及如何处理组合输出

使用
merge
的一个很好的例子是，一个GAN被赋予了图像形式的潜在噪声，但也被赋予了一个标签，以确定它应该生成什么样的图像。
鉴别器
和
生成器
都利用
乘法
合并层来组合它们的输入