Machine learning 在深度学习方法中结合临床和图像数据的最佳方式是什么？

我有病人的CT图像，并将CNN应用于这些图像以预测疾病。我想用CNN的方法将我的临床数据和图像数据结合起来，这可能吗？我的临床数据包含年龄、性别、日期、吸烟者等信息，所有这些信息都是数字，比如吸烟者为1，吸烟者为0。

看一看，例如，他们将CNN的特征与文本数据结合在一起。在那篇论文中，CNN已经接受了预先培训（即CNN本质上是一个特写员），但是你可以清楚地一次学习所有内容。我们的想法永远是

• 通过卷积/子采样层在输入中运行图像
• 在最后一个完全连接（决策）层之前，连接其他可用功能
• 将所有（预处理图像和其他特征）输入决策层

---

所以答案是“是的，当然”，细节取决于您使用的框架。

据我所知，CNN非常适合图像数据，但不适合其他数据

解决您的问题的一个方法是用临床数据“着色”您的图像。（在图像识别CNN中，通常将输入图像分为3个颜色层：红色、灰色和蓝色。请参阅：）

假设您的输入数据是一个32x32像素的8位灰度图像（所以是1个颜色层）。我建议将每个临床数据变量添加为“颜色”层。同一颜色层中的所有输入值应相同

---

我不确定每一层是否应该与图像大小相同，或者你是否可以只使用一个像素，但至少你可以将临床数据与CT图像一起作为“图像”处理。

你当然可以训练任何类型的图像。您所指的是，大多数预先训练的网络都是使用RGB通道训练的。即使在那里，人们也复制了灰色通道3次，以插入到RGB训练的模型中（取得了一些有限的成功）。然而，一旦你将图像特征化为一个向量，你就可以在它上面训练一个网络，并提供其他功能。下面的问题是否回答了你的问题？如果是，您是否可以标记为“已接受”，或以其他方式澄清？