在深度学习方法中结合临床和图像数据的最佳方式是什么？
What is the best way of combining clinical and Image data in a Deep Learning approach?
我有来自患者的 CT 图像，并将 CNN 应用于这些图像以预测疾病。我想在 CNN 方法中将我的临床数据与我的图像数据结合起来，这可能吗？我的临床数据有年龄、性别、日期、吸烟者等信息，它们都是数字，例如 1 表示吸烟，0 表示不吸烟。
例如，看看 this paper 他们将 CNN 的特征与文本数据相结合。在那篇论文中，CNN 已经是 pre-trained（即，CNN 本质上是一个 featurizer），但你可以清楚地一次性学习所有内容。这个想法永远是
- 运行 通过 convolution/subsampling 层输入的图像
- 就在您最终的完全连接（决策）层之前，连接您可用的其他功能
- 将所有（pre-processed 图像和其他特征）输入决策层。
所以答案是"yes, certainly"，详情取决于您使用的框架。
据我所知，CNN非常适合图像数据，但不适合其他数据。
您的问题的解决方案是 'color' 您的图像和临床数据。 （在图像识别 CNN 中，通常将输入图像分为 3 个颜色层：红色、灰色和蓝色。参见：http://cs231n.github.io/convolutional-networks/）
假设您的输入数据是 32x32 像素的 8 位灰度图像（因此有 1 个颜色层）。我建议将每个临床数据变量添加为 'color' 层。同一颜色层中的所有输入值应相同。
是否每一层都应与图像大小相同，或者是否可以使用单个像素，我不确定，但至少你可以将临床数据视为 'image'在 CT 图像旁边。
我有来自患者的 CT 图像，并将 CNN 应用于这些图像以预测疾病。我想在 CNN 方法中将我的临床数据与我的图像数据结合起来，这可能吗？我的临床数据有年龄、性别、日期、吸烟者等信息，它们都是数字，例如 1 表示吸烟，0 表示不吸烟。
例如，看看 this paper 他们将 CNN 的特征与文本数据相结合。在那篇论文中，CNN 已经是 pre-trained（即，CNN 本质上是一个 featurizer），但你可以清楚地一次性学习所有内容。这个想法永远是
- 运行 通过 convolution/subsampling 层输入的图像
- 就在您最终的完全连接（决策）层之前，连接您可用的其他功能
- 将所有（pre-processed 图像和其他特征）输入决策层。
所以答案是"yes, certainly"，详情取决于您使用的框架。
据我所知，CNN非常适合图像数据，但不适合其他数据。
您的问题的解决方案是 'color' 您的图像和临床数据。 （在图像识别 CNN 中，通常将输入图像分为 3 个颜色层：红色、灰色和蓝色。参见：http://cs231n.github.io/convolutional-networks/）
假设您的输入数据是 32x32 像素的 8 位灰度图像（因此有 1 个颜色层）。我建议将每个临床数据变量添加为 'color' 层。同一颜色层中的所有输入值应相同。
是否每一层都应与图像大小相同，或者是否可以使用单个像素，我不确定，但至少你可以将临床数据视为 'image'在 CT 图像旁边。