在pytorch中使用4通道图像进行分类

Question

我有一些带有标签的灰度和彩色图像。我想结合这个灰色和彩色图像（4 通道）和运行使用 4 通道图像的迁移学习。怎么做？

Answer 1

您当前的模型需要一个只有三个通道的 RGB 输入，因此它的第一个转换层有 in_channels=3 并且第一层的 weight 的形状是 out_channelsx3xkernel_heightxkernel_width.
为了适应 4 通道输入，您需要将第一层更改为具有 in_channels=4 和形状 out_channelsx4x[ 的 weight =13=]xkernel_width。您还想保留学习的权重，因此您应该将新的 weight 初始化为与旧的相同，除了添加的权重中的微小噪音。

Answer 2

如果我对问题的理解正确，你想组合 1 通道图像和 3 通道图像并得到 4 通道图像并将其用作你的输入。

如果这是你想要做的，你可以使用 torch.cat()。

加载两个图像并沿通道维度组合它们的一些示例代码

import numpy as np
import torch
from PIL import Image

image_rgb = Image.open(path_to_rgb_image)
image_rgb_tensor = torch.from_numpy(np.array(image_rgb))
image_rgb.close()

image_grayscale = Image.open(path_to_grayscale_image))
image_grayscale_tensor = troch.from_numpy(np.array(image_grayscale))
image_grayscale.close()

image_input = torch.cat([image_rgb_tensor, image_grayscale_tensor], dim=2)

我假设您要使用的灰度图像已转换为形状为 [..., ..., 1] 的张量，而 rgb 图像为 [..., ..., 3]。

在pytorch中使用4通道图像进行分类

classification using 4-channel images in pytorch

classification

pytorch