在 caffe 中使用 GAN 方法扩展 CNN

Question

我有一个网络可以根据输入图像估计 depth_map。简而言之，我有一个 input_image 及其对应的 ground_truth （深度图）。让我们称这个网络为 generator 网络。到目前为止，一切都很好。现在我听说了'Generative Adversarial Networksand I thought I could improve my network with adding aDiscriminator`-Network如下：

input -> neural network -> estimated_depth_image -> discriminator -> output: true or false depending on real or synthesised 
                                                     ^
                                                     |
                                           ground_truth_depth_image

但是，我将如何在将带有标签 0 的 estimated_depth_image 馈送到鉴别器和将带有标签 1 的 ground_truth_image 馈送到鉴别器之间切换。这可能吗？如果是，您会如何处理？

我的问题是，如何将我的 new dataset 包含所有带有标签 1 的 groud_truth 深度图像和所有带有标签 0 的 estimated_deth_images 到 discriminator网络同时使用caffe?

Answer 1

据我所知，这在 Caffe 中并不容易，因为您需要两种不同的优化器（一种用于生成器，一种用于鉴别器）。您还需要仅在 G 中执行前向传递，然后在 D 中使用 G 的输出和一些真实的深度数据。我建议使用 Tensorflow、torch 或 pytorch 来做到这一点。

在 caffe 中使用 GAN 方法扩展 CNN

Expanding CNN with GAN methodology in caffe

deep-learning

caffe