Pytorch 第三次热重启后，GAN发散
我一直在与ClusterGAN合作，最初基于这里的一个： 在尝试稳定数据训练的同时，我整合了一系列当前策略，比如使其完全卷积，包括光谱范数，使用热重启，以及添加实例噪声。虽然我能够解决模式崩溃的问题，并且可以得到有用的输出图像，但最终会出现分歧，我想知道可能会发生什么（见下图）。要明确的是，模型的输出实际上在第69纪元（在这次运行中）前后非常有用，就在最后一次重新启动之前，但我仍然很好奇可能出了什么问题，部分原因是为了我自己的理解，但也为了通知未来的探索。这是不是太合适了 也许值得注意的是，一个更大版本的模型仅仅使用更多的过滤器确实会在以后的训练中发散，但最终还是会发散（并且不一定会产生清晰的“更好”的图像）。我在手机上运行，所以我想让模型尽可能小，这样既可以提高推理速度，又可以减小应用程序的大小 更新：增加初始学习率可以稳定这段时间的训练（尽管我很好奇，如果我再进行一次热重启循环，它是否还会偏离）Pytorch 第三次热重启后，GAN发散,pytorch,generative-adversarial-network,Pytorch,Generative Adversarial Network,我一直在与ClusterGAN合作，最初基于这里的一个： 在尝试稳定数据训练的同时，我整合了一系列当前策略，比如使其完全卷积，包括光谱范数，使用热重启，以及添加实例噪声。虽然我能够解决模式崩溃的问题，并且可以得到有用的输出图像，但最终会出现分歧，我想知道可能会发生什么（见下图）。要明确的是，模型的输出实际上在第69纪元（在这次运行中）前后非常有用，就在最后一次重新启动之前，但我仍然很好奇可能出了什么问题，部分原因是为了我自己的理解，但也为了通知未来的探索。这是不是太合适了 也许值得注意的是，一个