Deep learning 如何选择VAE中潜在变量先验分布的正确性?

Deep learning 如何选择VAE中潜在变量先验分布的正确性?,deep-learning,pytorch,conv-neural-network,autoencoder,Deep Learning,Pytorch,Conv Neural Network,Autoencoder,我想问一下关于确定VAE中潜变量的正确优先级的问题。最重要的是,我对选择正确分布(可能是数据结构、模型结构等)时需要考虑的关键点感到好奇,特别是在彩色(3通道)数据集上。我想继续讲一个小场景,这可能会使回答问题变得容易 场景:首先,假设我有8位图像的实例,这些图像在数据集中有[3,27,27]维。而且,实例值在[0,1]之间。此外,如果我把它放在由卷积编码器和解码器构成的VAE设置中。编码器和解码器可能有这样的结构设计 #简单Conv编码器 self.encoder=nn.Sequential(

我想问一下关于确定VAE中潜变量的正确优先级的问题。最重要的是,我对选择正确分布(可能是数据结构、模型结构等)时需要考虑的关键点感到好奇,特别是在彩色(3通道)数据集上。我想继续讲一个小场景,这可能会使回答问题变得容易

场景:首先,假设我有8位图像的实例,这些图像在数据集中有[3,27,27]维。而且,实例值在[0,1]之间。此外,如果我把它放在由卷积编码器和解码器构成的VAE设置中。编码器和解码器可能有这样的结构设计

#简单Conv编码器
self.encoder=nn.Sequential(
nn.Conv2d(自输入_通道,36,4,1,0),
nn.LeakyReLU(0.2),
nn.MaxPool2d(2,2),
nn.Conv2d(36,48,3,1,0),
nn.LeakyReLU(0.2),
nn.MaxPool2d(2,2),
nn.Conv2d(48,32,3,1,0)
)
#简单Conv解码器
self.decoder=nn.Sequential(
nn.ConvTranspose2d(16,36,3,1,0),
nn.ReLU(),
nn.上采样(比例因数=2),
nn.ConvTranspose2d(36,48,3,1,0),
nn.ReLU(),
nn.上采样(比例因数=2),
nn.ConvTranspose2d(48100,4,1,0),
nn.Sigmoid()
)
因为ReLU意味着对神经元的最大{0,输入}

  • 我想知道什么样的事先挑选才是正确的选择
  • 此外,物流损失类型的离散化混合是否与这种类型的架构一致
  • 更重要的是,sigmoid是否满足这种损失的需要?除了我提到的以外,还有什么额外的损失可以应用
  • 我想把它保留在一个场景中,因为所有这些理论上的考虑都让我心烦意乱,让我陷入了困境:(

    提前谢谢