pytorch中的VGG网络在测试不同输入时产生相同的输出
我正在使用(未经培训的)VGG-19对CIFAR10图像进行批量标准化。当我将模型转换为eval模式时,我注意到该模型为不同的输入生成了相同的输出logits值。这正常吗?VGG网络的参数是随机的。下面是我的代码pytorch中的VGG网络在测试不同输入时产生相同的输出,pytorch,vgg-net,Pytorch,Vgg Net,我正在使用(未经培训的)VGG-19对CIFAR10图像进行批量标准化。当我将模型转换为eval模式时,我注意到该模型为不同的输入生成了相同的输出logits值。这正常吗?VGG网络的参数是随机的。下面是我的代码 import torch import torch.nn as nn cfg = { 'vgg11': [64, 'M', 128, 'M', 256, 256, 'M', 512, 512, 'M', 512, 512, 'M'], 'vgg13': [64, 6
import torch
import torch.nn as nn
cfg = {
'vgg11': [64, 'M', 128, 'M', 256, 256, 'M', 512, 512, 'M', 512, 512, 'M'],
'vgg13': [64, 64, 'M', 128, 128, 'M', 256, 256, 'M', 512, 512, 'M', 512, 512, 'M'],
'vgg16': [64, 64, 'M', 128, 128, 'M', 256, 256, 256, 'M', 512, 512, 512, 'M', 512, 512, 512, 'M'],
'vgg19': [64, 64, 'M', 128, 128, 'M', 256, 256, 256, 256, 'M', 512, 512, 512, 512, 'M', 512, 512, 512, 512, 'M'],
}
class VGG(nn.Module):
def __init__(self, vgg_name):
super(VGG, self).__init__()
self.features = self._make_layers(cfg[vgg_name])
self.classifier = nn.Linear(512, 10)
def forward(self, x):
out = self.features(x)
out = out.view(out.size(0), -1)
out = self.classifier(out)
return out
@staticmethod
def _make_layers(cfg):
layers = []
in_channels = 3
for x in cfg:
if x == 'M':
layers += [nn.MaxPool2d(kernel_size=2, stride=2)]
else:
layers += [nn.Conv2d(in_channels, x, kernel_size=3, padding=1),
nn.BatchNorm2d(x),
nn.ReLU(inplace=True)]
in_channels = x
layers += [nn.AvgPool2d(kernel_size=1, stride=1)]
return nn.Sequential(*layers)
对于随机参数,情况不应该是这样。你是如何做到这一点的,你能分享这个脚本吗?你能在上传到网络之前对图像进行标准化吗?是否可能由于随机权重+图像值,最终导致隐藏层响应低于ReLU阈值-从而导致所有输入具有相同的登录?对于随机参数,情况不应如此。你是如何做到这一点的,你能分享这个脚本吗?你能在上传到网络之前对图像进行标准化吗?作为随机权重+图像值的结果,是否可能最终导致隐藏层响应低于ReLU阈值-从而导致所有输入的登录相同?