Deep learning Pytorch嵌入层中使用的默认权重初始化是什么?
当我们使用类Deep learning Pytorch嵌入层中使用的默认权重初始化是什么?,deep-learning,pytorch,Deep Learning,Pytorch,当我们使用类torch.nn.embedding创建嵌入层时,权重是如何初始化的?默认情况下是否使用统一、正态或初始化技术,如He或Xavier?在嵌入中,默认情况下,权重是从正态分布初始化的。您可以通过以下方法进行检查: 在嵌入中,默认情况下,权重是从正态分布初始化的。您可以通过以下方法进行检查: def reset_parameters(self): init.normal_(self.weight) ...
torch.nn.embedding
创建嵌入层时,权重是如何初始化的?默认情况下是否使用统一、正态或初始化技术,如He或Xavier?在嵌入中,默认情况下,权重是从正态分布初始化的。您可以通过以下方法进行检查:
在嵌入
中,默认情况下,权重是从正态分布初始化的。您可以通过以下方法进行检查:
def reset_parameters(self):
init.normal_(self.weight)
...