Machine learning 机器学习：自动编码器上的模拟退火_Machine Learning_Neural Network_Simulated Annealing_Autoencoder

Machine learning 机器学习：自动编码器上的模拟退火

machine-learning neural-network

Machine learning 机器学习：自动编码器上的模拟退火,machine-learning,neural-network,simulated-annealing,autoencoder,Machine Learning,Neural Network,Simulated Annealing,Autoencoder,我已经实现了模拟退火来解决一个简单的权重绑定神经网络的代价函数，但是我收到了一些奇怪的结果逻辑：正向属性：f（W*x+b），其中f=tanh，W=权重矩阵，x=输入数据，b=偏差使用rnd高斯权重随机初始化权重和偏差权重和偏差通过W/norm2（W）和b/norm2（b）标准化扰动W为：W+/-rnd_unif[0,1]&对b进行相同的扰动如果MSE

我已经实现了模拟退火来解决一个简单的权重绑定神经网络的代价函数，但是我收到了一些奇怪的结果

逻辑：

正向属性：f（W*x+b），其中f=tanh，W=权重矩阵，x=输入数据，b=偏差
使用rnd高斯权重随机初始化权重和偏差
权重和偏差通过W/norm2（W）和b/norm2（b）标准化
扰动W为：W+/-rnd_unif[0,1]&对b进行相同的扰动
如果MSE<先前的MSE接受，则再次向前推进，否则使用退火标准
每接受一次更新温度。使用通用T=T*0.9

似乎正在发生的是，网络确实如预期那样降低了成本，但是一些错误预测的MSE低于“正常”状态的MSE。在backprop中，我们观察到误差的MSE始终较高。我想知道是否有其他人遇到了同样的问题