Java 多层神经网络的退火：异或实验
我是这个概念的初学者，我尝试学习前馈型神经网络（拓扑结构为2x2x1）： 因此，[-4,4]的范围似乎比其他的好 问题：与温度限制和温度下降率相比，有没有办法找到合适的重量和偏差限制 注意：我在这里尝试两种方法。首先是对每个试验的所有权重和偏差进行一次随机化。第二种方法是在每次试验中仅随机分配单个重量和单个偏差。（降低温度前50次迭代）。单次重量变化的结果更糟Java 多层神经网络的退火：异或实验,java,neural-network,xor,simulated-annealing,Java,Neural Network,Xor,Simulated Annealing,我是这个概念的初学者，我尝试学习前馈型神经网络（拓扑结构为2x2x1）： 因此，[-4,4]的范围似乎比其他的好 问题：与温度限制和温度下降率相比，有没有办法找到合适的重量和偏差限制 注意：我在这里尝试两种方法。首先是对每个试验的所有权重和偏差进行一次随机化。第二种方法是在每次试验中仅随机分配单个重量和单个偏差。（降低温度前50次迭代）。单次重量变化的结果更糟 (n+1) is next value, (n) is the value before TempMax=2.0 TempMin
(n+1) is next value, (n) is the value before
TempMax=2.0
TempMin=0.1 ----->approaching to zero, error of XOR output approaches to zero too
Temp(n+1)=Temp(n)/1.001
Weight update:
w(n+1)=w(n)+(float)(Math.random()*t*2.0f-t*1.0f)); // t is temperature
(same for bias update)
Iterations per temperature=50
Using java's Math.random() method(Spectral property is appropriate for annealing?)
Transition probability:
(1.0f/(1.0f+Math.exp(((candidate state error)-(old error))/temp)))
Neuron activation function: Math.tanh()
1我非常怀疑是否有任何严格的规则来解决你的问题。首先，权重的限制/界限严格取决于输入数据表示、激活函数、神经元数量和输出函数。在这里，您可以依靠的是最佳情况下的经验法则
首先，考虑经典算法中的初始权值。权重量表的一些基本思想是，对于小层，在
[-1,1] (n+1) is next value, (n) is the value before
TempMax=2.0
TempMin=0.1 ----->approaching to zero, error of XOR output approaches to zero too
Temp(n+1)=Temp(n)/1.001
Weight update:
w(n+1)=w(n)+(float)(Math.random()*t*2.0f-t*1.0f)); // t is temperature
(same for bias update)
Iterations per temperature=50
Using java's Math.random() method(Spectral property is appropriate for annealing?)
Transition probability:
(1.0f/(1.0f+Math.exp(((candidate state error)-(old error))/temp)))
Neuron activation function: Math.tanh()