Machine learning 我应该对神经网络使用多重初始化吗？
在学习TensorFlow时，我对神经网络初始化感到困惑 我发现它应该执行随机初始化有两个原因： 避免对称性破坏。使用初始化 避免坏的局部极小值。使用多个初始化并选择最佳的初始化 第一个原因我已经知道为什么它可以避免对称性破坏，但是第二个原因仍然让我很困惑Machine learning 我应该对神经网络使用多重初始化吗？,machine-learning,tensorflow,Machine Learning,Tensorflow,在学习TensorFlow时，我对神经网络初始化感到困惑 我发现它应该执行随机初始化有两个原因： 避免对称性破坏。使用初始化 避免坏的局部极小值。使用多个初始化并选择最佳的初始化 第一个原因我已经知道为什么它可以避免对称性破坏，但是第二个原因仍然让我很困惑 在TensorFlow教程中，它们使用随机初始化，但不多次。它们只使用一次初始化。然后是火车。没有新的初始化，因为这将覆盖经过训练的权重 一旦你的神经网络收敛=找到好的结果，你可以保存这些权重，然后从头开始=重新初始化，并将结果与第一次训练过
在TensorFlow教程中，它们使用随机初始化，但不多次。它们只使用一次初始化。然后是火车。没有新的初始化，因为这将覆盖经过训练的权重 一旦你的神经网络收敛=找到好的结果，你可以保存这些权重，然后从头开始=重新初始化，并将结果与第一次训练过程的结果进行比较 您可以重复几次，然后使用来自最佳训练的权重=从最佳初始化开始
之所以这样做，是因为初始化是执行良好的重要步骤，这取决于神经网络的体系结构。所以你可能会说：每个人只出生一次。但是如果你想培育一个新的爱因斯坦，你可能需要很多人才能找到。谢谢你，@friesel。但是为什么我只使用tf.truncated_normal初始化权重一次，它总是在数据集中获得99.2%的测试精度？这种情况叫做凸函数吗？