Python 为什么有些神经网络结构无法适应问题？

我在玩我为xor编写的神经网络代码。我写了这个模型：

import tensorflow as tf
from tensorflow import keras
import matplotlib.pyplot as plt

model = keras.Sequential()
model.add(tf.keras.Input(shape=(2,)))
#model.add(keras.layers.Dense(2))
model.add(keras.layers.Dense(4, activation='relu'))
model.add(keras.layers.Dense(16, activation='relu'))
model.add(keras.layers.Dense(1, activation='sigmoid'))

optimizer = keras.optimizers.Adam(lr=0.2) #for example
model.compile(optimizer=optimizer,
              loss=tf.losses.BinaryCrossentropy(),
              metrics=['accuracy'])

# X_train, Y_train = ([[0, 0], [0, 1], [1, 0], [1, 1]], [[0], [1], [1], [0]])
X_train = tf.cast([[0, 0], [0, 1], [1, 0], [1, 1]], tf.float32)
Y_train = tf.cast([0, 1, 1, 0], tf.float32)

# train model and plot loss
hist = model.fit(X_train, Y_train, epochs=10000)
plt.plot(hist.history['loss'])
plt.show()

print(model.predict([[0, 1]]))
print(model.predict([[1, 1]]))
print(model.predict([[1, 0]]))
print(model.predict([[0, 0]]))

有一半的时间我会在这个模型中得到100%的准确率，而有一半的时间我只能得到75%（有时甚至50%）。即使经历了10000个时代，这个模型也找不到合适的方法

我注意到，如下面的代码所示，简单地切换图层将产生100%的准确性始终

model.add(tf.keras.Input(shape=(2,)))
#model.add(keras.layers.Dense(2))
#model.add(keras.layers.Dense(4, activation='relu'))
model.add(keras.layers.Dense(16, activation='relu'))
model.add(keras.layers.Dense(1, activation='sigmoid'))

问题

---

为什么会这样？为什么这个简单的模型不能很好地适应10万个时代，而新模型需要不到500个时代？是什么使得旧模型收敛到这个百分比？

对于异或问题架构2，隐藏的1个输出神经元能够解决它。我想提到的第一件事是我们对问题的看法。我理解这一点在我们人类看来是微不足道的，但这并不意味着对于这些简单的网络来说也是微不足道的

异或是线性不可分问题的典型例子。从我的经验来看，当我尝试用[2，1]体系结构解决它时，我是成功的，但它也需要很多时间

第二件事，这些架构有时无法在特定的时代解决。几乎可以肯定的是，如果你训练的时间更长，你就会得出结论（有时会太长）

---

第三件事是。我提到[2，1]是用来解决这个问题的。让我们在2点集中注意力。2个隐藏的神经元意味着你有两个输入的非线性组合。所以你们把二维映射到二维空间，非线性给了你们机会，在这个新空间，输入是可分离的。问题是，对于神经网络来说，在这种映射下，这种分离很难实现。当您使用16隐藏时，您创建了16个非线性组合，从您的结果中，我们可以看到更容易找到良好的分离。

对于异或问题架构2隐藏1输出神经元能够解决它。我想提到的第一件事是我们对问题的看法。我理解这一点在我们人类看来是微不足道的，但这并不意味着对于这些简单的网络来说也是微不足道的

异或是线性不可分问题的典型例子。从我的经验来看，当我尝试用[2，1]体系结构解决它时，我是成功的，但它也需要很多时间

第二件事，这些架构有时无法在特定的时代解决。几乎可以肯定的是，如果你训练的时间更长，你就会得出结论（有时会太长）

---

第三件事是。我提到[2，1]是用来解决这个问题的。让我们在2点集中注意力。2个隐藏的神经元意味着你有两个输入的非线性组合。所以你们把二维映射到二维空间，非线性给了你们机会，在这个新空间，输入是可分离的。问题是，对于神经网络来说，在这种映射下，这种分离很难实现。当您使用16 hidden时，您创建了16个非线性组合，从您的结果中，我们可以看到更容易找到良好的分离。

每当您观察到多次运行相同的网络配置会导致非常不同的行为时，这意味着初始权重配置（这是两次运行之间的唯一区别）是什么原因造成的。然而，这并不意味着初始化方案有问题。这可能仅仅意味着梯度下降在您提供的初始化附近的参数空间中非常快地被卡住

发生这种情况的主要原因之一是学习率太高：网络很早就跳到了局部最小值，但却卡在了这个山谷的边缘，而不是它的最小值。如果您将学习率更改为

lr=0.01

，您将看到网络每次都有100%的准确性

---

我的猜测是，您提供的另一个网络具有更高的学习率，因为它的参数较少，因此需要一个更简单的参数空间来操作。

每当您发现多次运行相同的网络配置会导致非常不同的行为时，这意味着初始重量配置（这是两次运行之间的唯一区别）导致了这种情况。然而，这并不意味着初始化方案有问题。这可能仅仅意味着梯度下降在您提供的初始化附近的参数空间中非常快地被卡住

发生这种情况的主要原因之一是学习率太高：网络很早就跳到了局部最小值，但却卡在了这个山谷的边缘，而不是它的最小值。如果您将学习率更改为

lr=0.01

，您将看到网络每次都有100%的准确性

---

我的猜测是，您提供的另一个网络具有更高的学习率，因为它的参数较少，因此需要一个更简单的参数空间来操作。

将其更改为0.01不起作用，但将其更改为0.004却起作用！谢谢：）那么神经网络是否可以一直“调整”以使其工作良好呢？或者有时隐藏层的某个组合使其无法工作？如果解决方案空间非常有限（例如在XOR中），则可能会发生某些类无法解决问题的情况（例如，如果没有非线性且至少有一个隐藏层，则无法解决XOR）。在更现实的问题和更大的网络中，您可以观察到类似的效果，但它们通常是多个超参数之间更复杂交互的结果。基本上，任何网络都必须进行调整，才能在给定的数据集上正常工作，但无法保证我们始终能够在不过度拟合的情况下获得较高的精度。将其更改为0.01不起作用，但将其更改为0.004就行了！谢谢：）那么神经网络是否可以一直“调整”以使其工作良好呢？或者有时隐藏层的某个组合使其无法工作？如果解决方案空间非常有限（例如在XOR中），则可能会发生某些类无法解决的问题（例如，它是im）