Neural network 用ReLu函数进行反向传播

我在学习神经网络中的激活函数。简单线性函数的问题如下所述：

A=cx，相对于x的导数是c。这意味着梯度与X没有关系。它是一个恒定的梯度，下降将是在一个恒定的梯度上。如果预测中存在错误，则反向传播产生的变化是恒定的，不取决于输入增量（x）的变化

---

ReLu函数的导数也是常数。我的问题是“当ReLu函数的导数为常数且不依赖于输入的变化时，我们如何使用ReLu函数进行反向传播？”

线性函数在神经网络中不用作激活函数

ReLU激活功能定义为

f（x）=最大值（0，x）

---

它不是线性的，它的导数也不是常数。负x的导数是0，正x的导数是1。

我投票结束这个问题，因为它似乎是一个数学问题，而不是编程问题。