Optimization 梯度下降和梯度上升有什么区别？

我找不到任何关于梯度上升的东西。任何关于梯度上升与梯度下降之间区别的好链接都会有所帮助。

梯度下降用于最小化特定函数，而梯度上升用于最大化函数

---

看看这个

它没有什么不同。梯度上升只是最大化而不是最小化损失函数的过程。其他一切都是一样的。你可以说，某些损失函数的上升就像损失函数负方向上的梯度下降。

通常，你会用梯度上升来最大化似然函数，用梯度下降来最小化代价函数。坡度下降和上升实际上是一样的。让我给你一个具体的例子，使用一个简单的基于梯度的优化友好算法和一个凹凸似然/代价函数：逻辑回归

不幸的是，所以似乎仍然不支持LaTeX，所以让我发布一些截图

在逻辑回归中要最大化的似然函数是

其中“phi”是简单的sigmoid函数

现在，你想要一个梯度上升的concav函数，因此取对数：

类似地，你可以把它写成它的逆函数，得到你可以通过梯度下降最小化的代价函数

对于对数似然，您将推导并应用梯度上升，如下所示：

因为您希望同时更新所有权重，所以我们将其写成

现在，应该很明显地看到梯度下降更新与梯度上升更新是相同的，只是请记住，我们将其表述为“向成本函数梯度的相反方向迈出一步”

---

希望这能回答你的问题

坡度是坡度的另一个词。图在点（x，y）处的正梯度意味着图在点（x，y）处向上倾斜。另一方面，图在点（x，y）处的负梯度意味着图在点（x，y）处向下倾斜

---

梯度下降法是一种迭代算法，用于寻找使代价函数的值最小化的θ集。因此，梯度上升将产生一组θ，使成本函数的值最大化

如果你想最小化一个函数，我们使用梯度下降法。例如，在深度学习中，我们希望最小化损失函数，因此我们使用梯度下降法

---

如果你想最大化一个函数，我们使用梯度上升。例如，在强化学习-策略梯度法中，我们的目标是最大化回报/预期回报函数，因此我们使用梯度上升。

梯度上升是最大化函数，以实现更好的优化 用于强化学习 它给出了向上的斜率或递增图

梯度下降是最小化代价函数 用于线性回归

---

它提供了成本函数的向下或递减斜率。

我在这里问了一些与此相关的问题：基本上，在梯度下降中，你是在最小化误差，而在梯度上升中，你是在最大化利润梯度下降就像把一个大理石扔进一个形状奇怪的碗里，wheras gradient Upgrant正在一个形状奇特的圆顶帐篷内释放一个比气球还轻的气球。区别仅在于弹珠/气球被轻推的位置，以及它最终停止移动的位置。下面是一个用GNU倍频程编写的梯度下降的工作示例：梯度下降解决了最小化问题。改变符号，使其成为一个最大化问题，现在您使用的是梯度上升。梯度下降是一种迭代操作，它创建函数的形状（如曲面），并移动所有输入变量的位置，直到模型收敛到最佳答案。“梯度”是“描述曲面相对于当前点的斜率的所有偏导数的集合”。一个盲人可以爬上一座山，如果他“向上走一步”，直到你再也爬不上了。攻读CS和ML的硕士学位，这将是一门课程。