Python 为什么不是'；Adam优化器不工作吗？

我正在学习如何使用优化器在张量流中训练模型。 因此，我建立了一个线性模型，创建了一个玩具数据集，并使用

AdamOptimizer

和

GradientDescentOptimizer

对线性模型进行了训练

这是我的片段：

# Training a linear model with Adam optimizer

import tensorflow as tf
import numpy as np

# Training dataset
Xs_ = np.random.random(48).reshape(12, 4)
Yt_ = np.random.random(12).reshape(12, 1)

Xs2_ = np.array([1,  2,  3,  4, 
                 5,  6,  7,  8,
                 9,  10, 11, 12,
                 13, 14, 15, 16]).reshape(4, 4)
Yt2_ = np.array([1, 2, 3, 4]).reshape(4, 1)

# inference
Xs = tf.placeholder(shape=(None, 4), dtype=tf.float32)
W = tf.Variable(np.zeros((4,1), dtype=np.float32))
b = tf.Variable(np.ones((1, 1), dtype=np.float32))
Ys = tf.add(tf.matmul(Xs, W), b)

Yt = tf.placeholder(shape=(None, 1), dtype=tf.float32)

# loss
loss = tf.reduce_mean(tf.squared_difference(Yt, Ys))

# training
optimizer = tf.train.AdamOptimizer(learning_rate=1e-4, beta1=0.99, epsilon=0.1)
optimizer2 = tf.train.GradientDescentOptimizer(learning_rate=0.01)
train = optimizer.minimize(loss)
train2 = optimizer2.minimize(loss)


# Executing the graph with Adam Optimizer
with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())

    feed_dict = {Yt: Yt2_, Xs: Xs2_}
    sess.run(train, feed_dict)

    print "Adam trained vars (W, b)", sess.run([W, b], feed_dict)

# Executing the graph with Gradient Descent Optimizer
with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())

    feed_dict = {Yt: Yt2_, Xs: Xs2_}
    sess.run(train2, feed_dict)

    print "GD trained vars (W, b)", sess.run([W, b], feed_dict)

---

这是我看到的输出：

Adam trained vars (W, b) [array([[  9.07433059e-05],
       [  9.14905831e-05],
       [  9.21262108e-05],
       [  9.26734720e-05]], dtype=float32), array([[ 1.00004864]], dtype=float32)]
GD trained vars (W, b) [array([[ 0.31      ],
       [ 0.34      ],
       [ 0.37      ],
       [ 0.39999998]], dtype=float32), array([[ 1.02999997]], dtype=float32)]

我试验了不同的学习率，β和ε；但是AdamOptimizer没有更新变量（

W

和

b

）

我还看到一些人正在分别计算梯度，然后将其应用于变量，而不是直接使用

AdamOptimizer（）。最小化（_loss\u function）

---

我是TensorFlow的新手，我不确定自己是否遗漏了什么。请提供一些见解。谢谢

从输出中更新变量。用零初始化

W

，用1初始化

b

，可以清楚地看到它们发生了变化。我不知道你为什么认为他们没有改变。也许你觉得零钱太少了？你的学习率也比较低（这是不常见的-通常你可以使用比SGD更高的学习率）。尽管如此，看看亚当的公式——它对梯度和平方梯度都使用动量，这两个梯度都以零初始化。因此，需要采取一些步骤来实现更快/更大的更新。无论如何，您的代码看起来是正确的。

从输出中，变量被更新。用零初始化

W

，用1初始化

b

，可以清楚地看到它们发生了变化。我不知道你为什么认为他们没有改变。也许你觉得零钱太少了？你的学习率也比较低（这是不常见的-通常你可以使用比SGD更高的学习率）。尽管如此，看看亚当的公式——它对梯度和平方梯度都使用动量，这两个梯度都以零初始化。因此，需要采取一些步骤来实现更快/更大的更新。无论如何，您的代码看起来是正确的。

在这两种情况下，您只执行了梯度下降的一个步骤。默认情况下，亚当有很大的动量（惯性），所以需要一段时间才能加速。另一方面，新加坡元由于没有动量而瞬间加速。执行更多迭代，您将看到W的值相应增加

在这两种情况下，您只需执行梯度下降的一个步骤。默认情况下，亚当有很大的动量（惯性），所以需要一段时间才能加速。另一方面，新加坡元由于没有动量而瞬间加速。执行更多迭代，您将看到W的值相应增加

我看到了细微的差别，但AdamOptimizer的

W

值不应该更接近GD的

W

？因为，我是用同样的输入集训练的？谢谢！在高年龄段的训练后，结果是一致的。我看到了轻微的差异，但AdamOptimizer的

W

值不应该更接近GD的

W

？因为，我是用同样的输入集训练的？谢谢！在高历元训练后，结果是一致的。在这两种情况下，您只执行一步梯度下降。默认情况下，亚当有很大的动量（惯性），所以需要一段时间才能加速。另一方面，新加坡元由于没有动量而瞬间加速。执行更多的迭代，您将看到W相应地更新。谢谢，这很有帮助！请加上这个作为答案。在这两种情况下，你只是执行梯度下降的一个步骤。默认情况下，亚当有很大的动量（惯性），所以需要一段时间才能加速。另一方面，新加坡元由于没有动量而瞬间加速。执行更多的迭代，您将看到W相应地更新。谢谢，这很有帮助！请加上这个作为答案。