Python 无法在TensorFlow中为GradientDescentOptimizer收集渐变

我一直在尝试在TensorFlow中为GradientDescentOptimizer的每个步骤收集渐变步骤，但是当我尝试将

apply\u gradients（）

的结果传递到

sess.run（）

时，我一直遇到类型错误。我尝试运行的代码是：

import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data

x = tf.placeholder(tf.float32,[None,784])
W = tf.Variable(tf.zeros([784,10]))
b = tf.Variable(tf.zeros([10]))
y = tf.nn.softmax(tf.matmul(x,W)+b)
y_ = tf.placeholder(tf.float32,[None,10])
cross_entropy = -tf.reduce_sum(y_*log(y))

# note that up to this point, this example is identical to the tutorial on tensorflow.org

gradstep = tf.train.GradientDescentOptimizer(0.01).compute_gradients(cross_entropy)

sess = tf.Session()
sess.run(tf.initialize_all_variables())
batch_x,batch_y = mnist.train.next_batch(100)
print sess.run(gradstep, feed_dict={x:batch_x,y_:batch_y})

---

请注意，如果我将最后一行替换为

print sess.run（train_step，feed_dict={x:batch_x，y_:batch_y}）

，其中

train_step=tf.GradientDescentOptimizer（0.01）。最小化（交叉熵）

，则不会产生错误。我的困惑源于

minimize

调用

compute\u gradients

，其参数与第一步完全相同。有人能解释为什么会发生这种行为吗？

最小化调用计算梯度，然后再应用梯度：可能您错过了第二步

compute_gradients只返回梯度/变量，但不将更新规则应用于它们

下面是一个示例：

该方法返回（

张量

，

变量

）对的列表，其中每个张量是相对于相应变量的梯度

Session.run（）

需要一个

Tensor

对象列表（或可转换为

Tensor

的对象）作为其第一个参数。它不知道如何处理对列表，因此您会得到一个

TypeError

，您试图运行它

sess.run（gradstep，…）

正确的解决方案取决于您试图做什么。如果要获取所有渐变值，可以执行以下操作：

grad_vals = sess.run([grad for grad, _ in gradstep], feed_dict={x: batch_x, y: batch_y})

# Then, e.g., nuild a variable name-to-gradient dictionary.
var_to_grad = {}
for grad_val, (_, var) in zip(grad_vals, gradstep):
    var_to_grad[var.name] = grad_val

如果还希望获取变量，可以单独执行以下语句：

sess.run([var for _, var in gradstep])

…但是请注意，在不进一步修改程序的情况下，这只会返回每个变量的初始值。

---

您必须运行优化器的培训步骤（或其他调用）来更新变量。

您好，谢谢您的回复。我不是想最小化优化器，我只是想在每一步打印出梯度。我之所以提出minimize反例，是因为它涉及调用compute_梯度，所以人们会认为使用相同参数调用该函数也会产生错误。