Python tensorflow中未提供梯度(均方误差)
我正试图建立一个由2个输入神经元(+1个偏差)组成的简单网络,将其连接到1个输出神经元,以教授“和”功能。它基于mnist clissification示例,因此对于任务来说可能过于复杂,但对于我来说,这是关于此类网络的一般结构,所以请不要说“你可以用numpy来做”之类的,这是关于tensorflow NNs的。下面是代码:Python tensorflow中未提供梯度(均方误差),python,tensorflow,neural-network,artificial-intelligence,Python,Tensorflow,Neural Network,Artificial Intelligence,我正试图建立一个由2个输入神经元(+1个偏差)组成的简单网络,将其连接到1个输出神经元,以教授“和”功能。它基于mnist clissification示例,因此对于任务来说可能过于复杂,但对于我来说,这是关于此类网络的一般结构,所以请不要说“你可以用numpy来做”之类的,这是关于tensorflow NNs的。下面是代码: import tensorflow as tf import numpy as np tf.logging.set_verbosity(tf.logging.INFO)
import tensorflow as tf
import numpy as np
tf.logging.set_verbosity(tf.logging.INFO)
def model_fn(features, labels, mode):
input_layer = tf.reshape(features["x"], [-1, 2])
output_layer = tf.layers.dense(inputs=input_layer, units=1, activation=tf.nn.relu, name="output_layer")
if mode == tf.estimator.ModeKeys.PREDICT:
return tf.estimator.EstimatorSpec(mode=mode, predictions=output_layer)
loss = tf.losses.mean_squared_error(labels=labels, predictions=output_layer)
if mode == tf.estimator.ModeKeys.TRAIN:
optimizer = tf.train.GradientDescentOptimizer(learning_rate=0.001)
train_op = optimizer.minimize(loss=loss, global_step=tf.train.get_global_step())
return tf.estimator.EstimatorSpec(mode=mode, loss=loss, train_op=train_op)
eval_metrics_ops = {"accuracy": tf.metrics.accuracy(labels=labels, predictions=output_layer)}
return tf.estimator.EstimatorSpec(mode=mode, predictions=output_layer, loss=loss)
def main(unused_arg):
train_data = np.asarray(np.reshape([[0,0],[0,1],[1,0],[1,1]],[4,2]))
train_labels = np.asarray(np.reshape([0,0,0,1],[4,1]))
eval_data = train_data
eval_labels = train_labels
classifier = tf.estimator.Estimator(model_fn=model_fn, model_dir="/tmp/NN_AND")
tensors_to_log = {"The output:": "output_layer"}
logging_hook = tf.train.LoggingTensorHook(tensors=tensors_to_log,every_n_iter=10)
train_input_fn = tf.estimator.inputs.numpy_input_fn(x={"x":train_data}, y=train_labels, batch_size=10, num_epochs=None, shuffle=True)
classifier.train(input_fn=train_input_fn, steps=2000, hooks=[logging_hook])
eval_input_fn = tf.estimator.inputs.numpy_input_fn(x={"x":eval_data}, y=eval_labels, batch_size=1, shuffle=False)
eval_results = classifier.evaluate(input_fn=eval_input_fn)
print(eval_results)
if __name__ == "__main__":
tf.app.run()
我对您的代码做了一些细微的修改,使您能够学习
和
功能:
1) 将您的train_数据
更改为float32表示
train_data = np.asarray(np.reshape([[0,0],[0,1],[1,0],[1,1]],[4,2]), dtype=np.float32)`
2) 从输出层删除relu激活-一般来说,不建议在输出层中使用relu。这可能会导致死角,所有梯度都将等于零,这反过来又不会使任何学习成为可能
output_layer = tf.layers.dense(inputs=input_layer, units=1, activation=None, name="output_layer")
3) 在您的eval\u metrics\u ops
中,确保对结果进行四舍五入,以便您可以实际测量精度:
eval_metrics_ops = {"accuracy": tf.metrics.accuracy(labels=labels, predictions=tf.round(output_layer))}
4) 不要将您定义的eval\u metrics\u ops
参数添加到估计器:
return tf.estimator.EstimatorSpec(mode=mode, predictions=output_layer, loss=loss, eval_metric_ops=eval_metrics_ops)
此外,要记录最后一层输出,应使用:
tensors_to_log = {"The output:": "output_layer/BiasAdd:0"}
我对您的代码做了一些细微的修改,使您能够学习
和
功能:
1) 将您的train_数据
更改为float32表示
train_data = np.asarray(np.reshape([[0,0],[0,1],[1,0],[1,1]],[4,2]), dtype=np.float32)`
2) 从输出层删除relu激活-一般来说,不建议在输出层中使用relu。这可能会导致死角,所有梯度都将等于零,这反过来又不会使任何学习成为可能
output_layer = tf.layers.dense(inputs=input_layer, units=1, activation=None, name="output_layer")
3) 在您的eval\u metrics\u ops
中,确保对结果进行四舍五入,以便您可以实际测量精度:
eval_metrics_ops = {"accuracy": tf.metrics.accuracy(labels=labels, predictions=tf.round(output_layer))}
4) 不要将您定义的eval\u metrics\u ops
参数添加到估计器:
return tf.estimator.EstimatorSpec(mode=mode, predictions=output_layer, loss=loss, eval_metric_ops=eval_metrics_ops)
此外,要记录最后一层输出,应使用:
tensors_to_log = {"The output:": "output_layer/BiasAdd:0"}
确切的问题是什么?你说的“没有梯度”是什么意思?梯度==0?确切的问题是什么?你说的“没有梯度”是什么意思?梯度==0?非常感谢,先生,非常感谢您的回答!我已经对它进行了升级,尽管由于网站系统的原因,它还没有公开。但请确保你真的帮助了我:)非常感谢,先生,非常感谢你的回答!我已经对它进行了升级,尽管由于网站系统的原因,它还没有公开。但请确保你真的帮助了我:)