Python 开放式人工智能的策略梯度方法
我是强化学习的初学者,正在尝试使用策略梯度方法来解决使用Tensorflow的开放式AI健身房CartPole任务。然而,我的代码似乎运行得非常慢;第一集以可接受的速度播放,而从第二集开始播放速度非常慢。为什么会这样,我如何解决这个问题 我的代码:Python 开放式人工智能的策略梯度方法,python,machine-learning,tensorflow,reinforcement-learning,openai-gym,Python,Machine Learning,Tensorflow,Reinforcement Learning,Openai Gym,我是强化学习的初学者,正在尝试使用策略梯度方法来解决使用Tensorflow的开放式AI健身房CartPole任务。然而,我的代码似乎运行得非常慢;第一集以可接受的速度播放,而从第二集开始播放速度非常慢。为什么会这样,我如何解决这个问题 我的代码: import tensorflow as tf import numpy as np import gym env = gym.make('CartPole-v0') class Policy: def __init__(self):
import tensorflow as tf
import numpy as np
import gym
env = gym.make('CartPole-v0')
class Policy:
def __init__(self):
self.input_layer_fake = tf.placeholder(tf.float32, [4,1])
self.input_layer = tf.reshape(self.input_layer_fake, [1,4])
self.dense1 = tf.layers.dense(inputs = self.input_layer, units = 4,
activation = tf.nn.relu)
self.logits = tf.layers.dense(inputs = self.dense1, units = 2,
activation = tf.nn.relu)
def predict(self, inputObservation):
sess = tf.InteractiveSession()
tf.global_variables_initializer().run()
x = tf.reshape(inputObservation, [4,1]).eval()
return (sess.run(self.logits, feed_dict = {self.input_layer_fake: x}))
def train(self, features_array, labels_array):
for i in range(np.shape(features_array)[0]):
print("train")
print(i)
sess1 = tf.InteractiveSession()
tf.global_variables_initializer().run()
self.cross_entropy = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels = labels_array[i], logits = self.logits))
self.train_step = tf.train.GradientDescentOptimizer(0.5).minimize(self.cross_entropy)
y = tf.reshape(features_array[i], [4,1]).eval()
sess1.run(self.train_step, feed_dict={self.input_layer_fake:y})
agent = Policy()
train_array = []
features_array = []
labels_array = []
main_sess = tf.InteractiveSession()
tf.global_variables_initializer().run()
for i_episode in range(100):
observation = env.reset()
for t in range(200):
prevObservation = observation
env.render()
if np.random.uniform(0,1) < 0.2:
action = env.action_space.sample()
else:
action = np.argmax(agent.predict((prevObservation)))
observation, reward, done, info = env.step(action)
add_in = np.random.uniform(0,1)
if add_in < 0.5:
features_array.append(prevObservation)
sarPreprocessed = agent.predict(prevObservation)
sarPreprocessed[0][action] = reward
labels_array.append(sarPreprocessed)
if done:
break
agent.train(features_array, labels_array)
features_array = []
labels_array = []
非常感谢您提供的任何帮助。我已经有一段时间没有考虑实施策略梯度的尝试了,但从我记忆中的情况来看,问题在于我使用了列车中的循环功能 当我循环遍历features_数组中的每个元素时,虽然数组本身的长度不断增长,但是features_数组永远不会设置回[],程序会变慢。与此相反,我应该以“批量”的方式进行培训,同时定期清除阵列中的特征 我在这里实现了一个更简洁的香草策略梯度算法: 下面可以找到一种性能更好的改进算法的实现,该算法仍然基于称为PPO近端策略优化的策略梯度:
您能想出解决方案吗?Thanks@user562下面添加了解释。