Python 大维输入的张量流估计图的尺寸限制
我想我所有的训练数据都存储在图形中，它达到了2gb的极限。如何在estimator API中使用提要？仅供参考，我正在使用tensorflow估计器API来训练我的模型 输入功能：Python 大维输入的张量流估计图的尺寸限制,python,tensorflow,tensorflow-estimator,Python,Tensorflow,Tensorflow Estimator,我想我所有的训练数据都存储在图形中，它达到了2gb的极限。如何在estimator API中使用提要？仅供参考，我正在使用tensorflow估计器API来训练我的模型 输入功能： def input_fn(X_train,epochs,batch_size): ''' input X_train is the scipy sparse matrix of large input dimensions(200000) and number of rows=600000''' X_train_t
def input_fn(X_train,epochs,batch_size):
''' input X_train is the scipy sparse matrix of large input dimensions(200000) and number of rows=600000'''
X_train_tf = tf.data.Dataset.from_tensor_slices((convert_sparse_matrix_to_sparse_tensor(X_train, tf.float32)))
X_train_tf = X_train_tf.apply(tf.data.experimental.shuffle_and_repeat(shuffle_to_batch*batch_size, epochs))
X_train_tf = X_train_tf.batch(batch_size).prefetch(2)
return X_train_tf
def input_fn(X_train,epochs,batch_size):
''' input X_train is the scipy sparse matrix of large input dimensions(200000) and number of rows=600000'''
X_train_tf = tf.data.Dataset.from_tensor_slices((convert_sparse_matrix_to_sparse_tensor(X_train, tf.float32)))
X_train_tf = X_train_tf.apply(tf.data.experimental.shuffle_and_repeat(shuffle_to_batch*batch_size, epochs))
X_train_tf = X_train_tf.batch(batch_size).prefetch(2)
return X_train_tf
我通常反对逐字引用文档，但在中逐字解释了这一点，我无法找到比他们更好的方法： 请注意，[使用
Dataset.from_tensor_slices（）featureslabelsassert）
更新 如果您试图将它与估计器API一起使用，那么您就不走运了。在同一链接页面中，前面引用的部分上方有几个部分： 注意：目前，单次迭代器是唯一一种易于使用估计器的类型
正如您在评论中所指出的，这是因为Estimator API隐藏了
sess.run（）feed\u dict