Tensorflow 如何使用StreamingDataFeeder作为contrib.learn.Estimator.fit()';什么是输入?
我最近开始使用Tensorflow 如何使用StreamingDataFeeder作为contrib.learn.Estimator.fit()';什么是输入?,tensorflow,skflow,Tensorflow,Skflow,我最近开始使用tensorflow.contrib.learn(skflow)库,并且非常喜欢它。但是,我在使用估计器时遇到了一个问题,fit函数使用 (X、Y和batch\u size)-此方法的问题在于它不支持指定历元数和允许任意数据源的规定 input\u fn-此外,通过设置年代,我可以更灵活地选择培训来源(在我的例子中,培训来源直接来自数据库) 现在我意识到我可以创建读取文件的input_fn,但是,由于我对处理文件不感兴趣,以下函数对我没有用处- tf.contrib.learn.
tensorflow.contrib.learn
(skflow)库,并且非常喜欢它。但是,我在使用估计器时遇到了一个问题,fit函数使用
(X
、Y
和batch\u size
)-此方法的问题在于它不支持指定历元数和允许任意数据源的规定
input\u fn
-此外,通过设置年代,我可以更灵活地选择培训来源(在我的例子中,培训来源直接来自数据库)李>
现在我意识到我可以创建读取文件的input_fn,但是,由于我对处理文件不感兴趣,以下函数对我没有用处-
tf.contrib.learn.read\u batch\u示例
tf.contrib.learn.read\u batch\u功能
tf.contrib.learn.read\u batch\u record\u功能
理想情况下,我希望使用作为输入。有什么办法可以做到这一点吗?
用于提供迭代器作为x
/y
,以拟合/预测/评估估计器的
例如:
x = (np.array([i]) for i in xrange(10**10)) # use range for python >=3.0
y = (np.array([i + 1]) for i in xrange(10**10))
lr = tf.contrib.learn.LinearRegressor(
feature_columns=[tf.contrib.layers.real_valued_column('')])
# only consumes 1000*10 values from iterators.
lr.fit(x, y, steps=1000, batch_size=10)
如果要使用input\u fn
输入数据,则需要使用图形操作来读取/处理数据。例如,您可以创建一个C++操作,它将生成您的数据(它可以是监听端口或从数据库OP读取),并转换成<代码>张量< /代码>。这主要适用于从文件中读取数据,但也可以实现其他读取器。StreamingDataFeeder
用于将迭代器作为x
/y
提供给估计器的拟合
/预测
/评估
例如:
x = (np.array([i]) for i in xrange(10**10)) # use range for python >=3.0
y = (np.array([i + 1]) for i in xrange(10**10))
lr = tf.contrib.learn.LinearRegressor(
feature_columns=[tf.contrib.layers.real_valued_column('')])
# only consumes 1000*10 values from iterators.
lr.fit(x, y, steps=1000, batch_size=10)
如果要使用input\u fn
输入数据,则需要使用图形操作来读取/处理数据。例如,您可以创建一个C++操作,它将生成您的数据(它可以是监听端口或从数据库OP读取),并转换成<代码>张量< /代码>。这主要有助于从文件中读取数据,但也可以实现其他阅读器。本次讨论正在进行中,本次讨论正在进行中,感谢您的回复。我想实现我自己的阅读器。但我不知道从哪里开始。你能给我指一下正确的方向吗?这是TFRecordReader
的实现-也就是说,你需要实现一个从ReaderBase
继承的类和一个可以在输入函数中调用的操作。谢谢你的回复。我想实现我自己的阅读器。但我不知道从哪里开始。请给我指出正确的方向好吗?这是TFRecordReader
实现-即,您需要实现一个从ReaderBase
继承的类和一个可以在输入函数中调用的Op。