Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/tensorflow/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Tensorflow 如何使用StreamingDataFeeder作为contrib.learn.Estimator.fit()';什么是输入?_Tensorflow_Skflow - Fatal编程技术网

Tensorflow 如何使用StreamingDataFeeder作为contrib.learn.Estimator.fit()';什么是输入?

Tensorflow 如何使用StreamingDataFeeder作为contrib.learn.Estimator.fit()';什么是输入?,tensorflow,skflow,Tensorflow,Skflow,我最近开始使用tensorflow.contrib.learn(skflow)库,并且非常喜欢它。但是,我在使用估计器时遇到了一个问题,fit函数使用 (X、Y和batch\u size)-此方法的问题在于它不支持指定历元数和允许任意数据源的规定 input\u fn-此外,通过设置年代,我可以更灵活地选择培训来源(在我的例子中,培训来源直接来自数据库) 现在我意识到我可以创建读取文件的input_fn,但是,由于我对处理文件不感兴趣,以下函数对我没有用处- tf.contrib.learn.

我最近开始使用
tensorflow.contrib.learn
(skflow)库,并且非常喜欢它。但是,我在使用
估计器时遇到了一个问题,fit函数使用

  • X
    Y
    batch\u size
    )-此方法的问题在于它不支持指定历元数和允许任意数据源的规定
  • input\u fn
    -此外,通过设置年代,我可以更灵活地选择培训来源(在我的例子中,培训来源直接来自数据库) 现在我意识到我可以创建读取文件的input_fn,但是,由于我对处理文件不感兴趣,以下函数对我没有用处-

    • tf.contrib.learn.read\u batch\u示例
    • tf.contrib.learn.read\u batch\u功能
    • tf.contrib.learn.read\u batch\u record\u功能

    理想情况下,我希望使用作为输入。有什么办法可以做到这一点吗?

    用于提供迭代器作为
    x
    /
    y
    ,以
    拟合
    /
    预测
    /
    评估
    估计器的

    例如:

    x = (np.array([i]) for i in xrange(10**10)) # use range for python >=3.0
    y = (np.array([i + 1]) for i in xrange(10**10))
    lr = tf.contrib.learn.LinearRegressor(
        feature_columns=[tf.contrib.layers.real_valued_column('')])
    
    # only consumes 1000*10 values from iterators.
    lr.fit(x, y, steps=1000, batch_size=10)
    

    如果要使用
    input\u fn
    输入数据,则需要使用图形操作来读取/处理数据。例如,您可以创建一个C++操作,它将生成您的数据(它可以是监听端口或从数据库OP读取),并转换成<代码>张量< /代码>。这主要适用于从文件中读取数据,但也可以实现其他读取器。

    StreamingDataFeeder
    用于将迭代器作为
    x
    /
    y
    提供给
    估计器的
    拟合
    /
    预测
    /
    评估

    例如:

    x = (np.array([i]) for i in xrange(10**10)) # use range for python >=3.0
    y = (np.array([i + 1]) for i in xrange(10**10))
    lr = tf.contrib.learn.LinearRegressor(
        feature_columns=[tf.contrib.layers.real_valued_column('')])
    
    # only consumes 1000*10 values from iterators.
    lr.fit(x, y, steps=1000, batch_size=10)
    

    如果要使用
    input\u fn
    输入数据,则需要使用图形操作来读取/处理数据。例如,您可以创建一个C++操作,它将生成您的数据(它可以是监听端口或从数据库OP读取),并转换成<代码>张量< /代码>。这主要有助于从文件中读取数据,但也可以实现其他阅读器。

    本次讨论正在进行中,本次讨论正在进行中,感谢您的回复。我想实现我自己的阅读器。但我不知道从哪里开始。你能给我指一下正确的方向吗?这是
    TFRecordReader
    的实现-也就是说,你需要实现一个从
    ReaderBase
    继承的类和一个可以在输入函数中调用的操作。谢谢你的回复。我想实现我自己的阅读器。但我不知道从哪里开始。请给我指出正确的方向好吗?这是
    TFRecordReader
    实现-即,您需要实现一个从
    ReaderBase
    继承的类和一个可以在输入函数中调用的Op。