Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/295.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python Tensorflow分区csv输入\u fn_Python_Csv_Tensorflow_Dask - Fatal编程技术网

Python Tensorflow分区csv输入\u fn

Python Tensorflow分区csv输入\u fn,python,csv,tensorflow,dask,Python,Csv,Tensorflow,Dask,总而言之,问题在于,我将用于训练的数据分成了许多较小的csv(feat-01.csv,feat-02.csv,等等)。我试图将这些信息输入到估计器,更确切地说,是通过某种输入来实现的 我的理想解决方案是使用某种输入函数,它接受一个dask.Dataframe(这几乎就是我到目前为止生成数据的方式)并将其批处理给估计器。我尝试了以下几点: import tensorflow as tf import dask.dataframe as dd ddf = dd.read_csv('feat-*.c

总而言之,问题在于,我将用于训练的数据分成了许多较小的csv(
feat-01.csv
feat-02.csv
,等等)。我试图将这些信息输入到
估计器
,更确切地说,是通过某种
输入来实现的

我的理想解决方案是使用某种输入函数,它接受一个
dask.Dataframe
(这几乎就是我到目前为止生成数据的方式)并将其批处理给估计器。我尝试了以下几点:

import tensorflow as tf
import dask.dataframe as dd

ddf = dd.read_csv('feat-*.csv')
tf.contrib.learn.extract_dask_data(ddf)
但是,这在以下情况下失败:

TypeError: Expected `meta` to specify type DataFrame, got type Index
由于缺乏直接使用dask的文档,我有点放弃了这个想法,尽管一些文档字符串似乎指出这应该是可能的。我正在考虑制作一个
input\u fn
,直接从csv文件中输入,但是我也没有找到关于这个用例的具体示例


身为TF noob的一员,我想知道最干净的方法是什么。

更新:在尝试通过
dask
实现它之后,我放弃了这个想法,既因为沮丧,也因为开销可能有点大

我使用tf的队列实现了一个输入函数,结果非常好。这是。虽然简单地将数据帧传递给估计器比我想象的要复杂一些,但在tensorflow中完成所有工作似乎是最优雅的方法

最终更新:
在我发布这个问题后不久,TensorlFow1.4发布了,数据集API得到了官方的支持,并有了更好的文档记录。如果还有人对这个问题感兴趣,我建议您从TF文档中查看。

更新:在尝试通过
dask
实现它之后,我放弃了这个想法,既因为沮丧,也因为开销可能有点大

我使用tf的队列实现了一个输入函数,结果非常好。这是。虽然简单地将数据帧传递给估计器比我想象的要复杂一些,但在tensorflow中完成所有工作似乎是最优雅的方法

最终更新:
在我发布这个问题后不久,TensorlFow1.4发布了,数据集API得到了官方的支持,并有了更好的文档记录。如果还有人对这个问题感兴趣,我建议您查看TF文档。

在“feat”和“*”之间的连字符将在Python中抛出一个错误。下划线将不起作用。是否已尝试重命名要测试的文件?您甚至可以删除连字符并让通配符处理连字符,尽管我不能我不知道(也不能测试)这是否是行为。@新手这里不是这样,数据框的构建是正常的。另外,我非常确定在Python中打开文件时,连字符不是问题。“feat”和“*”之间的连字符在Python中会抛出错误。下划线将不起作用。是否已尝试重命名要测试的文件?您甚至可以删除连字符并让通配符处理连字符,尽管我不能我不知道(也不能测试)这是否是行为。@新手这里不是这样,数据框的构建是正常的。另外,我非常确定在Python中打开文件时,连字符不是问题。