Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/svg/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Dask 达斯克+;luigi:raise ValueError(';url类型不理解:%s';%urlpath)_Dask_Luigi - Fatal编程技术网

Dask 达斯克+;luigi:raise ValueError(';url类型不理解:%s';%urlpath)

Dask 达斯克+;luigi:raise ValueError(';url类型不理解:%s';%urlpath),dask,luigi,Dask,Luigi,我想把达斯克和路易吉合并, 虽然业务逻辑本身工作正常,但当我运行Luigi任务时,代码开始抛出错误: raise ValueError('url type not understood: %s' % urlpath) ValueError: url type not understood: <_io.TextIOWrapper name='../data/2017_04_11_oldsource_geocoded.csv-luigi-tmp-1647603946' mode='wb' en

我想把达斯克和路易吉合并, 虽然业务逻辑本身工作正常,但当我运行Luigi任务时,代码开始抛出错误:

raise ValueError('url type not understood: %s' % urlpath)
ValueError: url type not understood: <_io.TextIOWrapper name='../data/2017_04_11_oldsource_geocoded.csv-luigi-tmp-1647603946' mode='wb' encoding='UTF-8'>
问题似乎出在输出部分


据我所知,问题在于dask不喜欢将Luigi文件对象作为字符串的替代品。

dask定义了
DataFrame.to_csv(filename,**kwargs)
,而您发送给它的是一个文件而不是一个文件名。将最后三行替换为:

S.to_csv(self.output().path)

Dask定义了
DataFrame.to_csv(文件名,**kwargs)
,您向它发送的是一个文件而不是一个文件名。将最后三行替换为:

S.to_csv(self.output().path)

如果你能给出一个更好的答案,我怀疑你会得到一个更好的答案