Dask 达斯克+;luigi:raise ValueError(';url类型不理解:%s';%urlpath)
我想把达斯克和路易吉合并, 虽然业务逻辑本身工作正常,但当我运行Luigi任务时,代码开始抛出错误:Dask 达斯克+;luigi:raise ValueError(';url类型不理解:%s';%urlpath),dask,luigi,Dask,Luigi,我想把达斯克和路易吉合并, 虽然业务逻辑本身工作正常,但当我运行Luigi任务时,代码开始抛出错误: raise ValueError('url type not understood: %s' % urlpath) ValueError: url type not understood: <_io.TextIOWrapper name='../data/2017_04_11_oldsource_geocoded.csv-luigi-tmp-1647603946' mode='wb' en
raise ValueError('url type not understood: %s' % urlpath)
ValueError: url type not understood: <_io.TextIOWrapper name='../data/2017_04_11_oldsource_geocoded.csv-luigi-tmp-1647603946' mode='wb' encoding='UTF-8'>
问题似乎出在输出部分
据我所知,问题在于dask不喜欢将Luigi文件对象作为字符串的替代品。dask定义了
DataFrame.to_csv(filename,**kwargs)
,而您发送给它的是一个文件而不是一个文件名。将最后三行替换为:
S.to_csv(self.output().path)
Dask定义了
DataFrame.to_csv(文件名,**kwargs)
,您向它发送的是一个文件而不是一个文件名。将最后三行替换为:
S.to_csv(self.output().path)
如果你能给出一个更好的答案,我怀疑你会得到一个更好的答案