Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/288.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 是否可以在dask中批处理csv的行?_Python_Pandas_Dask - Fatal编程技术网

Python 是否可以在dask中批处理csv的行?

Python 是否可以在dask中批处理csv的行?,python,pandas,dask,Python,Pandas,Dask,我正在尝试批处理来自dask的csv行: 这个任务可以用dask完成吗 batch_size=1000#1000行 批次=[] 计数=0 df=dd.read\u csv(路径,标题=0) df_dask['output']=df.apply(lambda x:batch_row_csv( x) ,轴=1,元=对象)。计算() def批次_行_csv(行): 全局批处理 全局计数 批处理追加(行) 如果长度(批次)

我正在尝试批处理来自dask的csv行:

这个任务可以用dask完成吗

batch_size=1000#1000行
批次=[]
计数=0
df=dd.read\u csv(路径,标题=0)
df_dask['output']=df.apply(lambda x:batch_row_csv(
x) ,轴=1,元=对象)。计算()
def批次_行_csv(行):
全局批处理
全局计数
批处理追加(行)
如果长度(批次)<批次尺寸:
返回
json.dump(批处理)//保存批处理
计数=计数+1
批次=[]
返回
全局变量和多处理是否存在问题?在Dask的良好实践中,他们建议不要使用全局变量。。。另一种选择是什么


使用dask可以完成此任务吗?

这是否回答了您的问题?不建议使用dask中的全局变量