Python 是否可以在dask中批处理csv的行?
我正在尝试批处理来自dask的csv行: 这个任务可以用dask完成吗Python 是否可以在dask中批处理csv的行?,python,pandas,dask,Python,Pandas,Dask,我正在尝试批处理来自dask的csv行: 这个任务可以用dask完成吗 batch_size=1000#1000行 批次=[] 计数=0 df=dd.read\u csv(路径,标题=0) df_dask['output']=df.apply(lambda x:batch_row_csv( x) ,轴=1,元=对象)。计算() def批次_行_csv(行): 全局批处理 全局计数 批处理追加(行) 如果长度(批次)
batch_size=1000#1000行
批次=[]
计数=0
df=dd.read\u csv(路径,标题=0)
df_dask['output']=df.apply(lambda x:batch_row_csv(
x) ,轴=1,元=对象)。计算()
def批次_行_csv(行):
全局批处理
全局计数
批处理追加(行)
如果长度(批次)<批次尺寸:
返回
json.dump(批处理)//保存批处理
计数=计数+1
批次=[]
返回
全局变量和多处理是否存在问题?在Dask的良好实践中,他们建议不要使用全局变量。。。另一种选择是什么
使用dask可以完成此任务吗?这是否回答了您的问题?不建议使用dask中的全局变量