Dask 如何在已解析的csv块上应用多个条件以获得多个输出？

新到达斯克，任何帮助都将不胜感激！ 基本上，我从540个csv文件中读取csv文件（从RAM中读取）&每次读取csv时，我应用2个过滤条件来获取2个输出文件，尽管dask正在完成它的工作，但对于同一块，它花费的时间是原来的两倍。我如何才能为此编写有效的代码

pricing_data = dd.read_csv(os.path.join('Selection Tool', 'prc_data','original','*.csv'),dtype={'BENCHMARK YIELD': 'object',
       'BID YIELD': 'object','SPREAD': 'object'},parse_dates=['PRICING DATE'],assume_missing=True,low_memory=False)

pricing_data['Running_Month_ISIN'] = pricing_data['PRICING DATE'].apply(lambda x: x.strftime('%m%Y'), meta=('PRICING DATE', 'object')) + pricing_data['ISIN']
pricing_data['ISIN_PRICING_DATE'] = pricing_data['ISIN'] + pricing_data['PRICING DATE'].dt.strftime('%Y%m%d').astype(str)  # master pricing data 
pricing_data['PRICING_DATE_ISIN'] = pricing_data['PRICING DATE'].dt.strftime('%Y%m%d').astype(str) + pricing_data['ISIN'] 
prc_output2 = pricing_data[pricing_data.PRICING_DATE_ISIN.isin(matching_list_2)].compute()
prc_output1 = pricing_data[pricing_data.Running_Month_ISIN.isin(matching_list_1)].compute()

发件人：

在单个dask.Compute（）调用中使用共享计算计算相关结果

这允许Dask只计算一次计算的共享部分（如上面的dd.read_csv调用），而不是每次计算调用一次

因此，在你的情况下：

dask_prc_output2 = pricing_data[pricing_data.PRICING_DATE_ISIN.isin(matching_list_2)]
dask_prc_output1 = pricing_data[pricing_data.Running_Month_ISIN.isin(matching_list_1)]
prc_output1, prc_output2 = dask.compute(dask_prc_output1, dask_prc_output2)