Python 是否可以手动创建Dask数据帧?(即,不通过固定分区计数)
我想定义一种创建数据帧的方式(例如,用于拆分的特定标准)或能够手动创建数据帧的方式 情况: 我有一个Python函数,它遍历大型数据帧的子集。遍历可以限制为与某个键匹配的所有行。所以我需要确保这个密钥不会被分割到多个分区上。 目前,我正在手动拆分输入数据帧(Pandas),并使用Python 是否可以手动创建Dask数据帧?(即,不通过固定分区计数),python,multiprocessing,dask,Python,Multiprocessing,Dask,我想定义一种创建数据帧的方式(例如,用于拆分的特定标准)或能够手动创建数据帧的方式 情况: 我有一个Python函数,它遍历大型数据帧的子集。遍历可以限制为与某个键匹配的所有行。所以我需要确保这个密钥不会被分割到多个分区上。 目前,我正在手动拆分输入数据帧(Pandas),并使用多处理分别处理每个分区 我想使用Dask,我也使用它进行其他计算,因为它易于使用。但是我找不到一种方法来手动定义如何分割输入数据帧,以便以后使用map\u分区 或者我在这里走的是一条完全错误的道路,是否应该使用其他Das
多处理
分别处理每个分区
我想使用Dask,我也使用它进行其他计算,因为它易于使用。但是我找不到一种方法来手动定义如何分割输入数据帧,以便以后使用map\u分区
或者我在这里走的是一条完全错误的道路,是否应该使用其他Dask方法?您可能会发现使用Dask延迟很有用,然后使用它来创建自定义Dask数据帧