Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/277.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 是否可以手动创建Dask数据帧?(即,不通过固定分区计数)_Python_Multiprocessing_Dask - Fatal编程技术网

Python 是否可以手动创建Dask数据帧?(即,不通过固定分区计数)

Python 是否可以手动创建Dask数据帧?(即,不通过固定分区计数),python,multiprocessing,dask,Python,Multiprocessing,Dask,我想定义一种创建数据帧的方式(例如,用于拆分的特定标准)或能够手动创建数据帧的方式 情况: 我有一个Python函数,它遍历大型数据帧的子集。遍历可以限制为与某个键匹配的所有行。所以我需要确保这个密钥不会被分割到多个分区上。 目前,我正在手动拆分输入数据帧(Pandas),并使用多处理分别处理每个分区 我想使用Dask,我也使用它进行其他计算,因为它易于使用。但是我找不到一种方法来手动定义如何分割输入数据帧,以便以后使用map\u分区 或者我在这里走的是一条完全错误的道路,是否应该使用其他Das

我想定义一种创建数据帧的方式(例如,用于拆分的特定标准)或能够手动创建数据帧的方式

情况: 我有一个Python函数,它遍历大型数据帧的子集。遍历可以限制为与某个键匹配的所有行。所以我需要确保这个密钥不会被分割到多个分区上。 目前,我正在手动拆分输入数据帧(Pandas),并使用
多处理
分别处理每个分区

我想使用Dask,我也使用它进行其他计算,因为它易于使用。但是我找不到一种方法来手动定义如何分割输入数据帧,以便以后使用
map\u分区


或者我在这里走的是一条完全错误的道路,是否应该使用其他Dask方法?

您可能会发现使用Dask延迟很有用,然后使用它来创建自定义Dask数据帧