Dask 在达斯克，在工人之间传递泡菜的最佳做法是什么

我正在尝试使用Dask和Airflow实现一个数据管道。我希望能够向现有DAG添加/删除节点，类似于NodeJS中的中间件。我的想法是对数据帧进行pickle，以便下一步可以在pickle之前对其进行任何转换并将其传递到下一步。但是通过Dask并行处理，下一个节点可以分配给任何工作者。 我正在考虑让调度器和一些工人在本地工作。当我有一个大的工作，我可以解雇一些EC2工人来处理这项工作。

---

有什么建议吗？

您不需要自己显式地序列化数据进行传输。

---

Dask将自动在节点之间移动数据，并根据需要序列化数据

您可以先尝试一下，然后在