Apache kafka 达斯克工人写给卡夫卡的信

我想知道怎样才能从达斯克写信给卡夫卡。我们不得不使用合流图书馆。Dask试图对生产者进行pickle处理，以将其发送给工作者，但由于延迟实例化，它失败并出现错误。我能够想出下面的解决方案，但它似乎是一个黑客

def get_生产者（配置）：
w=获得工人（）
如果hasattr（w，“生产者”）：
返回w.producer
进口合流卡夫卡作为ck
w、 producer=getattr（ck，'producer'）（配置）
返回w.producer

提交时，

hasattr

工作区将在dask工作区上创建生产者。该代码还将生产者与工作者联系起来，以保持连接对流媒体开放

---

我希望比我更像Dask专家的人能给我一些有用的建议。

你所做的有点像黑客，是的，但也很好

---

您还可以考虑在每个任务中重新创建制作人，然后写入数据，然后关闭该制作者。如果相对于写入数据分区所需的时间而言，创建生产者的时间不会太长，那么这可能是一个不错的解决方案。它的效率稍低，但可能更健壮/安全/成熟。

您会遇到什么错误？我不认为hasattr导致了延迟初始化。如果工人没有，你可能会被解雇