Java 节点间通信

如何使用Dataflow Java SDK处理节点间通信。也就是说，提交到数据流管道的作业的所有者是否对集群维护和调度具有细粒度控制

看起来这是为用户自动管理的，因为数据流使用在KubernetesAPI服务器上注册的容器VM

如果需要影响集群调度的能力，我认为有两种可能性——a）访问原始套接字（如果可用，如何使用？）或

---

b） 为节点间通信注入代码，如Spark中的“Akka”。为此，您会在Transforms或PCollection中开发用户定义的函数，还是根据需要开发？

如问题中所述，数据流是一种完全受管理的服务，因此根本不需要管理集群。因此，没有影响集群调度等的API

如果需要在转换之间进行数据通信，可以查看。这允许您广播PCollection并将其用作DoFn的附加输入

---

如果您能分享一个更具体的用例，我们可以提供更多可用的详细信息。

我不是专家，但AFAIK节点间通信是不可能的，文档中提到了这一点。看看GoogleDataProc。