Azure Apache Nifi多处理器到同一关系

如下图所示，我将两个处理器添加到另一个处理器的同一关系中，它将流文件平均分配到两个尾部处理器中。这是预期的行为吗？如果是，那么在什么基础上进行分区

---

将同一关系发送到多个处理器不会对流文件进行分区，而是将所有流文件发送到两个关系。当您希望将相同的数据发送到多个目的地（例如HDFS和Kafka）时，通常会执行此操作

---

如果要提高PutAzureBlobStorage的并发性，则需要处理器的一个实例，并在处理器的“计划”选项卡中增加并发任务。

将同一关系发送到多个处理器不会对流文件进行分区，而是将所有流文件发送到这两个关系。当您希望将相同的数据发送到多个目的地（例如HDFS和Kafka）时，通常会执行此操作

---

如果要提高PutAzureBlobStorage的并发性，则需要处理器的一个实例，并在处理器的“计划”选项卡中增加并发任务。

如果要在NiFi集群中分配负载，有不同的方法：

• 使用Kafka跨集群发送消息（任务）
• 使用Site-2-Site
• 使用侦听传入连接（HandleHttpRequest、ListenSyslog和Listenudp）的处理器和负载平衡器推送数据

更多信息：

---

如果要在NiFi集群中分配负载，有不同的方法：

• 使用Kafka跨集群发送消息（任务）
• 使用Site-2-Site
• 使用侦听传入连接（HandleHttpRequest、ListenSyslog和Listenudp）的处理器和负载平衡器推送数据

更多信息：

---

你好，布莱恩，谢谢你的回复。在实际场景中，ConsumeAzureEventHub和PutAzureBlobStorage之间还有其他处理器。有时，来自eventhub的流量变得如此之高，中间处理器的队列变得满。我已经按照建议增加了并发性，也增加了队列大小，但仍然面临同样的问题。有没有办法在Nifi中使用分区或自动缩放？或者我们可以使用

DistributeLoad

处理器。那也行，对吧@布莱恩：没错。这就是我要找的。同时，为了同样的目的，我创建了自己的处理器Partitioner。我现在要用DistributeLoad。非常感谢Bryan。如果您想在集群中分配负载，有几种使用远程进程组或kafka的技术，请看：嗨，Bryan，谢谢您的回复。在实际场景中，ConsumeAzureEventHub和PutAzureBlobStorage之间还有其他处理器。有时，来自eventhub的流量变得如此之高，中间处理器的队列变得满。我已经按照建议增加了并发性，也增加了队列大小，但仍然面临同样的问题。有没有办法在Nifi中使用分区或自动缩放？或者我们可以使用

DistributeLoad

处理器。那也行，对吧@布莱恩：没错。这就是我要找的。同时，为了同样的目的，我创建了自己的处理器Partitioner。我现在要用DistributeLoad。非常感谢Bryan。如果您想在集群中分配负载，有几种使用远程进程组或kafka的技术，请参阅：