Apache nifi 在Nifi集群的3个节点中,1个节点重新启动,然后文件被复制
假设集群中有3个节点Apache nifi 在Nifi集群的3个节点中,1个节点重新启动,然后文件被复制,apache-nifi,apache-zookeeper,Apache Nifi,Apache Zookeeper,假设集群中有3个节点 节点A 节点B 节点C 在state management.xml文件中,我有以下配置 <cluster-provider> <id>zk-provider</id> <class>org.apache.nifi.controller.state.providers.zookeeper.ZooKeeperStateProvider</class> <proper
<cluster-provider>
<id>zk-provider</id>
<class>org.apache.nifi.controller.state.providers.zookeeper.ZooKeeperStateProvider</class>
<property name="Connect String">192.168.0.10:2181,192.168.0.11:2181,192.168.0.12:2181</property>
<property name="Root Node">/nifi</property>
<property name="Session Timeout">10 seconds</property>
<property name="Access Control">Open</property>
</cluster-provider>
tickTime=2000
initLimit=10
syncLimit=5
dataDir=./zookeeper
clientPort=2181
autopurge.snapRetainCount=30
autopurge.purgeInterval=2
quorumListenOnAllIPs=true
admin.serverPort=2515
server.1=192.168.0.10:2666:3666
server.1=192.168.0.11:2666:3666
server.1=192.168.0.12:2666:3666
所有节点都已启动并正在运行。如果我们正在处理10000个文件,并且在处理过程中重新启动集群中的任意节点,则会导致重复的文件处理。最后我们可以看到超过10000个文件被处理。在数量上,我可以说处理了12000个文件
生成流文件的处理器配置
我怀疑某个地方的状态没有得到适当的更新或管理。如果一个节点处理了几个文件,那么另一个节点不应该处理这些文件。可能是我缺少一些配置。有人能帮我把这类东西弄出来吗
提前感谢..您能展示一下使flowfileHi@maximeG的处理器配置吗?谢谢您的快速响应。我已经用2个屏幕截图更新了我的问题,其中有处理器配置。你能展示一下你的处理器配置吗?flowfileHi@maximeG,谢谢你的快速回复。我用2个屏幕截图更新了我的问题,其中有处理器配置。