Apache nifi 在Nifi集群的3个节点中,1个节点重新启动,然后文件被复制

Apache nifi 在Nifi集群的3个节点中,1个节点重新启动,然后文件被复制,apache-nifi,apache-zookeeper,Apache Nifi,Apache Zookeeper,假设集群中有3个节点 节点A 节点B 节点C 在state management.xml文件中,我有以下配置 <cluster-provider> <id>zk-provider</id> <class>org.apache.nifi.controller.state.providers.zookeeper.ZooKeeperStateProvider</class> <proper

假设集群中有3个节点

  • 节点A
  • 节点B
  • 节点C
  • state management.xml文件中,我有以下配置

    <cluster-provider>
            <id>zk-provider</id>
            <class>org.apache.nifi.controller.state.providers.zookeeper.ZooKeeperStateProvider</class>
            <property name="Connect String">192.168.0.10:2181,192.168.0.11:2181,192.168.0.12:2181</property>
            <property name="Root Node">/nifi</property>
            <property name="Session Timeout">10 seconds</property>
            <property name="Access Control">Open</property>
    </cluster-provider>
    
    tickTime=2000
    initLimit=10
    syncLimit=5
    dataDir=./zookeeper
    clientPort=2181
    autopurge.snapRetainCount=30
    autopurge.purgeInterval=2
    quorumListenOnAllIPs=true
    admin.serverPort=2515
    
    server.1=192.168.0.10:2666:3666
    server.1=192.168.0.11:2666:3666
    server.1=192.168.0.12:2666:3666
    
    所有节点都已启动并正在运行。如果我们正在处理10000个文件,并且在处理过程中重新启动集群中的任意节点,则会导致重复的文件处理。最后我们可以看到超过10000个文件被处理。在数量上,我可以说处理了12000个文件

    生成流文件的处理器配置

    我怀疑某个地方的状态没有得到适当的更新或管理。如果一个节点处理了几个文件,那么另一个节点不应该处理这些文件。可能是我缺少一些配置。有人能帮我把这类东西弄出来吗


    提前感谢..

    您能展示一下使flowfileHi@maximeG的处理器配置吗?谢谢您的快速响应。我已经用2个屏幕截图更新了我的问题,其中有处理器配置。你能展示一下你的处理器配置吗?flowfileHi@maximeG,谢谢你的快速回复。我用2个屏幕截图更新了我的问题,其中有处理器配置。