Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/google-cloud-platform/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache kafka 分区的重新分配被无限地卡住了;“仍在进行中”;状态_Apache Kafka_Apache Zookeeper - Fatal编程技术网

Apache kafka 分区的重新分配被无限地卡住了;“仍在进行中”;状态

Apache kafka 分区的重新分配被无限地卡住了;“仍在进行中”;状态,apache-kafka,apache-zookeeper,Apache Kafka,Apache Zookeeper,我们有6个节点的卡夫卡集群。在6台机器中,其中3台同时拥有卡夫卡和zookeeper,其余3台只有卡夫卡。 最近,我们又添加了一个卡夫卡节点。将分区重新分配给所有节点(包括较新的节点)时,我们执行了以下命令: /opt/kafka/bin/kafka-reassign-partitions.sh --reassignment-json-file new_assignment_details.json --execute --zookeeper localhost:2181 但是,当我们使用下面

我们有6个节点的卡夫卡集群。在6台机器中,其中3台同时拥有卡夫卡和zookeeper,其余3台只有卡夫卡。 最近,我们又添加了一个卡夫卡节点。将分区重新分配给所有节点(包括较新的节点)时,我们执行了以下命令:

/opt/kafka/bin/kafka-reassign-partitions.sh --reassignment-json-file new_assignment_details.json --execute --zookeeper localhost:2181
但是,当我们使用下面的命令验证状态时

/opt/kafka/bin/kafka-reassign-partitions.sh --reassignment-json-file new_assignment_details.json --verify --zookeeper localhost:2181
我们得到下面的输出。一些分区正在重新分配,但仍在进行中

/opt/kafka/bin/kafka-reassign-partitions.sh --reassignment-json-file new_assignment_details.json --verify --zookeeper localhost:2181 | grep 'progress'
Reassignment of partition [topic-name,854] is still in progress
Reassignment of partition [topic-name,674] is still in progress
Reassignment of partition [topic-name,944] is still in progress
Reassignment of partition [topic-name,404] is still in progress
Reassignment of partition [topic-name,314] is still in progress
Reassignment of partition [topic-name,853] is still in progress
Reassignment of partition [prom-metrics,403] is still in progress
Reassignment of partition [prom-metrics,134] is still in progress
没有办法:

  • 取消正在进行的分区重新分配
  • 回滚也是不可能的。(当我们尝试这样做时,它会说,“有一个现有的任务正在运行。”
  • 卡夫卡版本:0.10.1.1

    平台:Amazon Linux 1 x86_64 GNU/Linux


    有人能帮我一下吗?

    您可以通过删除zk节点:delete/admin/reassign\u partitions来取消正在进行的分区重新分配。 然后,您可以使用另一个json文件回滚或重新分配