Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/4/webpack/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache kafka 关于Kafka中分区和解决方案体系结构的澄清_Apache Kafka - Fatal编程技术网

Apache kafka 关于Kafka中分区和解决方案体系结构的澄清

Apache kafka 关于Kafka中分区和解决方案体系结构的澄清,apache-kafka,Apache Kafka,我是卡夫卡的初学者。我需要在我的项目中实现它 我们可以预期mysql用户表中有大约200k条记录。我必须跟踪用户事件,如用户创建、用户地址更新、用户电子邮件地址更新等 我必须在这里整合卡夫卡制作人。重要的要求是我们必须保持事件的顺序 我需要两个澄清: 基于用户ID(Partition1中的用户ID奇数,Partition1中的用户ID偶数),让一个主题名为Users with multi partitions,这样好吗 2). 拥有更多分区的想法是使解决方案更具可伸缩性 我们可以在接受和开发环境

我是卡夫卡的初学者。我需要在我的项目中实现它

我们可以预期mysql用户表中有大约200k条记录。我必须跟踪用户事件,如用户创建、用户地址更新、用户电子邮件地址更新等

我必须在这里整合卡夫卡制作人。重要的要求是我们必须保持事件的顺序

我需要两个澄清:

  • 基于用户ID(Partition1中的用户ID奇数,Partition1中的用户ID偶数),让一个主题名为Users with multi partitions,这样好吗 2). 拥有更多分区的想法是使解决方案更具可伸缩性
  • 我们可以在接受和开发环境中拥有多少卡夫卡经纪人,使其成为最佳解决方案

  • Kafka可以很容易地在一个分区中保存200k条记录,但数量并不重要,应该跟踪的是Kafka中每个数据库记录的大小。此外,例如,将数据存储在Avro中比文本或JSON占用更少的空间

    我建议两个以上的分区(使用模。例如,使用
    user\u id%10
    ,甚至
    100
    )和至少3个代理具有高度可用的主题,因为分区可以跨代理复制。不过,更多的经纪人将带来更高的吞吐量

    如果您想跟踪mysql的更改,可以使用Debezium Kafka连接器,而不是自己编写任何Kafka代码