Apache kafka Apache Kafka的分区和复制

我已经阅读了建议网站的全部文档，无法理解硬件要求

1） 我需要澄清一下：对于单个主题，每天收集至少50GB的数据需要多少分区和复制

---

2） 假定0000000000000.log文件最多可以存储100GB的数据。是否可以减少此日志文件的大小以减少I/O的使用

1.检查此链接，它有选择分区的答案：

是，可以更改kafka中日志文件的最大大小。您必须在每个代理上设置下面提到的属性，然后重新启动代理

log.segment.bytes=1073741824

---

上面的行将把日志段大小设置为1GB。

如果数据在一天中被统一接收，这意味着您需要每秒接收600kb左右的数据，这一切都取决于这些600kb上的消息数量（根据Jay Creps的解释，您需要计算每条消息大约22字节的开销）（请记住，您确认来自生产者的消息的方式也非常重要）

---

但是您应该能够使用1个主题和1个分区从生产者那里获得这个吞吐量。

1）这个数据是否整天以统一的方式提交？因为如果这样的话，每天收集50gb的数据并不需要太多。2）你可以使用分区来划分主题的大小。无论哪种方式，我都不确定卡夫卡对该文件大小的影响有多大（我不会根据卡夫卡从磁盘读取信息的方式对其进行成像）。是的，数据将以统一的方式持续一整天。我还通过给出以下命令检查了分区概念。bin/kafka-topics.sh--创建--zookeeper本地主机：2181--复制因子2--分区3--主题名称。听说主题中的分区也用于存储相同的数据。你能帮忙吗？nautilusHi syed jameer，我的回答对你有帮助吗？嗨nautilus正在努力实现它。