Apache kafka 如何使用librdkafka设置Kafka消息的最大大小

我正在尝试使用卡夫卡发送~10Mb的消息。我知道它的默认大小是1Mb，但这是一个硬限制吗？librdkafka是否支持>10Mb？我如何设置它？

您需要配置主题max.message.bytes see，并使用message.max.bytes see配置生产者。

---

请为协议开销留出至少500字节的额外空间。

您需要配置主题max.message.bytes请参阅，并使用message.max.bytes请配置生产者。

---

请为协议开销留出至少500字节的额外空间。

嘿，谢谢你的回复。我尝试过这样做，但我再也没有收到消息太大的错误。但现在它似乎挂了。所以我所做的是通过你回复中的脚本修改了先前存在的主题，为了安全起见，我还创建了一个全新的主题。这两个都使用15Mb的大小，以获得额外的安全性。现在，当我修改代码以调用最大更改时，它不再出错，但1Mb以上的所有内容都将停止。制作人在自己的线程上运行，所以我仍然可以做一些事情并尝试发送更多消息。但是没有人经过一点侦察显示我可以成功地发送9998999字节9.9 Mb，而且速度也相当快。但除此之外的任何内容都会出现在下面的注释之后，该注释只是挂起，不再生成@EdenHillReproduct，使用debug=msg，在生成程序上配置了协议，然后在此处打开一个问题：确保您使用的是librdkafka v1.3.0或v1.4.0-RC4Hey@Edenhill的最新版本，我不熟悉你的调试内容，所以当我运行它时，我收到了一堆消息：当前消息集中没有更多的空间，但当我用谷歌搜索它时，我得到的只是对你的github的引用。。。所以我想，也许我用的不是最新的。我使用apt从repo安装，尽管您的源代码从未直接编译过它。做得好，链接，修复了所有问题。显然，我没有使用最新的。而且你的名字经常出现，所以我认为你就是“那个家伙”。您的代码很容易阅读，文档也是最好的。非常感谢。很高兴听到情况已经解决，谢谢你的客气话：嘿，谢谢你的回复。我尝试过这样做，但我再也没有收到消息太大的错误。但现在它似乎挂了。所以我所做的是通过你回复中的脚本修改了先前存在的主题，为了安全起见，我还创建了一个全新的主题。这两个都使用15Mb的大小，以获得额外的安全性。现在，当我修改代码以调用最大更改时，它不再出错，但1Mb以上的所有内容都将停止。制作人在自己的线程上运行，所以我仍然可以做一些事情并尝试发送更多消息。但是没有人经过一点侦察显示我可以成功地发送9998999字节9.9 Mb，而且速度也相当快。但除此之外的任何内容都会出现在下面的注释之后，该注释只是挂起，不再生成@EdenHillReproduct，使用debug=msg，在生成程序上配置了协议，然后在此处打开一个问题：确保您使用的是librdkafka v1.3.0或v1.4.0-RC4Hey@Edenhill的最新版本，我不熟悉你的调试内容，所以当我运行它时，我收到了一堆消息：当前消息集中没有更多的空间，但当我用谷歌搜索它时，我得到的只是对你的github的引用。。。所以我想，也许我用的不是最新的。我使用apt从repo安装，尽管您的源代码从未直接编译过它。做得好，链接，修复了所有问题。显然，我没有使用最新的。而且你的名字经常出现，所以我认为你就是“那个家伙”。您的代码很容易阅读，文档也是最好的。非常感谢。很高兴听到情况得到解决，谢谢你的好话：