Apache kafka fetch.max.bytes的最大值
我正在调整参数Apache kafka fetch.max.bytes的最大值,apache-kafka,Apache Kafka,我正在调整参数fetch.max.bytes的值,我得到了一些异常,最大值已被交叉 fetch.max.bytes: Not a number of type INT 我看到了这个问题,似乎这个参数的限制是2GB 然而,我看到了官方文件 . 在那里,他们没有对这个参数提供任何限制 任何人都可以帮助理解此参数的限制是什么 编辑 这是我的问题标记到的问题的副本。我的问题是,如果kafka文档没有对fetch.max.bytes施加任何限制;但当我试图将值设置为>2GB时,它给出了错误。您不能使用任
fetch.max.bytes
的值,我得到了一些异常,最大值已被交叉
fetch.max.bytes: Not a number of type INT
我看到了这个问题,似乎这个参数的限制是2GB
然而,我看到了官方文件
. 在那里,他们没有对这个参数提供任何限制
任何人都可以帮助理解此参数的限制是什么
编辑
这是我的问题标记到的问题的副本。我的问题是,如果kafka文档没有对fetch.max.bytes施加任何限制;但当我试图将值设置为>2GB时,它给出了错误。您不能使用任何大于
2147483647
的值。但这并不是卡夫卡方面的限制
您可以从中看到,配置参数
FETCH\u MAX\u BYTES\u CONFIG
的类型为type.INT
,这意味着您不能使用任何超过INT.MaxInt
(即2147483647)的值。该参数不能小于零。文档包含以下信息:
列->“有效值”显示[0,…]
此外,该参数的数据类型为
int
,因此不能大于2GB。所有这些都有很好的记录。您尝试为获取.max.bytes
指定了什么值?@giorgosmyriantous:我希望每次轮询获取最大可能的数据,越高越好。我同意,但是,这难道不意味着在一次轮询中,可以检索的最大字节数仅设置为该值吗?@CuriousMind文档非常清楚:服务器应为获取请求返回的最大数据量。记录由使用者分批获取,如果获取的第一个非空分区中的第一个记录批次大于此值,则仍将返回该记录批次以确保使用者能够取得进展。因此,这不是一个绝对最大值。代理接受的最大记录批量大小是通过message.max.bytes(代理配置)或max.message.bytes(主题配置)定义的。请注意,使用者并行执行多个回迁。