Python 3.x 如何将Helm Kafka图表与Python pod结合使用来发布大型（5兆字节）消息

我正在运行一个POC来发送大的（5兆字节）卡夫卡消息

我无法发送大型消息，我不知道错误是在代理配置中还是在客户端中

我正在docker桌面上使用Keubernetes，并使用此头盔图表： 我正在使用这个init命令：

helm install --name wielder-kafka --namespace kafka incubator/kafka 
--set configurationOverride=
"{"replica.fetch.max.bytes":15048576,"message.max.bytes":15048576}"

我不确定配置是否发生了！有没有办法查一下

还有这个python脚本（从pod运行）

它工作得很好，但我在使用大型JSON文件时遇到以下错误

root@pep-55c4dd9ff5-rnqjc:/storage/cluster# python3.6 json_to_kafka.py
<class 'str'>
Traceback (most recent call last):
  File "json_to_kafka.py", line 34, in <module>
    record_metadata = future.get(timeout=1000)
  File "/usr/local/lib/python3.6/site-packages/kafka/producer/future.py", line 65, in get
    raise self.exception # pylint: disable-msg=raising-bad-type
kafka.errors.MessageSizeTooLargeError: [Error 10] MessageSizeTooLargeError

root@pep-55c4dd9ff5-rnqjc:/storage/cluster#

---

如何发送用python生成的大型Kafka消息

您是否可以检查分配给Kafka代理播客的资源？记忆与CPU@TusharMahajan我正在添加helm Chart的持久卷默认值。您是否可以尝试将grafana添加到集群中，并在运行时检查内存可用性是否符合broker pods的内存需求。也许你可以在那里了解一些关于可用性的信息memory@TusharMahajan如何添加Grafana，你会在这里得到舵图

root@pep-55c4dd9ff5-rnqjc:/storage/cluster# python3.6 json_to_kafka.py
<class 'str'>
Traceback (most recent call last):
  File "json_to_kafka.py", line 34, in <module>
    record_metadata = future.get(timeout=1000)
  File "/usr/local/lib/python3.6/site-packages/kafka/producer/future.py", line 65, in get
    raise self.exception # pylint: disable-msg=raising-bad-type
kafka.errors.MessageSizeTooLargeError: [Error 10] MessageSizeTooLargeError

root@pep-55c4dd9ff5-rnqjc:/storage/cluster#

➜  ~ kubectl get pv -n kafka -o wide
NAME                                       CAPACITY   ACCESS MODES           RECLAIM POLICY   STATUS   CLAIM                           STORAGECLASS   REASON   AGE
pep-pv                                     200Mi      RWO            Retain           Bound    wielder-services/pep-pvc        pep-storage             5d18h
pvc-1069afcd-0c5d-11ea-8ffb-025000000001   1Gi        RWO            Delete           Bound    kafka/datadir-wielder-kafka-0   hostpath                    5d18h
pvc-5ad5e6c5-0c5d-11ea-8ffb-025000000001   1Gi        RWO            Delete           Bound    kafka/datadir-wielder-kafka-1   hostpath                5d18h
pvc-6eaa98ae-0c5d-11ea-8ffb-025000000001   1Gi        RWO            Delete           Bound    kafka/datadir-wielder-kafka-2   hostpath                5d18h