Apache kafka spark streaming和kafka,增加spark从kafka提取的消息数

Apache kafka spark streaming和kafka,增加spark从kafka提取的消息数,apache-kafka,spark-streaming,Apache Kafka,Spark Streaming,我有一个每秒生成60000条消息的应用程序。 我向卡夫卡发送消息,并希望通过其他应用程序中的spark streaming接收这些消息, 但是Spark接收到的消息数量大约为40000条。我想增加Spark每间隔接收的消息数,我该如何做?在kafka中,并行度由主题的分区数决定 您需要增加主题中的分区数 您需要设置运行spark streaming的执行器数量,以尽可能匹配kafka中的分区数量 这将为您提供最佳性能。在kafka中,并行度由主题的分区数决定 您需要增加主题中的分区数 您需要设置

我有一个每秒生成60000条消息的应用程序。 我向卡夫卡发送消息,并希望通过其他应用程序中的spark streaming接收这些消息,
但是Spark接收到的消息数量大约为40000条。我想增加Spark每间隔接收的消息数,我该如何做?

在kafka中,并行度由主题的分区数决定

您需要增加主题中的分区数

您需要设置运行spark streaming的执行器数量,以尽可能匹配kafka中的分区数量


这将为您提供最佳性能。

在kafka中,并行度由主题的分区数决定

您需要增加主题中的分区数

您需要设置运行spark streaming的执行器数量,以尽可能匹配kafka中的分区数量


这将为您提供最佳性能。

尝试增加spark.streaming.kafka.maxRatePerPartition。 您可以尝试以下等式(spark.streaming.kafka.maxRatePerPartition)*(您的分区)=60000
但建议将spark.streaming.kafka.maxRatePerPartition保持在更高的位置,以防传入消息出现峰值

尝试增加spark.streaming.kafka.maxRatePerPartition。 您可以尝试以下等式(spark.streaming.kafka.maxRatePerPartition)*(您的分区)=60000
但建议将spark.streaming.kafka.maxRatePerPartition保持在更高的位置,以防传入消息出现峰值

spark submit使用什么参数?我没有设置任何配置参数。spark submit使用什么参数?我没有设置任何配置参数。