Apache spark 如何限制从RabbitMQ到spark流的消息数
建立连接时,我将从RabbitMQ获取所有消息。我想限制获取RabbitMQ的消息数 您可以设置以下参数 maxMessagesPerPartition—最大消息数 有关更多详细信息,请参阅Apache spark 如何限制从RabbitMQ到spark流的消息数,apache-spark,rabbitmq,spark-streaming,Apache Spark,Rabbitmq,Spark Streaming,建立连接时,我将从RabbitMQ获取所有消息。我想限制获取RabbitMQ的消息数 您可以设置以下参数 maxMessagesPerPartition—最大消息数 有关更多详细信息,请参阅 希望这能有所帮助。是的,我们有spark属性,但这里的问题是RabbitMQUtils.createStream(ssc,rabbitMQConnection)。我正在设置队列名称、主机、端口、虚拟主机、用户名和密码。如果我尝试在rabbitMQConnection参数中设置MaxMessagesPerPa
希望这能有所帮助。是的,我们有spark属性,但这里的问题是RabbitMQUtils.createStream(ssc,rabbitMQConnection)。我正在设置队列名称、主机、端口、虚拟主机、用户名和密码。如果我尝试在rabbitMQConnection参数中设置MaxMessagesPerPartition。这意味着没有具有该签名的方法。我不确定在哪里设置此属性。