将RabbitMQ与Stormcrawler一起使用

将RabbitMQ与Stormcrawler一起使用,rabbitmq,web-crawler,apache-storm,stormcrawler,Rabbitmq,Web Crawler,Apache Storm,Stormcrawler,我想在StormCrawler中使用RabbitMQ。我已经看到有一个用于将RabbitMQ与Storm一起使用的存储库: 你会如何将其用于StormCrawler?我想使用生产者和消费者 对于消费者来说,似乎有一些文档。制片人呢?你能把配置条目放在storm crawler配置中吗?或者我需要更改RabbitMQProducer的源代码吗?你会希望向RabbitMQ发送URL的螺栓扩展AbstractStatusUpdaterBolt,因为超类在引擎盖下做了很多有用的事情,这意味着您不会使用

我想在StormCrawler中使用RabbitMQ。我已经看到有一个用于将RabbitMQ与Storm一起使用的存储库:

你会如何将其用于StormCrawler?我想使用生产者和消费者


对于消费者来说,似乎有一些文档。制片人呢?你能把配置条目放在storm crawler配置中吗?或者我需要更改RabbitMQProducer的源代码吗?

你会希望向RabbitMQ发送URL的螺栓扩展AbstractStatusUpdaterBolt,因为超类在引擎盖下做了很多有用的事情,这意味着您不会使用现成的生产者,但需要编写一些自定义代码


除非您确定不会有重复的URL,否则在将URL发送到队列之前,您将需要对其进行重复删除,这可以通过自定义状态更新程序中的Redis来完成。

生产商的配置如何?我看到已经有一个