Apache storm 是否有任何系统的方法来打开或关闭StormCrawler中的某些螺栓?

Apache storm 是否有任何系统的方法来打开或关闭StormCrawler中的某些螺栓?,apache-storm,stormcrawler,Apache Storm,Stormcrawler,我开发了一个StormCrawler项目,在该拓扑中有多个附加螺栓。我的爬虫程序应该7 X 24工作,没有任何停机时间。因此,我无法重新启动爬虫程序并更改拓扑配置。我想在运行时绕过(打开或关闭)一些螺栓。在运行时禁用和启用StormCrawler中的某些螺栓的最佳方法是什么 谢谢没有现成的方法,因此您必须在螺栓本身中实现用于调整螺栓开/关的逻辑 如果您需要刷新它们的配置,那么可以实现一个动态机制。例如,将螺栓的配置存储在弹性索引中,并定期重新加载该配置 我们已经有了一些类似的东西,包括和的等价物

我开发了一个StormCrawler项目,在该拓扑中有多个附加螺栓。我的爬虫程序应该7 X 24工作,没有任何停机时间。因此,我无法重新启动爬虫程序并更改拓扑配置。我想在运行时绕过(打开或关闭)一些螺栓。在运行时禁用和启用StormCrawler中的某些螺栓的最佳方法是什么


谢谢

没有现成的方法,因此您必须在螺栓本身中实现用于调整螺栓开/关的逻辑

如果您需要刷新它们的配置,那么可以实现一个动态机制。例如,将螺栓的配置存储在弹性索引中,并定期重新加载该配置


我们已经有了一些类似的东西,包括和的等价物。我们可以有一个抽象的ES支持的动态配置螺栓。如果您认为这是一个有趣的问题,或者更好,可以在GitHub上自由发表一篇文章,贡献一篇PR;-)

亲爱的Julien,我需要在运行时通过web应用程序或类似的东西更改爬行的深度。我想不停地在不同的场景下爬行,然后再次启动爬行器。现在可以这样做了吗?您已经可以指定每个种子的最大深度,因此如果您有每个主机名的种子,这将很好。除此之外,没有