Apache storm 在StormCrawler中处理不同的爬网请求
我有一个基于StormCrawler的项目，需要永远运行。但是我想通过一个web应用程序运行多个爬网请求。web应用程序中的每个用户都可以提交他/她的爬虫请求。提交请求后，我们在web请求后面的相应表中创建一条新记录，并将其ID放入Kafka，同时将其在表中的状态更改为已提交。Kafka使用者从Kafka获取请求ID，并向StormCrawler发出相应的元组。在完成每个爬网请求后，我们需要将其状态更新为DONE，以便通知提交的用户。如何检测每个爬网请求的完成情况并更新其在表中的状态Apache storm 在StormCrawler中处理不同的爬网请求,apache-storm,stormcrawler,Apache Storm,Stormcrawler,我有一个基于StormCrawler的项目，需要永远运行。但是我想通过一个web应用程序运行多个爬网请求。web应用程序中的每个用户都可以提交他/她的爬虫请求。提交请求后，我们在web请求后面的相应表中创建一条新记录，并将其ID放入Kafka，同时将其在表中的状态更改为已提交。Kafka使用者从Kafka获取请求ID，并向StormCrawler发出相应的元组。在完成每个爬网请求后，我们需要将其状态更新为DONE，以便通知提交的用户。如何检测每个爬网请求的完成情况并更新其在表中的状态