Python 在循环中爬行

试图让我的头绕着整个扭曲的反应堆/刮擦的履带式电线

我需要的是这样的东西：

while True:
    urls = get_latest_urls()

    crawl(MySpider(urls))
    ## block until crawl is complete ##

    mark_urls_as_crawled()
    time.sleep(0.01)

让这个脚本无限期地运行

我该怎么做呢？谢谢

---

已解决

通过摆脱while循环并使用回调，我成功地获得了我想要的功能

process = CrawlerProcess(settings=get_project_settings())
crawl()
reactor.run()

def crawl():
    d = process.crawl(MySpider(get_latest_urls()))
    d.addBoth(crawl_done)

def crawl_done():
    mark_urls_as_crawled()
    crawl()

---

使用stackoverflow的更好方法是将您的解决方案添加为您自己问题的答案，然后接受它。我觉得您可能也感兴趣。使用stackoverflow的更好方法是将您的解决方案添加为您自己问题的答案，然后接受它。我觉得您可能也感兴趣。