Python Scrapy：非阻塞暂停

我有个问题。我需要停止函数的执行一段时间，但不能停止整个解析的实现。也就是说，我需要一个非阻塞暂停

它看起来像：

class ScrapySpider(Spider):
    name = 'live_function'

    def start_requests(self):
        yield Request('some url', callback=self.non_stop_function)

    def non_stop_function(self, response):
        for url in ['url1', 'url2', 'url3', 'more urls']:
            yield Request(url, callback=self.second_parse_function)

        # Here I need some function for sleep only this function like time.sleep(10)

        yield Request('some url', callback=self.non_stop_function)  # Call itself

    def second_parse_function(self, response):
        pass

函数non_stop_函数需要停止一段时间，但它不应该阻止其余的输出

如果我插入

time.sleep（）

-它将停止整个解析器，但我不需要它。是否可以使用

twisted

或其他方法停止一个功能

原因：我需要创建一个非阻塞函数，每n秒解析一次网站页面。在那里，她将获得URL并填充10秒钟。已获取的URL将继续工作，但主要功能需要休眠

更新：

多亏了TkTech和viach。一个答案帮助我理解了如何提出待决的

请求

，第二个答案是如何激活它。两个答案相互补充，我为Scrapy做了一个出色的非阻塞暂停：

def call_after_pause(self, response):
    d = Deferred()
    reactor.callLater(10.0, d.callback, Request(
        'https://example.com/',
        callback=self.non_stop_function,
        dont_filter=True))
    return d

并将此功能用于我的请求：

yield Request('https://example.com/', callback=self.call_after_pause, dont_filter=True)

---

如果你试图用它来限制速率，你可能只想用它来代替

Scrapy只是Twisted之上的一个框架。在大多数情况下，你可以像对待其他twisted应用一样对待它。不要调用sleep，只需返回下一个请求，让twisted稍等。例：

from twisted.internet import reactor, defer

def non_stop_function(self, response)
    d = defer.Deferred()
    reactor.callLater(10.0, d.callback, Request(
        'some url',
        callback=self.non_stop_function
    ))
    return d

---

Request

对象具有

callback

参数，请尝试使用该参数。 我的意思是，创建一个

Deferred

来包装

self.second\u parse\u函数

和

pause

这是我的脏且未测试的示例，更改的行被标记

class ScrapySpider(Spider):
    name = 'live_function'

    def start_requests(self):
        yield Request('some url', callback=self.non_stop_function)

    def non_stop_function(self, response):

        parse_and_pause = Deferred()  # changed
        parse_and_pause.addCallback(self.second_parse_function) # changed
        parse_and_pause.addCallback(pause, seconds=10)  # changed

        for url in ['url1', 'url2', 'url3', 'more urls']:
            yield Request(url, callback=parse_and_pause)  # changed

        yield Request('some url', callback=self.non_stop_function)  # Call itself

    def second_parse_function(self, response):
        pass

如果该方法适用于您，那么您可以创建一个函数，该函数根据规则构造一个

Deferred

对象。可采用如下方式实施：

def get_perform_and_pause_deferred(seconds, fn, *args, **kwargs):
    d = Deferred()
    d.addCallback(fn, *args, **kwargs)
    d.addCallback(pause, seconds=seconds)
    return d

以下是可能的用法：

class ScrapySpider(Spider):
    name = 'live_function'

    def start_requests(self):
        yield Request('some url', callback=self.non_stop_function)

    def non_stop_function(self, response):
        for url in ['url1', 'url2', 'url3', 'more urls']:
            # changed
            yield Request(url, callback=get_perform_and_pause_deferred(10, self.second_parse_function))

        yield Request('some url', callback=self.non_stop_function)  # Call itself

    def second_parse_function(self, response):
        pass

---

提问者已经在问题的更新中提供了答案，但我想给出一个稍微好一点的版本，这样它就可以用于任何请求

# removed...
from twisted.internet import reactor, defer

class MySpider(scrapy.Spider):
    # removed...

    def request_with_pause(self, response):
        d = defer.Deferred()
        reactor.callLater(response.meta['time'], d.callback, scrapy.Request(
            response.url,
            callback=response.meta['callback'],
            dont_filter=True, meta={'dont_proxy':response.meta['dont_proxy']}))
        return d

    def parse(self, response):
        # removed....
        yield scrapy.Request(the_url, meta={
                            'time': 86400, 
                            'callback': self.the_parse, 
                            'dont_proxy': True
                            }, callback=self.request_with_pause)

---

作为解释，Scrapy使用Twisted异步管理请求，因此我们也需要Twisted的工具来执行延迟请求。

Python不能对一个函数使用notempty

return

和

yield

。我知道

download\u delay

，但这不是我的情况。@JRazor只是更好地构造你的方法。尝试使用

return

和

yield

作为一个函数。我如何重新构造调用请求？这种方法有帮助吗@拉斐拉梅达：这不是一个很方便的方式。我希望将来在不影响解析器体系结构的情况下使用此暂停。是否要暂停它以不发出请求？还是在方法内部暂停？如果您能详细说明暂停的原因，那将非常有帮助。@eLRuLL我在回答时添加了我的理由。Thanks@eLRuLL不，你不明白。我想找到，例如，100个链接，发送到解析。暂停不应停止此解析。在这种情况下，主函数需要休眠10秒，然后再次重复。我收到了错误消息“error:Spider在尝试此方法时必须返回Request、BaseItem、dict或None，got'Deferred'”。最近的版本可能有变化吗？我不知道暂停函数是什么，它从哪里来。在

d.addCallback（pause，seconds=seconds）

中暂停从哪里来？我可以在twisted文档中看到它，但是我找不到从哪里导入它。