Python 将一些已爬网的URL重新馈送到spider/scheduler
有一些URL（domain.com/list）列出了我需要定期爬网的10个链接。这些链接通常大约每30秒更改一次，所以我需要不断地重新爬网domain.com/list以检查新链接。由于大小的原因，对所有这些链接进行爬网有时需要30秒以上的时间，因此我无法每30秒对脚本进行一次爬网，因为我可能会遇到几个并发爬网程序。但是，由于爬行器在第一次运行时花费的时间太长而丢失一些链接是可以接受的情况 我编写了一些spider中间件来删除已经访问过的链接（对于链接仅部分更改的情况）。我试图在这个过程中包含一个新的请求，该请求是domain.com/list，且dont\u filter=True，因此列表会再次反馈给调度程序，但最终我收到了大量的请求。我的代码是：Python 将一些已爬网的URL重新馈送到spider/scheduler,python,scrapy,Python,Scrapy,有一些URL（domain.com/list）列出了我需要定期爬网的10个链接。这些链接通常大约每30秒更改一次，所以我需要不断地重新爬网domain.com/list以检查新链接。由于大小的原因，对所有这些链接进行爬网有时需要30秒以上的时间，因此我无法每30秒对脚本进行一次爬网，因为我可能会遇到几个并发爬网程序。但是，由于爬行器在第一次运行时花费的时间太长而丢失一些链接是可以接受的情况 我编写了一些spider中间件来删除已经访问过的链接（对于链接仅部分更改的情况）。我试图在这个过程中包含一
def process_spider_output(self, response, result, spider):
for i in result:
if isinstance(i, Request):
state = spider.state.get('crawled_links', deque([]))
if unquote(i.url) in state or i.url in state:
print "removed %s" % i
continue
yield i
yield spider.make_requests_from_url('http://domain.com/list')
import sys
import os
PIDFILE = '/tmp/mycrawler.pid'
def do_the_thing():
# <your spider code here>
def main():
# Check if we're already running
if os.path.exists(PIDFILE):
pid = int(open(PIDFILE, 'r').read())
try:
os.kill(pid, 0)
print "We're already running as PID %d" % pid
sys.exit(1)
except OSError:
pass
# Write a PID file
open(PIDFILE, 'w').write(str(os.getpid()))
# Now do the thing, ensuring we delete PID file when done
try:
do_the_thing()
finally:
os.unlink(PIDFILE)
if __name__ == '__main__':
main()
cron