Scrapy 为什么我没有收到start_请求的响应?
我使用start_请求从sqlite数据库中获取URL列表。 但是当我运行代码时,我没有得到任何响应 这是密码-Scrapy 为什么我没有收到start_请求的响应?,scrapy,Scrapy,我使用start_请求从sqlite数据库中获取URL列表。 但是当我运行代码时,我没有得到任何响应 这是密码- import scrapy import sqlite3 from datetime import datetime, timedelta import json class A1hrlaterSpider(scrapy.Spider): name = 'onehrlater' def start_requests(self): timenow = dat
import scrapy
import sqlite3
from datetime import datetime, timedelta
import json
class A1hrlaterSpider(scrapy.Spider):
name = 'onehrlater'
def start_requests(self):
timenow = datetime.now()
delta = timedelta(minutes=0)
delta2 = timedelta(minutes=1)
past_time = timenow - delta
past_time2 = timenow - delta2
conn = sqlite3.connect('ddother.db')
c = conn.cursor()
c.execute("SELECT adUrl FROM database WHERE timestamp BETWEEN ? AND ?", (past_time2, past_time))
all_urls = c.fetchall()
urls = [item[0] for item in all_urls]
for url in urls:
yield scrapy.Request(url=url, callback=self.parse)
def parse(self, response):
r = response.xpath('//script[contains(text(),"adDetails")]').get()
print(r)
任何帮助都将不胜感激。谢谢日志中是否显示了相关信息?如果您对URL进行硬编码而不是从数据库中获取URL,是否有效?请看