Python Scrapy缺少一个位置参数响应
我想将所有链接存储在my\u links变量中。但我试图存储的一个,他们给了我错误。缺少一个位置参数响应。我是新来的刮痧。。。请帮忙。。。这是我的密码Python Scrapy缺少一个位置参数响应,python,python-3.x,web-scraping,scrapy,Python,Python 3.x,Web Scraping,Scrapy,我想将所有链接存储在my\u links变量中。但我试图存储的一个,他们给了我错误。缺少一个位置参数响应。我是新来的刮痧。。。请帮忙。。。这是我的密码 import scrapy 从scrapy.crawler导入crawler进程 类别:刮刀(刮刀、蜘蛛): name=“udemy\u刮刀” 起始URL=['https://couponscorpion.com/'] def解析(自我,响应): 对于response.xpath(“//div[@class=“rh post wrapper”]”
import scrapy
从scrapy.crawler导入crawler进程
类别:刮刀(刮刀、蜘蛛):
name=“udemy\u刮刀”
起始URL=['https://couponscorpion.com/']
def解析(自我,响应):
对于response.xpath(“//div[@class=“rh post wrapper”]”中的链接:
屈服{
“名称”:links.xpath(“.//a/text()”).extract(),
}
my_links=parse()
提前感谢您不需要调用
parse
方法,因为它是回调方法,可以调用start\u URL
列表中的所有URL。您可以在爬行器级别创建一个列表。这会奏效的
import scrapy
from scrapy.crawler import CrawlerProcess
class Udemy_Scraper(scrapy.Spider):
name = "udemy_scraper"
my_links = []
start_urls = ['https://couponscorpion.com/']
def parse(self, response):
for links in response.xpath('//div[@class="rh-post-wrapper"]'):
self.my_links + =[{'name': links.xpath('.//a/text()').extract()}]
yield self.my_links