Python Scrapy不遵循给定的请求
上述代码不会触发异常。我让它在Pycharm的调试中运行。它是一个锚点选择器,正如在scrapy站点的教程中所述,但是没有任何东西会被刮掉。这里有什么问题?在Python Scrapy不遵循给定的请求,python,scrapy,Python,Scrapy,上述代码不会触发异常。我让它在Pycharm的调试中运行。它是一个锚点选择器,正如在scrapy站点的教程中所述,但是没有任何东西会被刮掉。这里有什么问题?在允许的\u域中必须只指定一个没有方案的域(www.gumtree.com.au)。否则,scrapy会阻止所有“异地”请求,认为其域与允许的域不匹配。完全正确。没有例外,但你可能会看到有多少请求在“异地/过滤”或“异地/域”中被过滤,噢,哇,是的,就是这样:“‘异地/过滤’:24,”。仍在学习曲线上 # -*- coding: utf-8
允许的\u域中
必须只指定一个没有方案的域(www.gumtree.com.au)。否则,scrapy会阻止所有“异地”请求,认为其域与允许的域不匹配。完全正确。没有例外,但你可能会看到有多少请求在“异地/过滤”或“异地/域”中被过滤,噢,哇,是的,就是这样:“‘异地/过滤’:24,”。仍在学习曲线上
# -*- coding: utf-8 -*-
import logging
import scrapy
from scrapy.shell import inspect_response
class SuvlistingsSpider(scrapy.Spider):
name = 'SuvListings'
allowed_domains = ['https://www.gumtree.com.au']
start_urls = [
'https://www.gumtree.com.au/s-cars-vans-utes/sydney/carbodytype-suv/forsaleby-ownr/c18320l3003435/',
]
def parse(self, response):
self.log('Received response for listings page', level=logging.INFO)
main = response.css('.panel-body.panel-body--flat-panel-shadow.user-ad-collection__list-wrapper')[-1]
for a in main.css('a'):
req = response.follow(a, callback=self.parse_item)
yield req
def parse_item(self, response):
0/0
yield {
'price': response.xpath('normalize-space(//div[@id="ad-price"]/div/span[1])').extract(),
}