Python 如何在Scrapy上实现自定义代理?

Python 如何在Scrapy上实现自定义代理?,python,web-scraping,scrapy,Python,Web Scraping,Scrapy,我正试图实现定制的scraperapi,但我认为我做错了。但是我按照他们的文档来设置一切。这是一份文档 这就是我收到的输出。。。。请问我的代码怎么了。请帮我修一下。这样我就可以明白了。多谢各位 2020-10-01 23:01:45[刮屑核心引擎]调试:爬网(200) (推荐人:无) 2020-10-01 23:01:45[scrapy.spidermiddleware.offsite]调试:对“api.scraperapi.com”的已筛选的异地请求: 我不熟悉这个特定的库,但是从你的执行日志

我正试图实现定制的scraperapi,但我认为我做错了。但是我按照他们的文档来设置一切。这是一份文档

这就是我收到的输出。。。。请问我的代码怎么了。请帮我修一下。这样我就可以明白了。多谢各位

2020-10-01 23:01:45[刮屑核心引擎]调试:爬网(200) (推荐人:无) 2020-10-01 23:01:45[scrapy.spidermiddleware.offsite]调试:对“api.scraperapi.com”的已筛选的异地请求:


我不熟悉这个特定的库,但是从你的执行日志中,问题是你的请求是被过滤的,因为它考虑异地。

[scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to 'api.scraperapi.com': <GET https://api.scraperapi.c om/?url=https%3A%2F%2Fapi.scraperapi.com%2Fpartner%2FjobListing.htm%3Fpos%3D101%26ao%3D1044074%26s%3D149%26guid%3D00000174e51ccd8988e2e5420e6 7cf0d%26src%3DGD_JOB_AD%26t%3DSRFJ%26vt%3Dw%26cs%3D1_94f59ee8%26cb%3D1601571704401%26jobListingId%3D3696480795&api_key=bec9d9f82b0955c61 5c8a7e639scraper_sdk=python>

或者尝试在其中包含
'api.scraperapi.com'

您不熟悉,但您的回复很好,我尝试了您的方式,这次我遇到了这个错误>>>“`raise AttributeError(“响应内容不是文本”)AttributeError:响应内容不是文本````
[scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to 'api.scraperapi.com': <GET https://api.scraperapi.c om/?url=https%3A%2F%2Fapi.scraperapi.com%2Fpartner%2FjobListing.htm%3Fpos%3D101%26ao%3D1044074%26s%3D149%26guid%3D00000174e51ccd8988e2e5420e6 7cf0d%26src%3DGD_JOB_AD%26t%3DSRFJ%26vt%3Dw%26cs%3D1_94f59ee8%26cb%3D1601571704401%26jobListingId%3D3696480795&api_key=bec9d9f82b0955c61 5c8a7e639scraper_sdk=python>
allowed_domains = ['glassdoor.co.uk']