Python scrapy附加到linkextractor链接
我正在使用Python scrapy附加到linkextractor链接,python,web-scraping,scrapy,scrapy-spider,Python,Web Scraping,Scrapy,Scrapy Spider,我正在使用CrawlSpider和LinkExtractor对链接进行爬网 如何将参数附加到链接LinkExtractor查找中?我想将'?pag_sortorder=0&pag_perPage=999'添加到LinkExtractor提取的每个链接。这是使用以下内容的完美用例: 谢谢你的回答-我现在有一个问题,addition被多次添加?pag_sortorder=0&pag_perPage=999?pag_sortorder=0&pag_perPage=999?pag_sortorder=0
CrawlSpider
和LinkExtractor
对链接进行爬网
如何将参数附加到链接
LinkExtractor
查找中?我想将'?pag_sortorder=0&pag_perPage=999'
添加到LinkExtractor
提取的每个链接。这是使用以下内容的完美用例:
谢谢你的回答-我现在有一个问题,
addition
被多次添加?pag_sortorder=0&pag_perPage=999?pag_sortorder=0&pag_perPage=999?pag_sortorder=0&pag_perPage=999?pag_sortorder=0&quidpag_perPage=999?pag_sortorder=0&pag_perPage=999
@elivape你能分享一下你现在的完整代码吗,这样我就可以重现问题并调试它了?谢谢!
from scrapy.contrib.linkextractors import LinkExtractor
addition = "?pag_sortorder=0&pag_perPage=999"
LinkExtractor(process_value=lambda x: x + addition)