Python scrapy中的Xpath或css选择器属性值
大家好,我是scrapy的新手,我想从html元素中提取一个属性值。那么,从html中提取属性值的正确方法是什么呢。我想提取“数据下一个url”属性Python scrapy中的Xpath或css选择器属性值,python,xpath,web-scraping,scrapy,css-selectors,Python,Xpath,Web Scraping,Scrapy,Css Selectors,大家好,我是scrapy的新手,我想从html元素中提取一个属性值。那么,从html中提取属性值的正确方法是什么呢。我想提取“数据下一个url”属性 <div class="loading_more_jobs" data-type="loading_more_jobs" style="display:none;" data-next-url="https://www.ziprecruiter.com/candidate/search?search=restaurant&pa
<div class="loading_more_jobs" data-type="loading_more_jobs" style="display:none;" data-next-url="https://www.ziprecruiter.com/candidate/search?search=restaurant&page=2&location=Atlanta%2C+Georgia"></div>
如果您检查源HTML,您会发现:
<button class="load_more_jobs" data-type="load_more_jobs" data-next-url="">Load More Job Results</button>
<div class="loading_more_jobs" data-type="loading_more_jobs" style="display:none;"></div>
或
禁用浏览器中的JS,然后查看源代码中是否存在该元素,我确定它不在那里,Xpath看起来很好如果我想获得该属性值,我该怎么办如果它不在源代码中,你必须研究该网站如何加载该数据,通过AJAX,或者他们已经以JSON或其他形式在页面上显示了这些内容。我想从那个页面的“加载更多作业”中获取这些信息
<button class="load_more_jobs" data-type="load_more_jobs" data-next-url="">Load More Job Results</button>
<div class="loading_more_jobs" data-type="loading_more_jobs" style="display:none;"></div>
<div class="job_results" data-this-url="/candidate/search?search=restaurant&location=Atlanta%2C+Georgia" data-next-url="/candidate/search?location=Atlanta%2C+Georgia&page=2&search=restaurant" data-type="job_results">
response.xpath('//div[@class="job_results"]/@data-next-url').extract_first()
<link rel="next" href="https://www.ziprecruiter.com/candidate/search?location=Atlanta%2C+Georgia&page=2&search=restaurant">
response.xpath('//link[@rel="next"]/@href').extract_first()