Python 如何刮有加载程序的网站?
我正在努力清理包含加载屏幕的网站。当我浏览网站时,它显示正在加载。。一秒钟后,它就会加载。但问题是,当我试图用scrapy刮它时,它可能因为装载量太大而什么也没有给我。我可以用scrapy解决这个问题,还是应该使用其他工具? 这是网站的链接,如果你想看到它发送GET请求以获取有关该房产的信息,那么你应该在代码中模仿它。您可以在console->Network->XHR下观察GET调用Python 如何刮有加载程序的网站?,python,web-scraping,scrapy,Python,Web Scraping,Scrapy,我正在努力清理包含加载屏幕的网站。当我浏览网站时,它显示正在加载。。一秒钟后,它就会加载。但问题是,当我试图用scrapy刮它时,它可能因为装载量太大而什么也没有给我。我可以用scrapy解决这个问题,还是应该使用其他工具? 这是网站的链接,如果你想看到它发送GET请求以获取有关该房产的信息,那么你应该在代码中模仿它。您可以在console->Network->XHR下观察GET调用 # -*- coding: utf-8 -*- import scrapy clas
# -*- coding: utf-8 -*-
import scrapy
class GranaSpider(scrapy.Spider):
name = 'grana'
allowed_domains = 'www.graana.com'
start_urls = ['https://www.graana.com/api/area/slug/601']
def parse(self, response):
# for url in allurlList:
scrapy.http.Request(response.url, method='GET' , dont_filter=False)
print(response.body)
#convert json response to array and save to your storage system
输出为json格式,请根据需要进行转换
也许装载屏幕是专门为防止刮擦而设计的?是的,这就是问题所在:请参阅和