Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/364.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 如何刮有加载程序的网站?_Python_Web Scraping_Scrapy - Fatal编程技术网

Python 如何刮有加载程序的网站?

Python 如何刮有加载程序的网站?,python,web-scraping,scrapy,Python,Web Scraping,Scrapy,我正在努力清理包含加载屏幕的网站。当我浏览网站时,它显示正在加载。。一秒钟后,它就会加载。但问题是,当我试图用scrapy刮它时,它可能因为装载量太大而什么也没有给我。我可以用scrapy解决这个问题,还是应该使用其他工具? 这是网站的链接,如果你想看到它发送GET请求以获取有关该房产的信息,那么你应该在代码中模仿它。您可以在console->Network->XHR下观察GET调用 # -*- coding: utf-8 -*- import scrapy clas

我正在努力清理包含加载屏幕的网站。当我浏览网站时,它显示正在加载。。一秒钟后,它就会加载。但问题是,当我试图用scrapy刮它时,它可能因为装载量太大而什么也没有给我。我可以用scrapy解决这个问题,还是应该使用其他工具? 这是网站的链接,如果你想看到它发送GET请求以获取有关该房产的信息,那么你应该在代码中模仿它。您可以在console->Network->XHR下观察GET调用

    # -*- coding: utf-8 -*-
    import scrapy


    class GranaSpider(scrapy.Spider):
        name = 'grana'
        allowed_domains = 'www.graana.com'
        start_urls = ['https://www.graana.com/api/area/slug/601']

        def parse(self, response):
    #        for url in allurlList:
            scrapy.http.Request(response.url, method='GET' , dont_filter=False)
            print(response.body)
#convert json response to array and save to your storage system
输出为json格式,请根据需要进行转换


也许装载屏幕是专门为防止刮擦而设计的?是的,这就是问题所在:请参阅和