Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/python-3.x/15.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 3.x 有没有一种方法可以使Scrapy不重新加载屏幕?_Python 3.x_Web Scraping_Scrapy_Repl.it - Fatal编程技术网

Python 3.x 有没有一种方法可以使Scrapy不重新加载屏幕?

Python 3.x 有没有一种方法可以使Scrapy不重新加载屏幕?,python-3.x,web-scraping,scrapy,repl.it,Python 3.x,Web Scraping,Scrapy,Repl.it,我一直在遵循一个教程并尝试使用许多不同的库,我遇到了相同的问题,Scrapy返回加载屏幕,而不是实际内容,如图所示: 加载。。。 另外,下面是我的python代码: import scrapy 第二类蜘蛛(刮毛蜘蛛): 名称='racer' 起始URL=['https://nitrotype.com/racer/test'] def解析(自我,响应): name=response.url.split('/')[-1] filename=f'Racer-{name}.html' 将open(f

我一直在遵循一个教程并尝试使用许多不同的库,我遇到了相同的问题,Scrapy返回加载屏幕,而不是实际内容,如图所示:


加载。。。
另外,下面是我的python代码:

import scrapy
第二类蜘蛛(刮毛蜘蛛):
名称='racer'
起始URL=['https://nitrotype.com/racer/test']
def解析(自我,响应):
name=response.url.split('/')[-1]
filename=f'Racer-{name}.html'
将open(filename,'wb')作为f:
f、 写入(response.body)
f、 关闭()

此代码用于在名为

的游戏中收集有关
赛车手的数据。看起来您正在使用一个动态站点

动态站点通常会发送带有“加载”的主文档,然后使用某种JavaScript填充内容

您的链接不起作用,因此我无法重现您的确切问题,但我有两件事要告诉您:

  • 使用命令并为其提供url。获得shell后,运行
    view(response)
    查看scrapy得到了什么。比如:

    刮壳“ 查看(响应)#来自加载了上述命令的shell

  • F12
    打开开发者工具,进入网络选项卡,查看所有请求和响应。单击这些以查看数据所在的位置


  • 完成此操作后,如果您认为仍然需要渲染、使用或使用Selenium。

    请更正您的链接,以便重新创建您的问题。我更新了链接!