Python 3.x 有没有一种方法可以使Scrapy不重新加载屏幕?
我一直在遵循一个教程并尝试使用许多不同的库,我遇到了相同的问题,Scrapy返回加载屏幕,而不是实际内容,如图所示:Python 3.x 有没有一种方法可以使Scrapy不重新加载屏幕?,python-3.x,web-scraping,scrapy,repl.it,Python 3.x,Web Scraping,Scrapy,Repl.it,我一直在遵循一个教程并尝试使用许多不同的库,我遇到了相同的问题,Scrapy返回加载屏幕,而不是实际内容,如图所示: 加载。。。 另外,下面是我的python代码: import scrapy 第二类蜘蛛(刮毛蜘蛛): 名称='racer' 起始URL=['https://nitrotype.com/racer/test'] def解析(自我,响应): name=response.url.split('/')[-1] filename=f'Racer-{name}.html' 将open(f
加载。。。
另外,下面是我的python代码:
import scrapy
第二类蜘蛛(刮毛蜘蛛):
名称='racer'
起始URL=['https://nitrotype.com/racer/test']
def解析(自我,响应):
name=response.url.split('/')[-1]
filename=f'Racer-{name}.html'
将open(filename,'wb')作为f:
f、 写入(response.body)
f、 关闭()
此代码用于在名为的游戏中收集有关
赛车手的数据。看起来您正在使用一个动态站点
动态站点通常会发送带有“加载”的主文档,然后使用某种JavaScript填充内容
您的链接不起作用,因此我无法重现您的确切问题,但我有两件事要告诉您:
使用命令并为其提供url。获得shell后,运行view(response)
查看scrapy得到了什么。比如:
刮壳“
查看(响应)#来自加载了上述命令的shell
按F12
打开开发者工具,进入网络选项卡,查看所有请求和响应。单击这些以查看数据所在的位置
完成此操作后,如果您认为仍然需要渲染、使用或使用Selenium。请更正您的链接,以便重新创建您的问题。我更新了链接!