Scrapy 反应毫无意义
我一直在学习scrapy教程,试图为warframe.market创建一个非常简单的web刮板。我在学校有大约一年的编码经验,但没有python经验。我只是想从网站上得到一件商品的价格。我使用以下方法来刮页面:Scrapy 反应毫无意义,scrapy,scrapy-spider,Scrapy,Scrapy Spider,我一直在学习scrapy教程,试图为warframe.market创建一个非常简单的web刮板。我在学校有大约一年的编码经验,但没有python经验。我只是想从网站上得到一件商品的价格。我使用以下方法来刮页面: scrapy shell "https://warframe.market/items/hydroid_prime_set" 然后,我检查了网页,以找到我正在尝试刮取的单个元素。我使用此命令尝试查看我想要的结果: response.css("div.order-row.d-flex.c
scrapy shell "https://warframe.market/items/hydroid_prime_set"
然后,我检查了网页,以找到我正在尝试刮取的单个元素。我使用此命令尝试查看我想要的结果:
response.css("div.order-row.d-flex.col-12").extract()
这不起作用,所以我使用查看(响应)
来查看我刮到的内容,我的cmd在这一点上只是无休止地等待
HTTPS会阻止我刮擦吗?我是否在回答中选择了错误的css?网页太大了吗?有人能告诉我哪里出错了吗
感谢响应不是空的,但它是使用javascript呈现的(您可以通过检查
响应.body
来验证它),例如,在shell中尝试以下操作:
import json
data = json.loads(response.css('#application-state::text').extract_first())
for order in data.get('payload',{}).get('orders', []):
print '"{}" price: {}'.format(order.get('platinum'),
order.get('user',{}).get('ingame_name'))