Scrapy 反应毫无意义

Scrapy 反应毫无意义,scrapy,scrapy-spider,Scrapy,Scrapy Spider,我一直在学习scrapy教程,试图为warframe.market创建一个非常简单的web刮板。我在学校有大约一年的编码经验,但没有python经验。我只是想从网站上得到一件商品的价格。我使用以下方法来刮页面: scrapy shell "https://warframe.market/items/hydroid_prime_set" 然后,我检查了网页,以找到我正在尝试刮取的单个元素。我使用此命令尝试查看我想要的结果: response.css("div.order-row.d-flex.c

我一直在学习scrapy教程,试图为warframe.market创建一个非常简单的web刮板。我在学校有大约一年的编码经验,但没有python经验。我只是想从网站上得到一件商品的价格。我使用以下方法来刮页面:

scrapy shell "https://warframe.market/items/hydroid_prime_set"
然后,我检查了网页,以找到我正在尝试刮取的单个元素。我使用此命令尝试查看我想要的结果:

response.css("div.order-row.d-flex.col-12").extract()
这不起作用,所以我使用
查看(响应)
来查看我刮到的内容,我的cmd在这一点上只是无休止地等待

HTTPS会阻止我刮擦吗?我是否在回答中选择了错误的css?网页太大了吗?有人能告诉我哪里出错了吗


感谢

响应不是空的,但它是使用javascript呈现的(您可以通过检查
响应.body
来验证它),例如,在shell中尝试以下操作:

import json
data = json.loads(response.css('#application-state::text').extract_first())
for order in data.get('payload',{}).get('orders', []):
    print '"{}" price: {}'.format(order.get('platinum'), 
                                  order.get('user',{}).get('ingame_name'))