Python 使用Scrapy shell刮取JSON文件时,终端窗口自动关闭

Python 使用Scrapy shell刮取JSON文件时,终端窗口自动关闭,python,json,shell,web-scraping,scrapy,Python,Json,Shell,Web Scraping,Scrapy,我目前正在开发一个webscraper,它可以从几个不同的站点中获取数据,在所有这些站点中,必须通过查找JSON文件来访问一个元素,每个站点使用JSON文件异步加载其数据(特别是门票价格和其他事件数据)。到目前为止,我已经成功地在shell中测试并在爬行蜘蛛中运行了从JSON文件(如for)中获取最低票面价格,但由于某些原因,我甚至在从scrapy shell访问此类JSON文件时遇到了问题 当我尝试为访问此文件时,shell会暂停,并且从未打开命令行。shell仅在我按enter键时终止。在s

我目前正在开发一个webscraper,它可以从几个不同的站点中获取数据,在所有这些站点中,必须通过查找JSON文件来访问一个元素,每个站点使用JSON文件异步加载其数据(特别是门票价格和其他事件数据)。到目前为止,我已经成功地在shell中测试并在爬行蜘蛛中运行了从JSON文件(如for)中获取最低票面价格,但由于某些原因,我甚至在从scrapy shell访问此类JSON文件时遇到了问题

当我尝试为访问此文件时,shell会暂停,并且从未打开命令行。shell仅在我按enter键时终止。在shell中尝试此操作时,整个终端窗口将自动关闭。这些文件有什么不同之处,可以防止它们被刮取,还是仅仅是系统错误


如果这里有什么东西阻止了网络爬虫(我还不熟悉使用json btw),那么除了以这种方式访问文件之外,还有其他方法吗,比如先下载json,然后解析它(我还不熟悉使用json btw)?我需要从其他几个站点的JSON文件中获取价格,所以我只想确保问题不会持续下去。任何帮助都将不胜感激。谢谢我在虚拟盒子里面使用Ubuntu 14.04

您可以在这里首先启动shell:

scrapy shell
然后致电:


除此之外,请确保您使用的是最新的Scrapy 1.0。

当这些失败时,您如何启动流程/任务/等?@Etan Reisner我刚刚使用了命令:Scrapy shell
$ scrapy shell
In [1]: import json
In [2]: fetch("https://seatgeek.com/listings?client_id=MTY2MnwxMzgzMzIwMTU4&id=2549305&_wt=1&&_=1436304908081/")
In [3]: data = json.loads(response.body)