从RESTAPI抓取Json数据

我正在用Android学习Firebase，我需要一个数据库。这是Json请求url:。 它包含了大约5000部我需要的电影。所以我在网上搜索了一下，发现了一个叫做“刮痧”的工具。但我不知道如何在RESTAPI中使用它。非常感谢您的帮助。遵循并从REST端点的URL开始。在

parse（）

或

parse_item（）

函数中，使用

json.loads（response.body）

加载json文档。由于Scrapy现在可以接受dicts，所以您的代码可能非常简单

import json
...

def parse(self, response):
    return json.loads(response.body)

这是一个更高级的用例。

非常简单。遵循并从REST端点的URL开始。在

parse（）

或

parse_item（）

函数中，使用

json.loads（response.body）

加载json文档。由于Scrapy现在可以接受dicts，所以您的代码可能非常简单

import json
...

def parse(self, response):
    return json.loads(response.body)

---

这是一个稍微高级一点的用例。

首先，您需要按照创建一个scrapy项目，然后您的spider可以如此简单：

class MySpider(Spider):
    name = 'myspider'

    start_urls = ['https://yts.ag/api/v2/list_movies.json']

    def parse(self, response):
        json_response = json.loads(response.body)
        for movie in json_response['data']['movies']:
            yield Request(movie['url'], callback=self.parse_movie)

    def parse_movie(self, response):
        # work with every movie response
        yield {'url': response.url}

---

首先，您需要按照创建一个scrapy项目，然后您的spider就可以这么简单：

class MySpider(Spider):
    name = 'myspider'

    start_urls = ['https://yts.ag/api/v2/list_movies.json']

    def parse(self, response):
        json_response = json.loads(response.body)
        for movie in json_response['data']['movies']:
            yield Request(movie['url'], callback=self.parse_movie)

    def parse_movie(self, response):
        # work with every movie response
        yield {'url': response.url}

---

请向我们展示一些迄今为止您尝试过的代码。下面是供您学习的

scrapy

文档。谢谢，我会尝试一下，让你知道。请给我们看一些你已经尝试过的代码。下面是供您学习的

scrapy

文档。谢谢，我会试试的，让你知道谢谢你的帮助。谢谢你，谢谢你的帮助。谢谢。