在scrapy中将json参数传递给spider

我应该将从json文件中获取的一些参数传递给spider。我已经读到可以通过scrapyd使用schedule.json，但我不知道如何传递json文件。你们中有人有经验吗？

您不会使用JSON文件传递参数。Scrapyd有一个JSON API，您可以在其中传递参数。（例如，

$curlhttp://localhost:6800/schedule.json -d project=myproject-d spider=somespider-d myargument=“value”

）

您可以处理通过

kwargs

传递的参数：

class MySpider(Spider):

    name = 'somespider'

    def __init__(self, *args, **kwargs):
        super(MySpider, self).__init__(*args, **kwargs)
        self.myargument = kwargs.get('myargument', '')

有关更多信息，请参阅。

我也有同样的问题（我想向spider传递一个json文件以实现一个简单的分布式爬网系统）

---

我只是通过将json文件转换为字符串作为scrapyd中的参数来解决这个问题。

我已经看到了它，但我不知道将json文件作为Spider的参数传递到哪里。您不能传递文件本身。您可以做的最接近的事情是传递文件的路径。（例如，

-d/path/to/file

）如果我在AWS EC2 linux实例上托管我的scrapyd实例，并且我需要传递一个json文件，我该怎么做呢？