Amazon s3 支持S3的Scrapy

在过去的几个小时里，我一直在挣扎，但在这里我似乎是瞎了眼。我试图在

scrapy

和Amazon

S3

之间建立一个链接，但不断得到一个错误，即bucket不存在（它确实存在，检查了十几次）

---

错误消息：

2016-11-01 22:58:08 [scrapy] ERROR: Error storing csv feed (30 items) in: s3://onvista.s3-website.eu-central-1.amazonaws.com/feeds/vista/2016-11-01T21-57-21.csv

结合

botocore.exceptions.ClientError: An error occurred (NoSuchBucket) when calling the PutObject operation: The specified bucket does not exist

---

我的

设置.py

：

ITEM_PIPELINES = {
    'onvista.pipelines.OnvistaPipeline': 300,
    #'scrapy.pipelines.files.S3FilesStore': 600
}

AWS_ACCESS_KEY_ID = 'key'
AWS_SECRET_ACCESS_KEY = 'secret'
FEED_URI = 's3://onvista.s3-website.eu-central-1.amazonaws.com/feeds/%(name)s/%(time)s.csv'

FEED_FORMAT = 'csv'

---

---

有没有人可以让我看一眼的工作环境？

与其通过亚马逊网站URL引用亚马逊S3存储桶，不如通过名称来引用它

本文件给出了以下示例：

s3://mybucket/scraping/feeds/%(name)s/%(time)s.json

在您的情况下，这将使：

s3://onvista/feeds/%(name)s/%(time)s.json

---

我会试试这个，但是

scrapy

如何区分不同的地区？或者一个bucket名称在全球范围内总是唯一的？Amazon S3 bucket名称在全球范围内是唯一的。通常情况下，最好连接到bucket所在的地区，但他们可能有一些代码来处理此问题。感谢您的努力-我必须补充一点，只有当您的bucket不位于德国法兰克福时，这似乎才有效。我不知道为什么，但在美国使用bucket就成功了。法兰克福地区要求身份验证是较新的，因此有可能Scrapy代码只使用较旧的身份验证方法。