Python scrapy-无法将数据上载到s3

Python scrapy-无法将数据上载到s3,python,scrapy,Python,Scrapy,我正在使用scrapy从一个工作正常的网站上刮取数据,但我无法将刮取的数据上传到amazon s3上 看看这些零碎的文档,这就是我的settings.py中的内容 FEED_URI = 's3://bucket/folder/data-%(time)s.csv' FEED_FORMAT = 'csv' AWS_ACCESS_KEY_ID = 'key-goes-here' AWS_SECRET_ACCESS_KEY = 'secret-key-goes-here' FEED_EXPORT_F

我正在使用scrapy从一个工作正常的网站上刮取数据,但我无法将刮取的数据上传到amazon s3上

看看这些零碎的文档,这就是我的
settings.py中的内容

FEED_URI = 's3://bucket/folder/data-%(time)s.csv'
FEED_FORMAT = 'csv'

AWS_ACCESS_KEY_ID = 'key-goes-here'
AWS_SECRET_ACCESS_KEY = 'secret-key-goes-here'

FEED_EXPORT_FIELDS = None
FEED_STORAGES = {}

FEED_STORAGES_BASE = {
    '': 'scrapy.extensions.feedexport.FileFeedStorage',
    'file': 'scrapy.extensions.feedexport.FileFeedStorage',
    'stdout': 'scrapy.extensions.feedexport.StdoutFeedStorage',
    's3': 'scrapy.extensions.feedexport.S3FeedStorage',
    'ftp': 'scrapy.extensions.feedexport.FTPFeedStorage',
}
FEED_EXPORTERS = {}
FEED_EXPORTERS_BASE = {
    'json': 'scrapy.exporters.JsonItemExporter',
    'jsonlines': 'scrapy.exporters.JsonLinesItemExporter',
    'jl': 'scrapy.exporters.JsonLinesItemExporter',
    'csv': 'scrapy.exporters.CsvItemExporter',
    'xml': 'scrapy.exporters.XmlItemExporter',
    'marshal': 'scrapy.exporters.MarshalItemExporter',
    'pickle': 'scrapy.exporters.PickleItemExporter',
}

ITEM_PIPELINE = {
    'scrapy.pipelines.files.S3FilesStore': 1
}
这里是我的环境细节,如果这样做是有帮助的

Scrapy       : 1.5.0
lxml         : 4.1.1.0
libxml2      : 2.9.7
cssselect    : 1.0.3
parsel       : 1.4.0
w3lib        : 1.19.0
Twisted      : 18.4.0
Python       : 3.6.4 (default, Mar 10 2018, 19:20:23) - [GCC 4.2.1 Compatible Apple LLVM 9.0.0 (clang-900.0.39.2)]
pyOpenSSL    : 18.0.0 (OpenSSL 1.1.0h  27 Mar 2018)
cryptography : 2.2.2
Platform     : Darwin-17.4.0-x86_64-i386-64bit
当我运行刮板时运行正常,没有崩溃,但是我在下面的日志行中注意到了,我不确定为什么会这样以及如何启用它

[scrapy.extensions.feedexport]错误:禁用的提要存储方案:s3


如有任何帮助,我们将不胜感激。

中的“存储”支持功能会引发错误

scrapy/scrapy/extensions/feedexport.py

您的URI参数似乎有问题

请参阅本文件


本地的一切似乎都很好,我能够得到一个csv导出的饲料,它只有当我希望它上传到aws的导出问题发生。
def _storage_supported(self, uri):
    scheme = urlparse(uri).scheme
    if scheme in self.storages:
        try:
            self._get_storage(uri)
            return True
        except NotConfigured:
            logger.error("Disabled feed storage scheme: %(scheme)s",
                         {'scheme': scheme})
    else:
        logger.error("Unknown feed storage scheme: %(scheme)s",
                     {'scheme': scheme})