Python 使用Boto3配置文件覆盖S3端点 概述:

Python 使用Boto3配置文件覆盖S3端点 概述:,python,amazon-web-services,boto,boto3,botocore,Python,Amazon Web Services,Boto,Boto3,Botocore,我试图使用配置文件(~/aws/confg)覆盖bot3中的某些变量。 在我的用例中,我想使用fakes3服务并向本地主机发送S3请求 >>> import boto >>> boto.connect_s3() S3Connection:localhost >>> 例子: 在boto(不是boto3)中,我可以在~/.boto中创建一个与此类似的配置: [s3] host = localhost calling_format = boto

我试图使用配置文件(
~/aws/confg
)覆盖
bot3
中的某些变量。 在我的用例中,我想使用
fakes3
服务并向本地主机发送S3请求

>>> import boto
>>> boto.connect_s3()
S3Connection:localhost
>>> 
例子: 在
boto
(不是
boto3
)中,我可以在
~/.boto
中创建一个与此类似的配置:

[s3]
host = localhost
calling_format = boto.s3.connection.OrdinaryCallingFormat

[Boto]
is_secure = False
客户端可以成功地获取所需的更改,而不是将流量发送到真正的S3服务,而是将其发送到本地主机

>>> import boto
>>> boto.connect_s3()
S3Connection:localhost
>>> 
我尝试的是: 我正在尝试使用
bot3
库获得类似的结果。通过查看源代码,我发现我可以使用
~/aws/config
location。我还在
botocore
unittests
文件夹中找到了一个配置示例

我试图修改配置以实现所需的行为。但不幸的是,它不起作用

以下是配置:

[default]
aws_access_key_id = XXXXXXXXX
aws_secret_access_key = YYYYYYYYYYYYYY
region = us-east-1
is_secure = False
s3 =
    host = localhost
问题:
  • 如何使用配置文件覆盖
    客户端
    变量
  • 在哪里可以找到配置允许变量的完整列表

  • boto3
    仅从该配置文件读取s3的签名版本。您可能希望打开一个功能请求,但现在,您可以通过以下方式处理自定义端点:

    import boto3
    from botocore.utils import fix_s3_host
    resource = boto3.resource(service_name='s3', endpoint_url='http://localhost')
    resource.meta.client.meta.events.unregister('before-sign.s3', fix_s3_host)
    

    关于meta的这一点很重要,因为当它认为合适时,
    bot3
    会自动将端点更改为
    your_bucket\u name.s3.amazonaws.com
    。如果您同时使用自己的主机和s3,您可能希望覆盖该功能,而不是将其全部删除。

    您不能在配置文件中设置主机,但可以使用boto3从代码中覆盖它

    import boto3
    
    session = boto3.session.Session()
    
    s3_client = session.client(
        service_name='s3',
        aws_access_key_id='aaa',
        aws_secret_access_key='bbb',
        endpoint_url='http://localhost',
    )
    
    然后你可以像往常一样互动

    print(s3_client.list_buckets())
    
    另一种方式:

    import boto3
    
    s3client = boto3.client('s3', endpoint_url='http://X.X.x.X:8080/',
            aws_access_key_id = 'XXXXXXX',
            aws_secret_access_key = 'XXXXXXXX')
    bucket_name = 'aaaaa'
    s3client.create_bucket(Bucket=bucket_name)
    
    使用boto3资源:

    import boto3
    
    # use third party object storage
    s3 = boto3.resource('s3', endpoint_url='https://URL:443',
      aws_access_key_id = 'AccessKey',
      aws_secret_access_key = 'SecertKey')
    
    # Print out bucket names
    for bucket in s3.buckets.all():
     print(bucket.name)
    

    我刚刚向boto3提交了一份PR,添加了一个env var,允许您在需要使用使用boto3的依赖模块时覆盖endpoint_url(在这种情况下,您可能无法直接修改对boto3.client的调用)


    我如何为sns做到这一点?是否需要端点url的尾部斜杠和端口?如果点击AWS S3,则无需指定端口。可能是更新,但如果使用python 2:boto.connect\u S3(AWS\u access\u key\id=[access key],AWS\u secret\u access\u key=[secret key],我们可以做到这一点,host='localhost',port=4572,is_secure=True,调用_format=boto.s3.connection.OrdinaryCallingFormat())这对我没有帮助,我在执行list_bucket()时出错。
    botocore.exceptions.ClientError:发生错误(InvalidBucketName)调用ListBucket操作时:指定的bucket无效。
    能否共享您的boto版本@阿尼鲁达塔卡德酒店