使用Boto3配置文件覆盖S3端点

Question

概述:

我正在尝试boto3使用配置文件(~/aws/confg)覆盖某些变量.在我的用例中,我想使用fakes3服务并将S3请求发送到localhost.

例:

在boto(不boto3)中,我可以创建一个~/.boto与此类似的配置:

[s3]
host = localhost
calling_format = boto.s3.connection.OrdinaryCallingFormat

[Boto]
is_secure = False

客户端可以成功获取所需的更改,而不是将流量发送到真正的S3服务,它会将其发送到localhost.

>>> import boto
>>> boto.connect_s3()
S3Connection:localhost
>>> 

我做了什么:

我试图用boto3库来实现类似的结果.通过查看源代码,我发现我可以使用~/aws/config位置.我还在unittests文件夹中找到了一个示例配置botocore.

我试图修改配置以实现所需的行为.但不幸的是它不起作用.

这是配置:

[default]
aws_access_key_id = XXXXXXXXX
aws_secret_access_key = YYYYYYYYYYYYYY
region = us-east-1
is_secure = False
s3 =
    host = localhost

题:

1. 如何覆盖 clients使用配置文件变量？
2. 在哪里可以找到配置允许变量的完整列表？

Answer 1

您无法在配置文件中设置主机,但是您可以使用boto3从代码中覆盖它.

import boto3

session = boto3.session.Session()

s3_client = session.client(
    service_name='s3',
    aws_access_key_id='aaa',
    aws_secret_access_key='bbb',
    endpoint_url='http://localhost',
)

然后你可以照常进行互动.

print(s3_client.list_buckets())

Answer 2

其他方式：

import boto3

s3client = boto3.client('s3', endpoint_url='http://X.X.x.X:8080/',
        aws_access_key_id = 'XXXXXXX',
        aws_secret_access_key = 'XXXXXXXX')
bucket_name = 'aaaaa'
s3client.create_bucket(Bucket=bucket_name)

Answer 3

boto3仅从该配置文件读取s3的签名版本。您可能想打开功能请求，但是现在这里是如何解决自定义端点的方法：

import boto3
from botocore.utils import fix_s3_host
resource = boto3.resource(service_name='s3', endpoint_url='http://localhost')
resource.meta.client.meta.events.unregister('before-sign.s3', fix_s3_host)

关于meta的那一点很重要，因为它会boto3自动将端点更改为your_bucket_name.s3.amazonaws.com适合的1。如果要同时使用自己的主机和s3，则可能希望覆盖此功能，而不是完全删除它。

Answer 4

使用 boto3 资源：

import boto3

# use third party object storage
s3 = boto3.resource('s3', endpoint_url='https://URL:443',
  aws_access_key_id = 'AccessKey',
  aws_secret_access_key = 'SecertKey')

# Print out bucket names
for bucket in s3.buckets.all():
 print(bucket.name)

Answer 5

s3_client = boto3.client(
    "s3",
    "us-east-1",
    aws_access_key_id="test_id",
    aws_secret_access_key="test_key",
    endpoint_url="https://localhost:7000",
    use_ssl=True,
    verify=False,
)