相关疑难解决方法(0)

使用boto3和回调跟踪S3文件的下载进度

我正在尝试使用boto3从S3下载文本文件.

这是我写的.

class ProgressPercentage(object):
    def __init__(self, filename):
        self._filename = filename
        self._size = float(os.path.getsize(filename))
        self._seen_so_far = 0
        self._lock = threading.Lock()

    def __call__(self, bytes_amount):
        # To simplify we'll assume this is hooked up
        # to a single filename.
        with self._lock:
            self._seen_so_far += bytes_amount
            percentage = round((self._seen_so_far / self._size) * 100,2)
            LoggingFile('{} is the file name. {} out of {} done. The percentage completed is {} %'.format(str(self._filename), str(self._seen_so_far), str(self._size),str(percentage)))
            sys.stdout.flush()
Run Code Online (Sandbox Code Playgroud)

而我正在使用它

transfer.download_file(BUCKET_NAME,FILE_NAME,'{}{}'.format(LOCAL_PATH_TEMP , FILE_NAME),callback = ProgressPercentage(LOCAL_PATH_TEMP + FILE_NAME))
Run Code Online (Sandbox Code Playgroud)

这给了我一个错误,该文件夹中没有该文件.显然,当我已经在同一文件夹中有一个具有此名称的文件时,它可以工作,但是当我下载一个新文件时,它会出错.

我需要做出哪些更正?

python callback amazon-s3 boto3

8
推荐指数
4
解决办法
8643
查看次数

boto3.Bucket.upload_file是阻止还是非阻止?

boto3.Bucket.upload_file是阻止还是非阻止?

即如果我要运行以下

bucket = session.Bucket(bucket_name)
bucket.upload_file(Key=s3_key, Filename=source_path)
os.remove(source_path)
Run Code Online (Sandbox Code Playgroud)

我是否有竞争条件,具体取决于文件的大小?还是可以保证在删除文件之前完成上传?

python amazon-s3 amazon-web-services boto3

6
推荐指数
1
解决办法
3636
查看次数

标签 统计

amazon-s3 ×2

boto3 ×2

python ×2

amazon-web-services ×1

callback ×1