小编sup*_*rus的帖子

python gzip文件在内存中并上传到s3

我正在使用 python 2.7...

我正在尝试 cat 两个日志文件,使用 sed 从特定日期获取数据。需要压缩文件并将其上传到s3,而不在系统上创建任何临时文件,

sed_command = "sed -n '/{}/,/{}/p'".format(last_date, last_date)
Run Code Online (Sandbox Code Playgroud)

流动 :

  1. 猫两个文件。

示例:cat 文件1 文件2

  1. 在内存中运行 sed 操作。
  2. 使用 zip 或 gzip 将结果压缩到内存中。
  3. 将内存中的压缩文件上传到s3。

我已经通过在系统上创建临时文件并在上传到 s3 完成后将其删除来成功完成此操作。我找不到一个可行的解决方案来使其在不创建任何临时文件的情况下运行。

python gzip sed boto stringio

3
推荐指数
1
解决办法
5021
查看次数

标签 统计

boto ×1

gzip ×1

python ×1

sed ×1

stringio ×1