我最近开始使用S3,并且遇到了将大文件(10 gb + - )上传和压缩到s3的需求.我正在使用的当前实现是创建一个临时压缩文件localy,然后将其上传到s3,最后删除临时文件.问题是,对于一个10 GB的文件,我有几乎20 gb localy存储,直到上传完成.我需要一种方法将文件传输到s3,然后在那里压缩它.这种方法可行吗？如果是的话,我应该如何解决它？如果没有,有什么办法可以最大限度地减少所需的当地空间吗？我见过有人认为该文件可以上传到S3,下载到同一区域的EC2,在那里压缩然后上传回S3,同时删除S3上的第一个副本.这可能会有效,但在我看来,用于创建一个文件的2次上传在成本上并不是一个优势.
我试图上传一个压缩流没有成功,但我刚刚发现s3不支持压缩流,现在我对如何继续无能为力.
我在.NET上使用gzip库
我一直在尝试为在 Google 自定义搜索上获得的结果设置一个日期范围，但还不知道如何设置。到目前为止，我的网址如下所示：
https://www.googleapis.com/customsearch/v1?key=MY_KEY&cx=MY_OTHER_KEY&q=bigdata&alt=json&fields=queries(request,nextPage),items(title,link,snippet)&cr=&start=1
例如，我试图获取 01/01/2014 到 02/01/2014 范围内的结果。有什么办法可以做到吗？