用于将Json文件实时存储到amazon S3的Python脚本

Question

我有一个python代码,使用Twitter Streaming API实时发送推文.我已经将输出存储到json文件中,当新的推文到达时,它继续动态更新.但是,我想将这个json保存到亚马逊s3,我可以使用亚马逊lambda服务来触发事件.有人建议我一个方法解决这个问题？

Answer 1

亚马逊有一个python库来与它的Web服务进行交互.它被称为Boto并支持S3和lambda服务.

要将json保存到S3:

import boto3

s3 = boto3.resource('s3')
s3.create_bucket(Bucket='jsonbucket')
s3.Object('jsonbucket', 'yourstoredjson.json').put(Body=open('yourlocaljson.json', 'rb'))

注意:在使用boto将文件保存到S3之前,必须为AWS 设置身份验证凭据.