使用AWS Kinesis进行大文件上传

sz *_*ech 2 amazon-s3 large-files amazon-web-services amazon-kinesis amazon-kinesis-firehose

我的客户有一项服务,可以存储很多文件,例如视频或声音文件。该服务运行良好,但是长时间存储文件似乎是一个挑战,我们希望使用AWS来存储这些文件。

问题如下,客户端想使用AWS kinesis将每个文件从我们的服务器传输到AWS。这可能吗?我们可以使用该服务传输文件吗?视频文件很多,而且每天都在增加。而且每个文件都比较大。

我们还想将文件的某些细节保存到dynamoDB中,为此我们可以使用Lambda函数。

最重要的是,我们需要可靠的数据传输选项。

E.J*_*nan 5

除非文件太小,否则KInesis并不是上载文件的正确工具-而且大多数视频几乎肯定会超过1MB的记录大小限制:

一条记录中的数据Blob(Base64编码之前的数据有效负载)的最大大小为1兆字节(MB)。

https://aws.amazon.com/kinesis/streams/faqs/

  • 您可以只使用S3 API和/或AWS-cli S3 cp或sync命令来复制文件-并在其周围包装一些自定义代码,以确保在删除之前将其撤消-那就是我要做的。 (2认同)