建议将数据写入Amazon Kinesis的方法

Question

我试图找出可以将数据写入kinesis的托管服务.用这种方式我需要我的消息应该至少有一个交付到kinesis流.是建议还是好主意使用SQS写入Kinesis.我正在寻找可以水平扩展的解决方案.

Answer 1

根据您的经验和环境,有多种选择可以写入Kinesis.

最直接的方法是直接调用put-record API.您可以使用put-record写入一条记录,也可以将它们与put-records一起批处理.各种SDK(Java,.NET,php,ruby,javascript,python ..)支持这些API调用.

由于Kinesis最有用的用例之一是在移动设备或浏览器上收集数百万用户的信息,因此浏览器中有适用于iOS,Android和JavaScript的专用移动SDK.见这里:http://aws.amazon.com/mobile/sdk/.您可以使用这些SDK来消除对Kinesis之外的摄取基础架构的需求.

其他一些选项是使用FluentD等工具,这些工具在发货日志中非常流行.在这里看到一个可以让您的生活更轻松的连接器:https://github.com/awslabs/aws-fluent-plugin-kinesis

最近的另一个选择是使用Kinesis Producer Library(KPL)添加将多个事件聚合在一起形成单个事件的功能,以便将分片容量优化到极限.它还允许生产者异步写入Kinesis,KPL将处理阻塞,退出和其他延迟导致方法.

log4j appender也是一种流行的方式,可以直接将日志事件写入kinesis,而开发人员只需要很少的努力.有关更多详细信息,请参见此处:https://github.com/awslabs/kinesis-log4j-appender