Kinesis Firehose 在没有分隔符逗号的情况下将 JSON 对象放入 S3

Question

在发送数据之前，我使用 JSON.stringify 到数据，它看起来像这样

{"data": [{"key1": value1, "key2": value2}, {"key1": value1, "key2": value2}]}

但是一旦它通过 AWS API Gateway 并且 Kinesis Firehose 将它放入 S3，它看起来像这样

    {
     "key1": value1, 
     "key2": value2
    }{
     "key1": value1, 
     "key2": value2
    }

JSON 对象之间的分隔符逗号不见了，但我需要它来正确处理数据。

API 网关中的模板：

#set($root = $input.path('$'))
{
    "DeliveryStreamName": "some-delivery-stream",
    "Records": [
#foreach($r in $root.data)
#set($data = "{
    ""key1"": ""$r.value1"",
    ""key2"": ""$r.value2""
}")
    {
        "Data": "$util.base64Encode($data)"
    }#if($foreach.hasNext),#end
#end
    ]
}

Answer 1

我最近遇到了同样的问题，我能找到的唯一答案基本上只是在您将它们发布到 Kinesis 流时在每个 JSON 消息的末尾添加换行符（“\n”），或者使用原始某种类型的 JSON 解码器方法，可以处理没有分隔符的串联 JSON 对象。

我发布了一个 python 代码解决方案，可以在相关的 Stack Overflow 帖子中找到：https : //stackoverflow.com/a/49417680/1546785