小编km6*_*zla的帖子

如何配置 AWS Kinesis Firehose 以便能够复制到 Redshift?

问题

我已经设置了一个 Firehose 并选择了似乎会导致流数据最终出现在 Redshift 中的选项。我在 Redshift 中有一个 Firehose 和一个目标表。数据在中间 S3 存储桶中正确显示,但没有进入 Redshift。

我已允许 Firehose 区域 CIDR [1] 通过 Redshift 安全组访问集群。我已经向 Firehose 提供了 Redshift 集群的凭据并测试了这些凭据。该集群可公开访问。

STL_LOAD_ERRORS表是空的,我希望在该表中看到尝试和失败的任何复制语句产生的错误。DeliveryToRedshiftCloudWatch中也没有事件。这让我相信甚至没有人尝试进入 Redshift。

我正在使用Redshift COPY 选项为副本指定一个 jsonpath 文件。我目前有:json "s3://app-event-data/_jsonpaths/_bigtable.jsonpath.json"。该文件存在于该位置的 s3 中,看起来像 jsonpath 文件 [3]。我还尝试向该框中添加凭据,但我认为这不是必需的。

更新 1

我启用了 Redshift 登录,这表明 Firehose 已成功进行身份验证。然后我创建了一个新的参数组,启用了用户活动日志记录并重新启动了集群。现在等待下一个日志批次。

参考

  1. http://docs.aws.amazon.com/firehose/latest/dev/firehose-dg.pdf
  2. https://aws.amazon.com/kinesis/firehose/
  3. http://docs.aws.amazon.com/redshift/latest/dg/copy-usage_notes-copy-from-json.html

为什么是服务器故障?询问 Amazon AWS 的最佳 StackExchange 站点

我会标记这个问题:amazon-kinesis amazon-firehose amazon-redshift

amazon-web-services

7
推荐指数
1
解决办法
4160
查看次数

标签 统计

amazon-web-services ×1