我已经设置了一个 Firehose 并选择了似乎会导致流数据最终出现在 Redshift 中的选项。我在 Redshift 中有一个 Firehose 和一个目标表。数据在中间 S3 存储桶中正确显示,但没有进入 Redshift。
我已允许 Firehose 区域 CIDR [1] 通过 Redshift 安全组访问集群。我已经向 Firehose 提供了 Redshift 集群的凭据并测试了这些凭据。该集群可公开访问。
该STL_LOAD_ERRORS
表是空的,我希望在该表中看到尝试和失败的任何复制语句产生的错误。DeliveryToRedshift
CloudWatch中也没有事件。这让我相信甚至没有人尝试进入 Redshift。
我正在使用Redshift COPY 选项为副本指定一个 jsonpath 文件。我目前有:json "s3://app-event-data/_jsonpaths/_bigtable.jsonpath.json"
。该文件存在于该位置的 s3 中,看起来像 jsonpath 文件 [3]。我还尝试向该框中添加凭据,但我认为这不是必需的。
我启用了 Redshift 登录,这表明 Firehose 已成功进行身份验证。然后我创建了一个新的参数组,启用了用户活动日志记录并重新启动了集群。现在等待下一个日志批次。
为什么是服务器故障?询问 Amazon AWS 的最佳 StackExchange 站点
我会标记这个问题:amazon-kinesis amazon-firehose amazon-redshift