选择大数据仓库

Question

如今,我一直受到创建数据仓库以存储和处理大量数据的挑战.预计金额每天超过70亿次.数据应保存7天.平均事件大小约为0.5 - 1 Kb.我们需要将数据处理为:

• 生成报告;
• 火车模型.

目前我正在评估:

• Google Bigquery
• 红移
• Stratio + Cassandra + AWS + EMR + EBS
• Cloudera + AWS

所以我对以下内容感兴趣:

• 您在公司内部使用的解决方案(框架,设置,数据库,节点数量等)
• 任何实际成本示例/比较如果可能的话
• 管理复杂性(devops)

Answer 1

我们使用 BigQuery，优点：

• SQL，基于列
• 支持列中的 JSON 数据 --> 优点，非结构化
• 极其便宜 1 PB 每月约 21,000 美元。
• 由 Google 托管的服务，无 DevOps
• 100 000 行/秒的摄取能力
• 请参阅链接演示文稿中的幻灯片#24

您可以找到更多用例和架构：http://www.slideshare.net/martonkodok/complex-realtime-event-analytics-using-bigquery-crunch-warmup