Joe*_*han 6 analytics data-warehouse google-cloud-storage google-bigquery google-cloud-platform
另外,直接在 BigQuery 中进行转换/连接有什么问题吗?我想尽量减少我正在设置的数据仓库所涉及的组件和步骤的数量(零售连锁店的简单交易和库存数据。)
通过云存储加载数据是最快(也是最便宜)的方式。可以通过应用程序直接加载(使用流式插入,这会增加一些额外的成本)
对于进行转换 - 如果您计划/需要做什么可以在 BigQuery 中完成 - 您应该在 BigQuery 中完成:) - 这是进行 ETL 的最佳且最快的方法。但您应该考虑运行查询的成本(如果您不向 Google 支付插槽费用 - 每 1TB 扫描可能需要 5 美元)
复杂 ETL 的另一个不错的选择是使用数据流 - 但它很快就会变得昂贵 - 以换取更大的灵活性。
归档时间: |
|
查看次数: |
1931 次 |
最近记录: |