将 Google Analytics 数据提取到 S3 或 Redshift

Question

我正在寻找将 Google Analytics 数据（以及历史数据）摄取到 Redshift 的选项。欢迎任何有关工具、API 的建议。我在网上搜索并发现 Stitch 作为 ETL 工具之一，如果您有的话，请帮助我更好地了解此选项和其他选项。

Answer 1

Google Analytics 有一个 API（核心报告 API）。这对于获取偶尔的 KPI 很有用，但由于 API 限制，它不适用于导出大量历史数据。

对于大数据转储，最好使用 BigQuery 链接（“链接”，因为我想避免使用“集成”这个词，这意味着比实际拥有的控制级别更高）。

设置指向 BigQuery 的链接相当简单 - 您在Google Cloud Console 中创建一个项目，启用计费（BigQuery 需要付费，它不是 GA360 合同的一部分），在“IAM&Admin”中添加您的电子邮件地址作为 BigQuery Owner部分，转到您的 GA 帐户并在 GA 管理部分“属性设置/产品链接/所有产品/BigQuery 链接”中输入 BigQuery 项目 ID。此处描述了该过程：https : //support.google.com/analytics/answer/3416092

您可以在标准更新和流媒体更新之间进行选择——后者需要额外付费，但为您提供近乎实时的数据。前者每八小时每天更新 3 次 BigQuery 中的数据。

导出的数据不是原始数据，这已经是会话化的（即，虽然每次点击您将获得一行，但该点击的流量归因将基于会话）。

您将支付三种不同的费用 - 一种用于导出到 BigQuery，一种用于存储，另一种用于实际查询。定价记录在此处：https : //cloud.google.com/bigquery/pricing。

定价取决于地区等。在涉及法律事务时，存储数据的地区可能也很重要 - 例如，如果您必须遵守 GDPR，您的数据应该存储在欧盟。确保区域正确，因为在区域之间移动数据很麻烦（您需要将表导出到 Google Cloud 存储并在适当的区域重新导入它们）并且有点昂贵。

您不能只是删除数据并进行新的导出 - 在您第一次导出时，BigQuery 将回填过去 13 个月的数据，但是每次视图只会执行一次。因此，如果您需要历史数据，最好将其正确处理，因为如果您删除 BQ 中的数据，您将无法将其取回。

我实际上对 Redshift 了解不多，但根据您的评论，您希望在 Tableau 中显示数据，而 Tableau 直接连接到 BigQuery。

我们使用自定义 SQL 查询将数据导入 Tableau（Google Analytics 数据存储在日常表中，自定义 SQL 似乎是跨多个表查询数据的最简单方法）。BigQuery 有一个基于用户的缓存，只要查询没有变化，它就会持续 24 小时，因此您无需在每次打开报告时为查询付费。关注成本仍然是一个好主意 - 成本不是基于结果大小，而是基于必须搜索以产生所需结果的数据量，因此如果您在很长一段时间内查询并且可能做几个joins 一个查询就可以跑到几十欧元（乘以使用查询的用户数）。