使用 Azure 数据工厂将数据从 Google Big Query 移动到 Azure Data Lake Store

Question

我有一个场景，我需要在 Google Big Query 中连接 Azure 数据工厂 (v2) 以将数据移动到我的 Azure Data Lake，但我不工作。

当我创建一个链接服务时，我选择 Big Query 作为源，我把关于 BigQuery 的所有信息，作为项目名称，连接类型等，但是当我点击 Validade 按钮时，会为我显示一条消息：（例如）。 ..

UserError: ERROR [28000] [Microsoft][BigQuery] (80) Authentication failed: invalid_grant ERROR [28000] [Microsoft][BigQuery] (80) Authentication failed: invalid_grant'Type=,Message=ERROR [28000] [Microsoft][ BigQuery] (80) 身份验证失败：invalid_grant ERROR [28000] [Microsoft][BigQuery] (80) 身份验证失败：invalid_grant,Source=,', activityId: 05ff5ce1-5262-4794-853c-c9e39b7f4b71

任何的想法？有人已经测试过这个连接器了吗？

Tks。彼得·博诺莫

Answer 1

BigQuery 的 ADF 连接器文档解释了这些参数的含义，但没有提供有关如何获取这些参数值的任何指导。

我花了几天的时间，终于让它工作了。我使用“用户身份验证”是因为我想使用基于云的 IR。“Client Id”和“Client Secret”可以通过在 GCP Console 中创建新凭据来获取。但是要获得“刷新令牌”，您必须与 Google 进行 OAuth2 舞蹈并拦截令牌。

我整理了一个 PowerShell 脚本来为您执行此操作，并在 GitHub 上写了一篇文章，引导您完成向 Google BigQuery 验证 ADF v2 的过程：

https://github.com/AnalyticJeremy/ADF_BigQuery