我们可以在 DBT（数据构建工具）中调用任何外部 REST API 吗？

Question

我正在从事一些分析工作，我们需要将数据从一个来源转换到另一个来源，我们正在使用DBT进行转换。仅可通过 REST API 使用的数据之一。所以我的问题是我们可以在 dbt 文件中调用外部 API 并从其响应中提取字段吗？我们有东西吗？

Answer 1

引用创始人的博客文章：“dbt 到底是什么？” ,

\n

\n

“dbt 是 ELT 中的 T。它不会提取或加载数据，但它非常擅长转换已加载到仓库中的数据。这加载后的 \xe2\x80\x9c 转换\xe2\x80\x9d 架构正在变得众所周知\nas ELT（提取、加载、转换）。”

\n

\n

因此，除非您的仓库中已经有 api 响应，否则 dbt 将无法帮助您。您可能需要 ELT 引擎（Stitch、Fivetran、Airflow 等）来检索和存储 API 响应。但是，如果您将 API 响应存储为 JSON 对象或嵌套字符串 - dbt 可以使用它。

\n

这可能看起来有点平淡无奇，但一个伟大产品的魔力有时就在于它专注于在某一件事上做到真正、真正的伟大。

\n

编辑2022：如果您正在使用dbt支持http或curl函数调用的数据库并坚持走这条路线，我建议从以下问题作为起点。祝你好运。

\n