在 Cloud Data Fusion 中加载多个表失败并显示 DAG 错误

Question

我有一个包含大约 1000 个表的 MS SQL Server 数据源，我需要将其放入 BigQuery。我希望使用 Data Fusion 将它们全部加载到 BigQuery 中的临时表中，然后对它们执行转换。但是，一旦我创建了一个带有两个“岛”的管道，它就会出现 DAG 错误。这是一个功能还是我做错了什么？我在文档中找不到任何内容。我的管道如下所示：

我在尝试部署时遇到的错误是：“无效的 DAG。有一个由阶段 BigTest、BigQuery BigTest 组成的岛（没有其他阶段连接到它们）。”

Answer 1

每个管道都是一个 DAG（有向无环图），所有的源和接收器都应该连接，以使配置有效。您可以使用多表源插件，该插件可以一次将多个表引入 BQ 中的登录表。

您可以为您的用例使用多表插件和 BQ 多表接收器。