a41*_*415 5 ssis etl talend azure-logic-apps azure-data-factory
我有大约 20 个不同的数据源，所有小应用程序都有 API（一些肥皂和一些其他的）。我需要组合所有这些数据，将其转换并将数据存储到数据仓库中。我正在考虑 Azure SQL 数据库。但是，我不确定可以使用什么工具来实际获取 API 和数据。每个数据源在一天内可以建立的连接方面都有限制，大多数这些 API 需要运行多个 API 来获取数据。
我查看了 Azure 数据工厂----它不支持 SOAP API 我查看了逻辑应用----我不确定它是否可以执行复杂的 ETL 并可以检索数据
我想的另一个选择是安装带有 SQL Server 的 Azure VM，然后使用 Talend 通过 REST 和 SOAP 连接器获取数据并执行 ETL。我可以采取的另一种方法是使用 SSIS，而不是使用 Talend。但我相信我也需要第三方 Rest 和 Soap 连接器。
我正在寻找最具成本效益和可扩展性的解决方案。
任何建议都会非常有帮助。
Azure 数据工厂（目前）更多的是一个转换活动的协调器，而不是一个成熟的 ETL 工具，并且它可以运行可与 Web 服务 API 配合使用的自定义活动（例如，在 C# 中）。它一直在移动。看这里：
https://learn.microsoft.com/en-us/azure/data-factory/data-factory-use-custom-activities
然而，考虑到您的转变规模，您是对的，您可能希望考虑另一种选择。目前，我认为还没有多少人破解了如何在云中复制适当复杂的本地 ETL 体验的难题，但这种情况将会迅速改变。
您提到的另一个选项也可以（安装了 ETL 软件的 IaaS Azure VM）。对于 Talend，您不需要安装 SQL Server，除非您想将数据存储在其中而不是 Azure SQL 数据库中。它预装了许多连接器，如果您拥有 Talend 技能，那么它是一个不错的选择。
或者，SSIS 也可以工作：其预加载的 Web 服务任务涵盖了 SOAP API https://www.mssqltips.com/sqlservertip/3272/example-using-web-services-with-sql-server-integration-services/ 和您可以使用 REST 的第 3 方任务/连接器，或使用脚本任务/转换，即您自己的自定义 C# 代码。