Azure 数据工厂与 Azure 逻辑应用

Question

尝试自学一些 ETL 技能，并需要一些帮助来了解完成某些任务的最佳方法。我正在尝试将我们的客户服务平台 Freshdesk 中的数据引入我们的 SQL 数据仓库。我们是一家微软公司，我使用 Microsoft Azure 数据工厂和 Microsoft 逻辑应用程序完成了一些类似的任务。逻辑应用程序代码量低/无代码，而且更直观，所以我现在尝试使用它。然而，我觉得数据工厂可能是最有效的方法（尽管目前还不能 100% 确定如何做到这一点）。任何帮助或正确方向的指出都值得赞赏。

Answer 1

Azure 数据工厂

如果必须将大量数据从数据湖或企业数据仓库 (EDW) 移动到 Azure。对于大数据分析，您可能需要从多个来源将大量数据导入 Azure。在每种情况下实现最佳性能和可扩展性至关重要。

此外，在复制活动中，您可以考虑增加 DTU/并行复制选项，这可以帮助您提高复制性能。

逻辑应用程序

当谈到进行重复活动时，现代数据平台逻辑应用程序非常棒。有多种可用的连接器，并且似乎逻辑应用程序所能完成的任务的唯一限制是您自己的想象力。

事件驱动架构 (EDA)范式涉及生成

事件的检测、消耗和反应。在数据集成场景中，用户通常需要根据存储帐户事件激活管道，例如 Azure Blob 存储帐户中文件的到达或删除。

因此，Azure 数据工厂将是比 Azure 逻辑应用更好的选择，但当涉及到重复性任务时，我们可以使用 Azure 逻辑应用通过 ADF 来编排 ETL。采用哪一个的决定将在很大程度上受到当前案例的影响，并且值得探索将 ADF、逻辑应用程序和其他服务（例如函数）相结合。