Azure 数据资源管理器与 Azure Synapse Analytics(又名 SQL DW)

Man*_*har 1 azure-data-explorer azure-synapse

我为一家大型物联网公司设计了数据管理策略。我们的用例相当典型,我们摄取大量数据,分析它们,并生成客户可以查询的数据集,以了解他们需要的洞察力。

我正在查看 Azure 数据资源管理器和 Azure Synapse Analytics(又名 Azure SQL 数据仓库)的数据仓库端,并发现许多共性。是的,它们在后端使用不同的语言和不同的查询引擎,但两者都充当客户用来大规模查询只读数据的“服务层”。我找不到微软关于如何在两者之间进行选择的任何明确指导,或者将它们一起使用是否有意义?在这种情况下,每个服务的最佳用例或数据类型是什么?

如果你能启发我,请在这里分享你的想法。如果您知道有关此事的一些指导,请回复链接。

Uri*_*ash 5

经典和现代数据仓库模式首先涉及设计一个精心策划的数据模型,其中包含记录的实体及其属性,创建一个预定的 ETL 管道,将大小原始数据转换和聚合到数据模型中。然后你加载并提供它。在整个企业中使用这些实体时,策划的数据模型提供稳定性、一致性和可靠性。

Azure 数据资源管理器被设计为用于遥测的分析数据平台。在此工作负载中,您不会先聚合数据,而是将其保持为接近原始格式,因为您不想丢失数据。它允许您处理安全攻击、故障、竞争行为和一般未知数的意外性质,因为它允许从不同角度查看新鲜的原始数据并提供很大的灵活性。这就是为什么 Azure 数据资源管理器是 Microsoft 遥测的存储以及越来越多的分析解决方案,例如:Azure Monitor、Azure 安全中心、Azure Sentinel、Azure 时序洞察、IoT 中心、PlayFab 游戏分析、Windows Intune 分析、客户洞察、Teams Education 分析等。提供对原始数据的高性能分析,具有对文本、半结构化和结构化数据的读取模式功能。出于同样的原因,我们的许多合作伙伴和客户都在采用 ADX。查看概述详细描述这些概念的网络研讨会

Azure Synapse Analytics 打包了 SQL DW、ADF 和 Spark,使所有数据仓库模式组件高度集成,更易于使用和管理。正如我们在Azure 数据资源管理器虚拟活动中宣布的那样,Azure 数据资源管理器正在与 SQL 和 Spark 池一起集成到 Azure Synapse Analytics,以满足遥测工作负载 - 对高速、高容量、高多样性数据的实时分析。

查看一些物联网案例布勒、戴姆勒视频故事博世AGL,还有更多领先的物联网平台为此采用 Azure 数据资源管理器。如果您需要其他帮助,请联系我们。