Azure 数据资源管理器 (ADX) 与 Polybase 与 Databricks

Question

题

今天我发现了另一个名为Azure 数据资源管理器 (ADX) 的Azure 服务。很抱歉这样的服务比较，除了ADX我都很好理解。我觉得有一个很大的功能覆盖，所以想知道 ADX 在 Azure 基础设施中的确切作用。

当 ADX 明显优于 Synapse/Databricks 时，用例是什么？

我对ADX的理解

AFAIK，ADX 是一个集群（按小时计费，如 Databricks 或 Synapse，而不是 ADLA），它为您处理数据库，并针对大规模流式摄取和临时查询进行了优化。它还支持外部表，性能较差但更便宜（您需要为 Blob/ADLS 存储付费）。

细节

我不明白为什么我们需要 ADX，如果：

1. Azure Synapse 具有类似的定价模型（集群、每小时），它还支持大规模流式摄取和临时查询。Azure Synapse 支持通过 Polybase 外部表查询 BlobStorage/ADLS。
2. Databricks 是另一种能够做到这一点的服务。使用 Databricks Ingest 和 Delta Lake - 您可以摄取流数据并以两种方式使用它们：流和批处理方式。实际上，您可以拥有为您处理临时查询的交互式集群。
3. 此外，如果您需要实时分析，请使用 Azure 流分析。如果您想要类似 Athena 的体验 - 使用 ADLA（它仍然不支持 ADLS gen2）。

Answer 1

Azure 数据资源管理器专注于高速、高容量、高差异（大数据的 3 V）。它提供对流入的此类数据的超快速交互式查询。它原生支持 json 和文本，包括全文搜索和索引。

它用于与大量垂直领域中的传感活动和时间序列相关的广泛场景：物联网、API 日志、事务监控和临时数据探索。

Microsoft 提供 ADX 即服务，因为它是 Microsoft 用于其自己的遥测的主要服务以及我们在安全、运营监控、游戏分析、产品洞察使用分析、物联网、联网车辆中提供的所有分析解决方案即服务建立在 ADX 之上。您可以在我们的文档中找到完整列表。为清楚起见，SQL、Synapse、CosmosDB 将其遥测数据存储在 Azure 数据资源管理器中……

SQL DW（AKA Synapse SQL pool）是一个优秀的数据仓库，实现了现代数据仓库模式。ETL-> 精选数据模型-> 通过分析服务或 Power BI 加载和服务。
ADX 用于实时分析，支持对数秒之内的新数据应用读取模式 (SOR)。

在替换用于日志、时间序列数据库等的基于 SOLR/Lucine 的变体时，将 ADX 视为一个完全托管的平台。

在大型工作负载中试用它，您会发现它比替代方案便宜得多，而且功能更强大、性能更高。

如果您需要帮助，请联系我。