Databricks 光子与催化剂优化器

Question

我正在阅读有关由光子驱动的 Delta 引擎的新数据块功能的信息。从我阅读的理解来看，我有一种感觉，它类似于催化剂优化器。光子会取代催化剂吗？

光子引擎与催化剂优化器有何不同

链接参考如下

Answer 1

我认为你混淆了两件事：

Catalyst 优化器旨在提出“执行查询所需的步骤”。例如，优化器将决定如何以及何时进行连接、聚合、过滤器等。何时应该做什么。用技术术语来说，这也称为“物理计划”。（Catalyst 优化器更多地用于逻辑规划，但这是一个更精细的细节）
执行引擎实际上是执行优化器决定的步骤的引擎。它不会对步骤进行二次猜测，而是确保尽可能有效地执行这些步骤。

Delta Engine（或 Photon）是一个执行引擎，而不是优化器。它与目前开源Spark中可用的Tungsten（全阶段代码生成）执行引擎更直接可比。Tungsten 和 Delta-Engine 都是执行引擎。