用于开发的 Databricks 本地实例

Question

我目前在一个小团队工作，该团队正在开发基于 Databricks 的解决方案。目前，我们的规模足够小，可以使用 Databricks 的云实例进行工作。随着团队的成长，这实际上并不实用。

是否有可以出于开发目的而安装的 Databricks 的“本地”安装（它不需要是可扩展版本，但需要本质上具有完整功能）？换句话说，是否有一种方法可以让每个开发人员在其本地计算机上创建自己的 Databricks 开发实例？

是否有其他方法为每个开发人员提供专用的 Databricks 环境？

Answer 1

Databricks 作为云部署平台，在部署中利用了许多云技术。例如，Auto Loader使用 EventBridge、SNS 和 S3 在新数据文件到达 AWS 时增量摄取新数据文件，而 Azure 使用 EventHubs、通知中心和 ADLS 技术。他们的目标是在 AWS、Azure 和 GCP 上创建无缝的外观和感觉，但只能在云中做到这一点。

对于本地部署，您也许可以使用Apache Spark和MlFlow并创建类似的体验，但笔记本体验不是开源的。Databricks 的工作流程是专有的，尽管 Databricks 已经开源了许多技术，例如Delta Lake。本地 Spark、MlFlow 可能足以满足某些需求，然后很少使用云，但 Databricks 提供的无缝工作流程很难在领先的云供应商之外复制。