Databricks 集群终止。原因：云提供商启动失败

Question

我正在将 Azure Databricks 与使用 vnet 注入的自定义配置结合使用，但无法在工作区中启动群集。给出的错误消息没有记录在 Microsoft 或 databricks 文档中的任何位置，这意味着我无法诊断集群未启动的原因。我重现了以下错误消息：

Instance ID: [redacted]

Azure error message: 
Instance bootstrap failed.
Failure message: Cloud Provider Failure. Azure VM Extension stuck on transitioning state. Please try again later.
VM extension code: ProvisioningState/transitioning
instanceId: InstanceId([redacted])
workerEnv: workerenv-6662162805421143
Additional details (may be truncated): Enable in progress

虽然它说“请稍后重试”，但我一整天都在尝试这个并收到相同的消息，这让我认为这个错误消息不是描述性的，而且确实发生了其他事情。

有人对问题可能是什么有想法吗？

Answer 1

这似乎是从 databricks 实例到中央 databricks 服务器的连接的问题。我们的 vnet 注入设置似乎不足以将请求路由到正确的位置。最终，通过将 databricks 实例更改为使用 vnet 对等（带有其自己的自定义 vnet）而不是 vnet 注入，问题得到了解决。这样，databricks 实例就能够与另一个 vnet 中的资源进行通信，同时仍然能够启动集群。

这满足了我们的项目要求，但在某些情况下可能不足以满足项目的要求。希望 Azure Databricks 团队至少记录此问题，以减少将来的混乱。

我还尝试为数据块创建自定义用户定义的路由，但这并没有解决问题。