在工作时间启动 Azure Databricks 群集

Question

我意识到 Databricks 集群有超时，这意味着 N 分钟后它将关闭集群。这是一个示例。

尽管这个功能很好，但它并不是我们所需要的。我们的团队工作日从上午 8 点工作到下午 6 点。我们希望集群能够在上午 8 点自动启动，在工作时间内保持“始终开启”状态，然后在下午 6 点之后超时。合理？

问：这可能吗？

Answer 1

是的，可以使用 Azure 自动化按照您的团队在工作日上午 8 点到下午 6 点的工作方式启动 databricks 集群。

要在上午 8 点开始，您可以使用 Azure 自动化中的 PowerShell Runbook 按照计划时间启动集群，如下所示：

PowerShell Runbook 应如下所示：

$accessToken = "<Personal_Access_Token>"
$apiUrl = "<Azure_Databricks_Endpoint_URL>"
Set-DatabricksEnvironment -AccessToken $accessToken -ApiRootUrl $apiUrl
Start-DatabricksCluster -ClusterID "<Cluster_ID>"

要在下午 6 点停止，您可以使用 Azure 自动化中的 PowerShell Runbook 按照计划时间停止集群，如下所示：

PowerShell Runbook 应如下所示：

$accessToken = "<Personal_Access_Token>"
$apiUrl = "<Azure_Databricks_Endpoint_URL>"
Set-DatabricksEnvironment -AccessToken $accessToken -ApiRootUrl $apiUrl
Stop-DatabricksCluster -ClusterID "<Cluster_ID>"

或者

要在下午 6 点停止，您可以设置属性在 600 分钟不活动后终止。

注意：如果您的工作时间（上午 8 点至下午 6 点，即 10 小时 x 60 分钟），您可以将属性设置为“闲置 600 分钟后终止”，如下所示：

本教程：在工作时间启动 Azure Databricks 群集将引导你创建 PowerShell 工作流 Runbook，以便在工作时间在 Azure 自动化中启动 Azure Databricks 群集。