在工作时间启动 Azure Databricks 集群

Question

我意识到 Databricks 集群有超时，这意味着 N 分钟后它将关闭集群。这是一个示例。

虽然这个功能很好，但它不是我们需要的。我们的团队工作日从早上 8 点到下午 6 点。我们希望集群在早上 8 点自动启动，在工作时间保持“始终开启”，然后在下午 6 点之后超时。有道理吗？

问：这可能吗？

Answer 1

很遗憾，这是不可能的。

但是，您可以通过清除“自动终止”复选框或指定 0 的非活动期来选择退出自动终止。

参考official document

Answer 2

Yes, it possible to start the databricks cluster as per your team works from 8AM to 6PM on weekdays using Azure Automation.

要在早上 8 点开始，您可以使用 Azure Automation 中的 PowerShell runbook 按照计划时间启动集群，如下所示：

PowerShell runbook 应如下所示：

$accessToken = "<Personal_Access_Token>"
$apiUrl = "<Azure_Databricks_Endpoint_URL>"
Set-DatabricksEnvironment -AccessToken $accessToken -ApiRootUrl $apiUrl
Start-DatabricksCluster -ClusterID "<Cluster_ID>"

要在下午 6 点停止，您可以设置属性在 600 分钟不活动后终止。

注意：如果您的营业时间（上午 8 点到下午 6 点，即 10 小时 x 60 分钟），您可以设置属性在 600 分钟不活动后终止，如下所示：

此 Tutorial: Start Azure Databricks clusters during business hours 将指导您创建 PowerShell Workflow runbook，以在工作时间内在 Azure Automation 中启动 Azure Databricks 集群。

Answer 3

您可以通过在 existing cluster 上安排一些小作业来完成 Databricks 中的所有操作。在这种情况下，如果集群停止，那么它会启动以执行作业，并会一直保持到自动终止功能启动（我建议使用 65-70 分钟作为自动终止设置以平衡费用）。你可以用类似

的东西创建一个笔记本

display(spark.range(1))

并安排它在选定的集群上执行。要在工作时间内保持集群运行ning，您需要定期将作业安排到运行。这可以通过以下 cron 表达式来完成（参见 Quartz docs for reference）：

* 0 8-17 * * MON-FRI

P.S。真的，可能 * 55 7-16 * * MON-FRI，早上 8 点前 5 分钟开始。

在工作时间启动 Azure Databricks 集群

Start Azure Databricks clusters during business hours

azure-databricks