用于显示当前集群配置的 Azure Databricks python 命令

Question

我目前正在优化我们的 ETL 过程，希望能够看到处理数据时使用的现有集群配置。这样，我可以随着时间的推移跟踪我应该使用的工作节点大小。

是否有 return 集群工作程序的命令和 python 中的大小，以便我可以写成数据框？

Answer 1

您可以通过调用 Cluster Get REST API 获取此信息 - 它将 return JSON 包括工作人员数量、节点类型等。像这样：

import requests
ctx = dbutils.notebook.entry_point.getDbutils().notebook().getContext()
host_name = ctx.tags().get("browserHostName").get()
host_token = ctx.apiToken().get()
cluster_id = ctx.tags().get("clusterId").get()

response = requests.get(
    f'https://{host_name}/api/2.0/clusters/get?cluster_id={cluster_id}',
    headers={'Authorization': f'Bearer {host_token}'}
  ).json()
num_workers = response['num_workers']

P.S。如果您有非笔记本作业，那么 PAT 令牌可能不可用，但您可以生成您的令牌，并将其放在那里

用于显示当前集群配置的 Azure Databricks python 命令

Azure Databricks python command to show current cluster config

python

azure

databricks

azure-databricks