我的哪个 Databricks 笔记本使用集群节点?
Which of my Databricks notebook uses the cluster nodes?
我 运行 多个笔记本同时在 Azure Databricks Spark 集群上。
如何查看一段时间内各个notebook\app的集群节点使用率?
"Spark Cluster UI - Master" 和 "Spark UI" 选项卡均未提供此类信息
目前没有 automated/built 支持隔离 Databricks 上特定笔记本的使用。
也就是说,一种方法是使用可用于 Databricks 集群的 Ganglia Metrics。
如果您同时 运行 两台笔记本电脑,将很难辨别哪台笔记本电脑负责特定的使用量。我建议 运行 完成一个笔记本并记下集群上的使用情况。然后,运行第二个notebook完成并观察它的使用。然后,您可以比较两者,并了解每个人如何利用集群上的资源的基准。
我 运行 多个笔记本同时在 Azure Databricks Spark 集群上。
如何查看一段时间内各个notebook\app的集群节点使用率?
"Spark Cluster UI - Master" 和 "Spark UI" 选项卡均未提供此类信息
目前没有 automated/built 支持隔离 Databricks 上特定笔记本的使用。
也就是说,一种方法是使用可用于 Databricks 集群的 Ganglia Metrics。
如果您同时 运行 两台笔记本电脑,将很难辨别哪台笔记本电脑负责特定的使用量。我建议 运行 完成一个笔记本并记下集群上的使用情况。然后,运行第二个notebook完成并观察它的使用。然后,您可以比较两者,并了解每个人如何利用集群上的资源的基准。