在 Databricks notebook 中可视化查询计划的能力发生了什么变化?

What happened to the ability to visualize query plans in a Databricks notebook?

有一个旧的(2014 年)关于 Youtube 的演讲,演讲者在 Databricks 笔记本中可视化了一个查询计划。这是屏幕截图:

我正在使用 databricks runtime 5.5 LTS ML,每当我尝试在查询计划中调用 viz 时,我都会收到此类错误:

error: value viz is not a member of org.apache.spark.sql.catalyst.plans.logical.LogicalPlan

Spark 2.0+ 是否已弃用此功能,或者我是否需要 install/import 其他库才能获得此功能?

我认为不再有它的可视化,但它们确实解释了 SQL 查询,我认为这正是您要找的。

spark.sql("your SQL query").explain(true)

yourDataframe.explain(true)