如何在 Databricks 自动化集群上安装库

Question

我正在 运行在 Databricks Automated 集群上创建作业，但作业一直失败，因为它需要以下库：

com.microsoft.azure:azure-sqldb-spark:1.0.2

但是，集群需要 运行ning 才能安装库，但集群永远不会 运行 因为它失败了......有点像 catch-22 的情况。

因此，有人可以让我知道如何在 Databricks Automated 集群上安装库

从图中可以看出，没有选择添加任何库

Answer 1

packages/libraries 可以作为依赖项加载到作业设置中。

以下是在自动化集群中加载依赖的步骤。

第一步：从maven仓库下载库

示例： 我已经从 Maven 存储库下载 (com.microsoft.azure:azure-sqldb-spark:1.0.2) jar 文件。

第 2 步： 将库上传到 Databricks 工作区。

转到工作区 => 创建 => 库 => 上传之前下载的jar文件=>点击创建。

现在您的工作区中有 jar 文件。

Step3:到创建的job中添加库作为job的依赖库

转到已创建的作业 => 单击依赖库：添加 => Select工作区中可用的库 => 单击确定。