构建 Scala 库并在数据块中使用它们
Building scala libraries and using them in databricks
我对 Scala 有一定的了解，我在数据块中使用它来满足我的数据工程需求。我想创建一些我可以在所有其他笔记本中使用的客户库。这就是我要找的东西
创建一个 scala notebook helperfunctions.scala 它将具有 ParseUrl()、GetUrl() 等函数
在 databricks 集群上部署这些库
使用 'import from helperfunctions as fn' 从另一个笔记本调用这些库并使用函数
你能告诉我如何开始吗？ databricks 提供什么？
我建议不要使用笔记本作为进口。
您可以使用您喜欢的工具从纯 JVM 代码编译您的函数并将其打包为 JAR，然后将其上传到类似 JitPack or GitHub Packages, which you can then import your utilities as a Maven reference like other Spark dependencies
的地方
我对 Scala 有一定的了解，我在数据块中使用它来满足我的数据工程需求。我想创建一些我可以在所有其他笔记本中使用的客户库。这就是我要找的东西
创建一个 scala notebook helperfunctions.scala 它将具有 ParseUrl()、GetUrl() 等函数
在 databricks 集群上部署这些库
使用 'import from helperfunctions as fn' 从另一个笔记本调用这些库并使用函数
你能告诉我如何开始吗？ databricks 提供什么？
我建议不要使用笔记本作为进口。
您可以使用您喜欢的工具从纯 JVM 代码编译您的函数并将其打包为 JAR，然后将其上传到类似 JitPack or GitHub Packages, which you can then import your utilities as a Maven reference like other Spark dependencies
的地方