如何将第三方库添加到本地机器上的 spark 运行
how to add third party library to spark running on local machine
我正在收听 eventhub 流，并且看过将库附加到集群（databricks）的文章，我的代码运行文件。
为了调试，我 运行 本地 machine/cluster 上的代码，但由于缺少库而失败。当 运行 在本地计算机上时如何添加库。
我试过sparkcontext.addfile(fullpathtojar)，但还是一样的错误。
我使用了 spark-submit --packages {package} 并且有效。
您可以使用 spark-submit --packages
示例： spark-submit --packages org.postgresql:postgresql:42.1.1
您需要找到您正在使用的包并检查与 spark 的兼容性。
对于单个 jar 文件，您将使用 spark-submit --jars。
我正在收听 eventhub 流，并且看过将库附加到集群（databricks）的文章，我的代码运行文件。
为了调试，我 运行 本地 machine/cluster 上的代码，但由于缺少库而失败。当 运行 在本地计算机上时如何添加库。
我试过sparkcontext.addfile(fullpathtojar)，但还是一样的错误。
我使用了 spark-submit --packages {package} 并且有效。
您可以使用 spark-submit --packages
示例： spark-submit --packages org.postgresql:postgresql:42.1.1
您需要找到您正在使用的包并检查与 spark 的兼容性。
对于单个 jar 文件，您将使用 spark-submit --jars。