java.lang.ClassNotFoundException: com.microsoft.azure.storage.blob.BlobListingDetails 异常

Question

我正在尝试通过 pyspark 读取 azure blob 存储上的 table，即使我在 pyspark --jars 中添加了以下罐子，也会引发以下异常。

azure-storage-2.0.0.jar
hadoop-azure-2.7.0.jar

异常：

py4j.protocol.Py4JJavaError: An error occurred while calling o38.showString.
: java.lang.NoClassDefFoundError: com/microsoft/azure/storage/blob/BlobListingDetails
Caused by: java.lang.ClassNotFoundException: com.microsoft.azure.storage.blob.BlobListingDetails

知道需要添加哪个特定的 jar 来解决问题并在 spark 中读取 azure tables 吗？

Answer 1

我的建议是如下。

请下载 Azure Storage Java Client & Hadoop Azure Support 最新版本的 jar 文件，而不是旧版本。
检查这些 jar 的路径是否被添加到 conf/spark-env 文件中的 SPARK_CLASSPATH 环境变量中，或者您可以通过代码以编程方式添加 jar 路径 SparkContext.addJar("Path to jar created from maven [hint: mvn package]").

希望对您有所帮助。

java.lang.ClassNotFoundException: com.microsoft.azure.storage.blob.BlobListingDetails 异常

java.lang.ClassNotFoundException: com.microsoft.azure.storage.blob.BlobListingDetails Exception

azure-storage

pyspark-sql

azure-blob-storage