在 spark-shell 中使用 avro 时出现 NoClassDefFoundError

Question

我不断收到

java.lang.NoClassDefFoundError: org/apache/avro/mapred/AvroWrapper

在 DataFrame 对象上调用 show() 时。我试图通过 shell (spark-shell --master yarn) 来做到这一点。我可以看到 shell 在创建 DataFrame 对象时识别模式，但是如果我对数据执行任何操作，它总是会在尝试实例化 AvroWrapper 时抛出 NoClassDefFoundError。我尝试在集群上的 $HDFS_USER/lib 目录中添加 avro-mapred-1.8.0.jar，甚至在启动 shell 时使用 --jar 选项将其包含在内。这些选项都不起作用。任何建议将不胜感激。下面是示例代码：

scala> import org.apache.spark.sql._
scala> import com.databricks.spark.avro._
scala> val sqc = new SQLContext(sc)
scala> val df = sqc.read.avro("my_avro_file") // recognizes the schema and creates the DataFrame object
scala> df.show // this is where I get NoClassDefFoundError

Answer 1

DataFrame 对象本身在 val df =... 行创建，但尚未读取数据。当您要求某种输出（如 df.count() 或 df.show()）时，Spark 仅开始读取和处理数据。

原来的问题是缺少avro-mapred包。尝试像这样启动您的 Spark Shell：

spark-shell --packages org.apache.avro:avro-mapred:1.7.7,com.databricks:spark-avro_2.10:2.0.1 Spark Avro 包将 Avro Mapred 包标记为已提供，但由于某种或其他原因它在您的系统（或类路径）上不可用。

Answer 2

如果其他人遇到这个问题，我终于解决了。我删除了 CDH spark 包并从 http://spark.apache.org/downloads.html 下载了它。之后一切正常。不确定 CDH 版本有什么问题，但我不会再浪费时间去弄明白了。

在 spark-shell 中使用 avro 时出现 NoClassDefFoundError

NoClassDefFoundError when using avro in spark-shell

apache-spark

spark-dataframe

spark-avro