Spark2解释器添加依赖后空指针异常

Question

我正在尝试将此依赖项添加到 zeppelin 中的 spark 2 解释器

https://mvnrepository.com/artifact/org.apache.spark/spark-sql_2.11/2.2.0

但是添加依赖后，运行任何代码都出现空指针异常

Answer 1

你不需要添加spark-sql，它已经在spark解释器中了。

Answer 2

只需在笔记本顶部添加 %spark.sql 即可提供 SQL 环境

https://zeppelin.apache.org/docs/0.8.0/interpreter/spark.html#overview

Answer 3

我解决了这个问题。我在 Scala 中定义了一个 class 。 to_date 和 date_format 方法在 class 中使用，但我的导入语句在 class 之外。我所要做的就是将导入语句放在 class 括号内，它工作正常。

case class HelperClass(){
import org.apache.spark.sql.functions._
import org.apache.spark.sql.types._

var fire_services_customDF = fire_servicesDF
var data=fire_servicesDF

def SetDatatypes() : Unit = {
    data=fire_services_customDF.withColumn("CallDateTmp",date_format(to_date(col("CallDate"), "MM/dd/yy"), "yyyy-MM-dd").cast("timestamp"))
}

def PrintSchema() : Unit= {
         data.printSchema
}

}