Spark 2.0,DataFrame,过滤一个字符串列,不等运算符(!==)被弃用

Spark 2.0, DataFrame, filter a string column, unequal operator (!==) is deprecated

我正在尝试通过仅保留具有特定字符串列的非空行来过滤 DataFrame。

操作如下:

df.filter($"stringColumn" !== "")

我的编译器显示 !== 自从我迁移到 Spark 2.0.1 后已被弃用

如何检查 Spark > 2.0 中的字符串列值是否为空?

=!=代替:

df.filter($"stringColumn" =!= "")

使用 =!= 作为“不等于”运算符

df.where(col("COLUMN_NAME") =!= "")