Spark 2.0,DataFrame,过滤一个字符串列,不等运算符(!==)被弃用
Spark 2.0, DataFrame, filter a string column, unequal operator (!==) is deprecated
我正在尝试通过仅保留具有特定字符串列的非空行来过滤 DataFrame。
操作如下:
df.filter($"stringColumn" !== "")
我的编译器显示 !== 自从我迁移到 Spark 2.0.1 后已被弃用
如何检查 Spark > 2.0 中的字符串列值是否为空?
用=!=
代替:
df.filter($"stringColumn" =!= "")
使用 =!=
作为“不等于”运算符
df.where(col("COLUMN_NAME") =!= "")
我正在尝试通过仅保留具有特定字符串列的非空行来过滤 DataFrame。
操作如下:
df.filter($"stringColumn" !== "")
我的编译器显示 !== 自从我迁移到 Spark 2.0.1 后已被弃用
如何检查 Spark > 2.0 中的字符串列值是否为空?
用=!=
代替:
df.filter($"stringColumn" =!= "")
使用 =!=
作为“不等于”运算符
df.where(col("COLUMN_NAME") =!= "")