Spark 数据帧否定过滤条件

Question

我正在尝试对 DataFrame 应用否定过滤条件，如下所示。

!(`Ship Mode` LIKE '%Truck%')

下面哪个抛出异常

Exception in thread "main" java.lang.RuntimeException: [1.3] failure: identifier expected

(!(`Ship Mode` LIKE '%Truck%'))
  ^
    at scala.sys.package$.error(package.scala:27)
    at org.apache.spark.sql.catalyst.SqlParser.parseExpression(SqlParser.scala:47)
    at org.apache.spark.sql.DataFrame.filter(DataFrame.scala:748)
    at Main.main(Main.java:73)

在 MySQL 中，相同类型的否定过滤条件工作正常。请在下面找到

mysql> select count(*) from audit_log where !(operation like '%Log%' or operation like '%Proj%');
+----------+
| count(*) |
+----------+
|      129 |
+----------+
1 row in set (0.05 sec)

任何人都可以告诉我是否计划在未来的版本中在 Spark DataFrames 中修复这个问题，或者我应该提出一个 JIRA。

Answer 1

看起来您使用的是普通 SQLContext，其中 ! 不受支持：

import org.apache.spark.sql.SQLContext
val sqlContext = new SQLContext(sc)

val data = Seq(("a", 1, 3), ("b", 2, 6), ("c", -1, 2))

val df = sqlContext.createDataFrame(data).toDF("x1", "x2", "x3") 
df.registerTempTable("df")

sqlContext.sql("SELECT * FROM df WHERE ! (x2 >  2 OR x3 < 4)").show

// java.lang.RuntimeException: [1.25] failure: identifier expected
//
// SELECT * FROM df WHERE ! (x2 >  2 OR x3 < 4)
//                         ^

可以很容易地替换成NOT:

sqlContext.sql("SELECT * FROM df WHERE NOT (x2 >  2 OR x3 < 4)").show

// +---+---+---+
// | x1| x2| x3|
// +---+---+---+
// |  b|  2|  6|
// +---+---+---+

如果您仍想使用 !，您应该使用 HiveContext:

import org.apache.spark.sql.hive.HiveContext

val hiveContext = new HiveContext(sc)

val df1 = hiveContext.createDataFrame(data).toDF("x1", "x2", "x3")
df1.registerTempTable("df")

hiveContext.sql("SELECT * FROM df WHERE ! (x2 >  2 OR x3 < 4)").show

// +---+---+---+
// | x1| x2| x3|
// +---+---+---+
// |  b|  2|  6|
// +---+---+---+

Spark 数据帧否定过滤条件

Spark dataframe negate filter conditions

java

apache-spark

apache-spark-sql