eventTime 中的 spark 结构化流 sql window

Question

这个相同查询的等效字符串 SQL 查询如何：

val streamingWindowDF = 
  streamingInputDF
    .groupBy(
      $"sessiondId",
      window($"time", "10 seconds","2 seconds"))

我想做同样的事情，但是 SQL 字符串类似于：

val result = spark.sql(".....")

我想做的是滑动window.

谢谢。

Answer 1

window 是一个 valid SQL function 并且可以这样使用，即

SELECT COUNT(*)
FROM df
GROUP BY  window(time, '10 seconds', '2 seconds')

或者简单地说SELECT

SELECT *, window(time, '10 seconds', '2 seconds') AS w
FROM df

spark structured streaming sql window in eventTime