使用 scala 和 spark 的时间序列。滚动 window

Question

我正在尝试使用 Scala 和 spark 进行以下练习。

给定一个包含两列的文件：以秒为单位的时间和一个值

示例：

|---------------------|------------------|
|     seconds         |     value        |
|---------------------|------------------|
|          225        |         1,5      |
|          245        |         0,5      |
|          300        |         2,4      |
|          319        |         1,2      |
|          320        |         4,6      |
|---------------------|------------------|

并给定一个值 V 用于滚动 window 应创建此输出：

示例 V=20

|--------------|---------|--------------------|----------------------|
|     seconds  |  value  |  num_row_in_window |sum_values_in_windows |
|--------------|---------|--------------------|----------------------|
|       225    |    1,5  |          1         |          1,5         |
|       245    |    0,5  |          2         |           2          |
|       300    |    2,4  |          1         |          2,4         |
|       319    |    1,2  |          2         |          3,6         |
|       320    |    4,6  |          3         |          8,2         |
|--------------|---------|--------------------|----------------------|

num_row_in_window是当前window和包含的行数 sum_values_in_windows是当前window.

中包含的值的总和

我一直在尝试使用滑动功能或使用 sql api，但考虑到我是 spark/scala新手.

Answer 1

这是 window 功能的完美应用。通过使用 rangeBetween，您可以将滑动 window 设置为 20 秒。请注意，在下面的示例中没有指定分区（没有 partitionBy）。如果没有分区，此代码将无法扩展：

import ss.implicits._

val df = Seq(
  (225, 1.5),
  (245, 0.5),
  (300, 2.4),
  (319, 1.2),
  (320, 4.6)
).toDF("seconds", "value")

val window = Window.orderBy($"seconds").rangeBetween(-20L, 0L) // add partitioning here

df
  .withColumn("num_row_in_window", sum(lit(1)).over(window))
  .withColumn("sum_values_in_window", sum($"value").over(window))
  .show()

+-------+-----+-----------------+--------------------+
|seconds|value|num_row_in_window|sum_values_in_window|
+-------+-----+-----------------+--------------------+
|    225|  1.5|                1|                 1.5|
|    245|  0.5|                2|                 2.0|
|    300|  2.4|                1|                 2.4|
|    319|  1.2|                2|                 3.6| 
|    320|  4.6|                3|                 8.2|
+-------+-----+-----------------+--------------------+

使用 scala 和 spark 的时间序列。滚动 window

Time series with scala and spark. Rolling window

scala

time-series

window-functions

apache-spark