这些指标对 Spark Structured Streaming 意味着什么？

Question

spark.streams.addListener(new StreamingQueryListener() {
    ......
    override def onQueryProgress(queryProgress: QueryProgressEvent): Unit = {
        println("Query made progress: " + queryProgress.progress)
    }
    ......
})

当 StreamingQueryListener 添加到 Spark Structured Streaming 会话并连续输出 queryProgress 时，您将获得的指标之一是 durationMs:

Query made progress: {
  ......
  "durationMs" : {
    "addBatch" : 159136,
    "getBatch" : 0,
    "getEndOffset" : 0,
    "queryPlanning" : 38,
    "setOffsetRange" : 14,
    "triggerExecution" : 159518,
    "walCommit" : 182
  }
  ......
}

谁能告诉我 durationMs 中的那些子指标在 spark 上下文中的含义是什么？比如"addBatch 159136".

是什么意思

Answer 1

https://www.waitingforcode.com/apache-spark-structured-streaming/query-metrics-apache-spark-structured-streaming/read

这是一个很好的网站，解决了各个方面以及更多问题，因此将功劳归于此网站。

这些指标对 Spark Structured Streaming 意味着什么？

What do these metrics mean for Spark Structured Streaming?

apache-spark

spark-structured-streaming