背压 属性 在 Spark Streaming 中如何工作？

Question

我有一个接收单个事件（字符串）的 CustomReceiver。接收到的单个事件在 spark 应用程序的 运行 时间内用于从 nosql 读取数据并应用 transformations.When 的处理时间观察到每个批次都大于我设置的批次间隔 属性.

spark.streaming.backpressure.enabled=真

之后，我预计 CustomReceiver 不会在批处理的处理时间长于批 window 时触发和接收事件，但这并没有发生，并且仍在添加积压的批。我在这里遗漏了什么吗？

Answer 1

尝试查看 this and this 篇文章。