spark 中的 Apache beam StateSpec
Apache beam StateSpec in spark
我在 beam 中使用 StateSpec，运行 在 spark runner 中使用
我遇到以下错误
Exception in thread "main" java.lang.UnsupportedOperationException: Found StateId annotations on com.walmart.rum.StreamingApp, but DoFn cannot yet be used with state in the SparkRunner.
at org.apache.beam.runners.spark.translation.TranslationUtils.rejectStateAndTimers(TranslationUtils.java:269)
这是否意味着我们的 StateSpec 不完全受支持或某些版本受支持？
状态和计时器在批处理模式下仅支持，在 Spark 运行程序的流模式下不支持。您似乎有流式应用程序，这就是它失败的原因。
我在 beam 中使用 StateSpec，运行 在 spark runner 中使用
我遇到以下错误
Exception in thread "main" java.lang.UnsupportedOperationException: Found StateId annotations on com.walmart.rum.StreamingApp, but DoFn cannot yet be used with state in the SparkRunner. at org.apache.beam.runners.spark.translation.TranslationUtils.rejectStateAndTimers(TranslationUtils.java:269)
这是否意味着我们的 StateSpec 不完全受支持或某些版本受支持？
状态和计时器在批处理模式下仅支持，在 Spark 运行程序的流模式下不支持。您似乎有流式应用程序，这就是它失败的原因。