Apache Spark GitHub 代码和 Maven 依赖

Apache Spark GitHub code and Maven dependency

请原谅我的基本问题。我需要使用一些 类 最新的 Apache Spark 代码来进行 Spark Streaming,这样我就可以在我的测试中使用它们 类 例如MicroBatchExecution.

但是,可用的 Maven 依赖项没有几个 类,例如 link 中的那个。

我如何访问这些?

Spark 的当前稳定版本 - 2.2.1 - 已于 2017 年 12 月 1 日发布。

您在 12 月 14 日引用的 class(MicroBatchExecution) was added in this commit,因此在当前版本中不可用。

由于 class 已合并到 master 中,您可以预期它将在下一个稳定版本 (2.3.0) 中可用。

我认为 Spark 不会将快照发布到公开可用的存储库,因此您的选择是:

  1. Build the JAR你自己

  1. 等待当前SNAPSHOT版本(2.3.0-SNAPSHOT)发布为正式版(2.3.0)