从 2.2.1 升级到 2.3 后，Spark 不解析 ivy 指定的存储库

Question

我们有使用 spark.jars.ivySettings 自定义 jars 分辨率的 spark 配置。 Spark 作业 运行 在没有互联网访问的环境中，所以我们想跳过 Maven 中央调用并使用我们的存储库。

在 spark 2.2.1 中一切正常，但是当我们升级到 2.3 时，在 ivy 设置中指定的存储库将被忽略。结果，由于缺少依赖项，我们的工作失败了。

用新的 spark.jars.repositories 指定我们的 repos 使它对 spark 可见，但不会改变顺序（所以它总是首先检查 maven central，我们不能允许）。

这是新版本引入的一些错误吗？还是我做错了什么？

Answer 1

好的，我找到问题出在哪里了。很显然，在 2.3 中获取 spark.jars.ivySettings 的方式发生了变化。现在系统属性用于此：

sys.props.get("spark.jars.ivySettings")

此更改后没有文档更新，对我来说这似乎是一个错误。