AWS EMR 5.20 和 Java 版本支持

Question

我想知道 Amazon EMR 5.20 AMI 是否支持 Java9？

我在这里找不到信息。我有兴趣将 Spark 2.4.0 与 JDK 9 和 Scala 2.12 一起使用。

https://docs.aws.amazon.com/fr_fr/emr/latest/ReleaseGuide/emr-release-5x.html https://docs.aws.amazon.com/cli/latest/reference/emr/create-cluster.html

谢谢。

Answer 1

首先，您不能将 Scala 2.12.x 与 Spark 2.4.0 一起使用（顺便说一句，有实验支持，请参阅评论）。如 documentation 中所述，要使用 Spark 2.4.0，您需要使用兼容的 Scala 版本，即 2.11.x 系列。

其次，来自documentation, JDK9+ is compatible with Scala 2.11.12 but it is incomplete。

最后，AWS EMR 5.20 使用 Apache Spark 2.4.0。您可以从主节点的命令行检查 JDK 版本。

>java -version
openjdk version "1.8.0_191"
# "b" means "build"
# Version number is 8u191, which also means JDK 8 Update 191
OpenJDK Runtime Environment (build 1.8.0_191-b12)
OpenJDK 64-Bit Server VM (build 25.191-b12, mixed mode)

或者，您可以直接使用运行 spark-shell 命令打印 Scala (2.11.12) 和 JDK 版本 (JDK8)。

希望对您有所帮助！

注意： 另一个 doc 还声明 Java 8 是 AWS EMR 5.0.0 或更高版本的集群实例的默认 JVM。

Answer 2

amazon-emr 已宣布推出新的测试版，其中包括目前最新的 apache-spark 版本 (2.4.4) 并使用 scala 2.12。请检查以下内容：

https://aws.amazon.com/about-aws/whats-new/2019/11/amazon-emr-6-beta-2-adds-hive-3-with-llap-support-scala-212-with-spark-244/

AWS EMR 5.20 和 Java 版本支持

AWS EMR 5.20 and Java version support

java

amazon-emr

apache-spark