spark 'Unsupported class file major version 55' 在 Pycharm 中使用 anaconda 插件

pyspark 'Unsupported class file major version 55' in Pychrm with anaconda plungin

我是 运行 在 Pycharm 中的简单 pyspark python 脚本,在 Python 3.7(pyspark 版本 2.4.4)的 anaconda 环境中,我得到了错误 : pyspark.sql.utils.IllegalArgumentException: 'Unsupported class file major version 55'.

我遵循了我在 Whosebug 上找到的潜在解决方案,但没有一个有效,我遵循了这个: : I've added java1.8.0_221 in my system env variables: 但是当我在 Pycharm 终端中键入 java -version 时,它仍在使用 java11.0.6:

>java -version
openjdk version "11.0.6" 2020-01-14
OpenJDK Runtime Environment (build 11.0.6+8-b765.1)
OpenJDK 64-Bit Server VM (build 11.0.6+8-b765.1, mixed mode)

然后我发现了这个: switch boot jdk of Pycharm (2xshift -> jdk -> select jdk 1.8) 所以我导航到 Pycharm Switch IDE Boot JDK

我可以看到第二个选项是 1.8,但没有 anaconda 插件,所以我不确定现在该怎么做,因为我不想弄乱我的设置,有人可以帮助我吗?非常感谢!

55 错误是由较旧的 Java 版本试图执行 Java 版本 11 代码(在 .jar 或 .class 文件中)引起的。所以它似乎使用了较旧的 Java 版本(例如 Java 8(JVM 8)),但它遇到了在 Java 11 中编译的部分(参见 55 is Java 11 ).

由于 Java 8 不太受支持,您可以尝试使用 Java 11 或更新版本(参见 Java version history)。您可以尝试将 PySpark 3.0.1 与 Python 3.8 和 Java 11 一起使用。这样,您就有了应该能够协同工作的最新部分。

这些链接也可能有帮助: