pyspark 出错 "Java gateway process exited before sending its port number"
Error with pyspark "Java gateway process exited before sending its port number"
我在 Spark 3.1.2 和 Hadoop 2.7 中遇到两个错误:
第一个在 python 中导入 'pyspark' 并创建一个会话。
ERROR: 'Java gateway process exited before sending its port number'
当我在 powershell 中尝试 运行“pyspark”以查看它是否正常工作时发生了第二个
ERROR: '& was unexpected at this time.'
我严格按照 https://spark.apache.org 中的安装说明进行操作。此外,我尝试了 Stack Overflow 中提供的多种解决方案,但没有成功。
我觉得 'winutils.exe'
有问题
我从 GitHub 上的存储库下载了以下 Hadoop 版本:[2.7.1、2.7.7]
试过了,none 成功了。
据我检查,我的环境变量是正确的:
SPARK_HOME
HADOOP_HOME
JAVA_HOME
在路径中:
%SPARK_HOME%\bin
%HADOOP_HOME%\bin
我是否遗漏了什么或者新的 Spark 不适合我?
请:如果您想查看任何日志文件,请给我执行它的命令,然后将日志还给您。
- Windows 10
- Python: 3.7.10
- 蟒蛇:4.10.3
- Java: 1.8.0_251
- 星火:3.1.2
- Hadoop:2.7
在尝试了多种解决方案后,我无法找出错误所在。
所以,我重置了 windows,现在一切正常,这让我开始思考。
在重置之前,我从 Windows 商店安装了 Windows 终端并进行了一些调整。我不知道它与我的 spark 问题有什么关系,但似乎是。
我在 Spark 3.1.2 和 Hadoop 2.7 中遇到两个错误:
第一个在 python 中导入 'pyspark' 并创建一个会话。
ERROR: 'Java gateway process exited before sending its port number'
当我在 powershell 中尝试 运行“pyspark”以查看它是否正常工作时发生了第二个
ERROR: '& was unexpected at this time.'
我严格按照 https://spark.apache.org 中的安装说明进行操作。此外,我尝试了 Stack Overflow 中提供的多种解决方案,但没有成功。
我觉得 'winutils.exe'
有问题我从 GitHub 上的存储库下载了以下 Hadoop 版本:[2.7.1、2.7.7]
试过了,none 成功了。
据我检查,我的环境变量是正确的:
SPARK_HOME
HADOOP_HOME
JAVA_HOME
在路径中:
%SPARK_HOME%\bin
%HADOOP_HOME%\bin
我是否遗漏了什么或者新的 Spark 不适合我?
请:如果您想查看任何日志文件,请给我执行它的命令,然后将日志还给您。
- Windows 10
- Python: 3.7.10
- 蟒蛇:4.10.3
- Java: 1.8.0_251
- 星火:3.1.2
- Hadoop:2.7
在尝试了多种解决方案后,我无法找出错误所在。 所以,我重置了 windows,现在一切正常,这让我开始思考。 在重置之前,我从 Windows 商店安装了 Windows 终端并进行了一些调整。我不知道它与我的 spark 问题有什么关系,但似乎是。