java.io.IOException: Cannot 运行 program "python": CreateProcess error=2, 系统找不到指定的文件

Question

我用 pyspark 配置了 eclipse

我正在使用最新版本的 SPARK 和 PYTHON。

当我尝试编写代码时运行。我得到以下错误。

java.io.IOException: Cannot run program "python": CreateProcess error=2, The system cannot find the file specified

我写的代码如下

'''
Created on 23-Dec-2017

@author: lenovo
'''
from pyspark import SparkContext,SparkConf

from builtins import int

#from org.spark.com.PySparkDemo import data

from pyspark.sql import Row

from pyspark.sql.context import SQLContext



conf = SparkConf().setAppName("FileSystem").setMaster("local")

sc=SparkContext(conf=conf)

sqlContext=SQLContext(sc)

a = sc.textFile("C:/Users/lenovo/Desktop/file.txt")

b = a.map(lambda x:x.split(",")).map(lambda x:Row(id=int(x[0]),name=x[1],marks=int(x[2])))

c = sqlContext.createDataFrame(b)

c.show()

请推荐

Answer 1

假设你已经安装了 pydev

在 Windows > 首选项 > Pydev > 解释器 > python 解释器 > 转到环境

环境下需要给pyhton.exe文件路径，变量名PYSPARK_PYTHON

Answer 2

我在 Windows 10 遇到了同样的问题：

Spark 版本 3.1.1
Python 版本 3.9.4

这是我所做的：

目录“C:\spark\conf”有一个文件 spark-env.sh.template。我把它改成了 spark-env.cmd.
保留所有现有文本的注释。（您必须将 # 替换为 :: 以便 windows 发表评论）
添加了以下行以设置 PYSPARK_PYTHON 变量。

设置PYSPARK_PYTHON=C:\python\python.exe

它解决了错误。在 Whosebug 上引用了这个线程：

java.io.IOException: Cannot 运行 program "python": CreateProcess error=2, 系统找不到指定的文件

java.io.IOException: Cannot run program "python": CreateProcess error=2, The system cannot find the file specified

python

eclipse

apache-spark

pyspark

pyspark-sql