我为 pyspark 使用什么路径?
What path do I use for pyspark?
我安装了spark。而且,我可以进入我的 spark 版本中的 bin
文件夹,运行 ./spark-shell
并且 运行 是正确的。
但是,出于某种原因,我无法启动 pyspark
和任何子模块。
所以,我进入 bin
并启动 ./pyspark
,它告诉我我的路径不正确。
我为 PYSPARK_PYTHON
设置的当前路径与我 运行 从中获取 pyspark
可执行脚本的路径相同。
PYSPARK_PYTHON
的正确路径是什么?不应该是spark版本的bin
文件夹中指向名为pyspark
的可执行脚本的路径吗?
这就是我现在的路径,但它告诉我 env: <full PYSPARK_PYTHON path> no such file or directory
。谢谢。
What is the correct path for PYSPARK_PYTHON? Shouldn't it be the path that leads to the executable script called pyspark in the bin folder of the spark version?
不,不应该。它应该指向要与 Spark 一起使用的 Python 可执行文件(例如来自 which python
的输出。如果您不想使用自定义解释器,请忽略它。Spark 将使用第一个 Python 解释器在您的系统上可用 PATH
.
我安装了spark。而且,我可以进入我的 spark 版本中的 bin
文件夹,运行 ./spark-shell
并且 运行 是正确的。
但是,出于某种原因,我无法启动 pyspark
和任何子模块。
所以,我进入 bin
并启动 ./pyspark
,它告诉我我的路径不正确。
我为 PYSPARK_PYTHON
设置的当前路径与我 运行 从中获取 pyspark
可执行脚本的路径相同。
PYSPARK_PYTHON
的正确路径是什么?不应该是spark版本的bin
文件夹中指向名为pyspark
的可执行脚本的路径吗?
这就是我现在的路径,但它告诉我 env: <full PYSPARK_PYTHON path> no such file or directory
。谢谢。
What is the correct path for PYSPARK_PYTHON? Shouldn't it be the path that leads to the executable script called pyspark in the bin folder of the spark version?
不,不应该。它应该指向要与 Spark 一起使用的 Python 可执行文件(例如来自 which python
的输出。如果您不想使用自定义解释器,请忽略它。Spark 将使用第一个 Python 解释器在您的系统上可用 PATH
.