在 CDH 中为 pyspark 更改 Python 路径
Change Python path in CDH for pyspark
我需要更改与我的 CDH5.5.1 集群一起使用的 python。我的研究指出我在 spark-env.sh 中设置 PYSPARK_PYTHON。我手动尝试过但没有成功。然后，我使用 Cloudera Manager 在 'Spark Service Environment Advanced Configuration Snippet' 和 'Spark Service Advanced Configuration Snippet' 以及其他引用 spark-env-sh 的地方设置变量。这没有用，我不知道下一步该去哪里。
您需要将 PYSPARK_PYTHON 变量添加到 YARN 配置中：
YARN (MR2 Included) Service Environment Advanced Configuration Snippet (Safety Valve)
这样做，重新启动集群，一切顺利。
我需要更改与我的 CDH5.5.1 集群一起使用的 python。我的研究指出我在 spark-env.sh 中设置 PYSPARK_PYTHON。我手动尝试过但没有成功。然后，我使用 Cloudera Manager 在 'Spark Service Environment Advanced Configuration Snippet' 和 'Spark Service Advanced Configuration Snippet' 以及其他引用 spark-env-sh 的地方设置变量。这没有用，我不知道下一步该去哪里。
您需要将 PYSPARK_PYTHON 变量添加到 YARN 配置中：
YARN (MR2 Included) Service Environment Advanced Configuration Snippet (Safety Valve)
这样做，重新启动集群，一切顺利。