在 dataproc 上找不到有效的 SPARK_HOME
Could not find valid SPARK_HOME on dataproc
Dataproc 集群在 Google 上执行的 Spark 作业卡在任务上 PythonRDD.scala:446
错误日志显示 Could not find valid SPARK_HOME while searching ... /hadoop/yarn/nm-local-dir/usercache/root/
下的路径
问题是，SPARK_HOME 应该默认设置在 dataproc 集群上。
其他不使用 RDD 的 Spark 作业工作得很好。
在集群初始化期间，我没有重新安装 spark（但我已经尝试过，我之前认为这是导致问题的原因）。
我还发现，在 运行 完成任务一分钟后，我所有的执行者都被删除了。
是的，我已经尝试 运行 以下初始化操作但没有帮助：
#!/bin/bash
cat << EOF | tee -a /etc/profile.d/custom_env.sh /etc/*bashrc >/dev/null
export SPARK_HOME=/usr/lib/spark/
EOF
有什么帮助吗？
我使用的是自定义映射函数。当我把这个函数放到一个单独的文件中时，问题就消失了。
Dataproc 集群在 Google 上执行的 Spark 作业卡在任务上 PythonRDD.scala:446
错误日志显示 Could not find valid SPARK_HOME while searching ... /hadoop/yarn/nm-local-dir/usercache/root/
问题是，SPARK_HOME 应该默认设置在 dataproc 集群上。 其他不使用 RDD 的 Spark 作业工作得很好。
在集群初始化期间，我没有重新安装 spark（但我已经尝试过，我之前认为这是导致问题的原因）。
我还发现，在 运行 完成任务一分钟后，我所有的执行者都被删除了。
是的，我已经尝试 运行 以下初始化操作但没有帮助：
#!/bin/bash
cat << EOF | tee -a /etc/profile.d/custom_env.sh /etc/*bashrc >/dev/null
export SPARK_HOME=/usr/lib/spark/
EOF
有什么帮助吗？
我使用的是自定义映射函数。当我把这个函数放到一个单独的文件中时，问题就消失了。