Mahout spark-shell 初始作业尚未接受任何资源
Mahout spark-shell Initial job has not accepted any resources
我只是在 Mahout 和 Spark 中启动并尝试 运行 这个 link 上 mahout 页面的示例:
Playing with Mahout's Spark Shell
一切似乎都开始了,但是当我尝试 运行 跟随命令时,returns 出现以下错误:
val y = drmData.collect(::, 4)
[Stage 0:> (0
+ 0) / 2] 15/09/26 18:38:09 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that
workers are registered and have sufficient resources
谁能帮我解决这个问题!
我的环境是:
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-amd64
export MAHOUT_HOME=/home/celso/Downloads/mahout/mahout
export SPARK_HOME=/home/celso/Downloads/spark-1.4.1
export MASTER=spark://celso-VirtualBox:7077
我也尝试将 MAHOUT_LOCAL 设置为 true。
Mahout 0.11.x Spark Shell 尚不兼容 Spark 1.4.1。
最新版本 Mahout 0.11.0 需要 Spark 1。3.x。
Mahout 0.10.2 与 Spark 1.2.x 及更早版本兼容。
我刚刚使示例生效。
我刚刚将环境变量 MASTER
设置为 local
:
export MASTER=local
而不是
export MASTER=spark://hadoopvm:7077
示例有效!
我只是在 Mahout 和 Spark 中启动并尝试 运行 这个 link 上 mahout 页面的示例:
Playing with Mahout's Spark Shell
一切似乎都开始了,但是当我尝试 运行 跟随命令时,returns 出现以下错误:
val y = drmData.collect(::, 4)
[Stage 0:> (0 + 0) / 2] 15/09/26 18:38:09 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
谁能帮我解决这个问题!
我的环境是:
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-amd64
export MAHOUT_HOME=/home/celso/Downloads/mahout/mahout
export SPARK_HOME=/home/celso/Downloads/spark-1.4.1
export MASTER=spark://celso-VirtualBox:7077
我也尝试将 MAHOUT_LOCAL 设置为 true。
Mahout 0.11.x Spark Shell 尚不兼容 Spark 1.4.1。
最新版本 Mahout 0.11.0 需要 Spark 1。3.x。
Mahout 0.10.2 与 Spark 1.2.x 及更早版本兼容。
我刚刚使示例生效。
我刚刚将环境变量 MASTER
设置为 local
:
export MASTER=local
而不是
export MASTER=spark://hadoopvm:7077
示例有效!