在 hadoop 中设置历史服务器时出错

Question

所有数据节点都已启动运行，但是在 hadoop 中设置历史服务器（mapreduce2）时仍然出现以下错误。

resource_management.core.exceptions.Fail: Execution of 'curl -sS -L -w '%{http_code}' -X PUT -T /usr/hdp/2.3.4.0-3485/hadoop/mapreduce.tar.gz 'http://ambari1.devcloud.247-inc.net:50070/webhdfs/v1/hdp/apps/2.3.4.0-3485/mapreduce/mapreduce.tar.gz?op=CREATE&user.name=hdfs&overwrite=True&permission=444''

returned status_code=403. { "RemoteException": { "exception": "IOException", "javaClassName": "java.io.IOException", "message": "Failed to find datanode, suggest to check cluster health."
}

}

Answer 1

从名称节点，运行以下命令确保数据节点运行正确并且可以从名称节点

访问

bin/hadoop dfsadmin -report

你可以看到像

这样的报告

-------------------------------------------------
Datanodes available: 1 (1 total, 0 dead)

Name: 127.0.0.1:50010
Decommission Status : Normal
Configured Capacity: 176945963008 (164.79 GB)
DFS Used: 2140192768 (1.99 GB)
Non DFS Used: 42513027072 (39.59 GB)
DFS Remaining: 132292743168(123.21 GB)
DFS Used%: 1.21%
DFS Remaining%: 74.76%
Last contact: Wed Jan 06 20:04:51 IST 2016

如果看到0个datanodes，一定是配置有误

在 hadoop 中设置历史服务器时出错

Error while setting history server in hadoop

hadoop

mapreduce

bigdata

hadoop-yarn