Hadoop 3.1.2：执行 start-all.sh 后 jps 输出仅列出 jps

Question

我是 Hadoop 新手，已经在 Ubuntu 16.04 上以独立模式安装了 hadoop 3.1.2。当我尝试使用 start-all.sh 启动守护进程时，命令说它正在启动不同的守护进程。然而，当我用 jps 检查时，除了 jps

什么都没有

(sparkVenv) applied@nadeem-Inspiron-5558:~$ start-all.sh
WARNING: Attempting to start all Apache Hadoop daemons as applied in 10 seconds.
WARNING: This is not a recommended production deployment configuration.
WARNING: Use CTRL-C to abort.
Starting namenodes on [nadeem-Inspiron-5558]
Starting datanodes
Starting secondary namenodes [nadeem-Inspiron-5558]
Starting resourcemanager
Starting nodemanagers
(sparkVenv) applied@nadeem-Inspiron-5558:~$ jps
21729 Jps
(sparkVenv) applied@nadeem-Inspiron-5558:~$

这是namenode的一部分日志

************************************************ ******************/
2019-05-06 15:36:43,116 INFO org.apache.hadoop.hdfs.server.namenode.NameNode：为 [TERM, HUP, INT]
注册的 UNIX 信号处理程序 2019-05-06 15:36:43,252 信息 org.apache.hadoop.hdfs.server.namenode.NameNode: createNameNode []
2019-05-06 15:36:43,515 信息 org.apache.hadoop.metrics2.impl.MetricsConfig：从 hadoop-metrics2.properties
加载属性 2019-05-06 15:36:43,635 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl：计划指标快照周期为 10 秒。
2019-05-06 15:36:43,636 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl：NameNode 指标系统已启动
2019-05-06 15:36:43,671 信息 org.apache.hadoop.hdfs.server.namenode.NameNode实用程序：fs.defaultFS 是文件：///
2019-05-06 15:36:43,816 错误 org.apache.hadoop.hdfs.server.namenode.NameNode: 无法启动名称节点。
java.lang.IllegalArgumentException: NameNode 地址的 URI 无效（检查 fs.defaultFS）：file:/// 没有权限。
在 org.apache.hadoop.hdfs.DFSUtilClient.getNNAddress(DFSUtilClient.java:697)
在 org.apache.hadoop.hdfs.DFSUtilClient.getNNAddressCheckLogical(DFSUtilClient.java:726)
在 org.apache.hadoop.hdfs.DFSUtilClient.getNNAddress(DFSUtilClient.java:688)
在 org.apache.hadoop.hdfs.server.namenode.NameNode.getRpcServerAddress(NameNode.java:529)
在 org.apache.hadoop.hdfs.server.namenode.NameNode.loginAsNameNodeUser(NameNode.java:660)
在 org.apache.hadoop.hdfs.server.namenode.NameNode.初始化（NameNode.java:680）
在 org.apache.hadoop.hdfs.server.namenode.NameNode.(NameNode.java:937)
在 org.apache.hadoop.hdfs.server.namenode.NameNode.(NameNode.java:910)
在 org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1643)
在 org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1710)
2019-05-06 15:36:43,819 信息 org.apache.hadoop.util.ExitUtil：退出状态 1：java.lang.IllegalArgumentException：NameNode 地址的 URI 无效（检查 fs.defaultFS）：文件： /// 没有权限。
2019-05-06 15:36:43,821 信息 org.apache.hadoop.hdfs.server.namenode.NameNode: SHUTDOWN_MSG:
/**************************************************** ***********
SHUTDOWN_MSG：在 nadeem-Inspiron-5558/127.0.1.1
处关闭 NameNode ****************************************************** **********/

Answer 1

您已在日志中找到问题，您的 NameNode 因 core-site.xml "fs.defaultFS" 配置中的问题而无法启动。

希望对您有所帮助。

Answer 2

发现core-site.xml和hdfs-site.xml为空
在伪分布式模式下添加https://hadoop.apache.org/docs/r3.2.0/hadoop-project-dist/hadoop-common/SingleCluster.html中提到的配置并格式化namenode。
之后守护进程开始执行 start-all.sh

Hadoop 3.1.2：执行 start-all.sh 后 jps 输出仅列出 jps

Hadoop 3.1.2: jps output lists only jps after executing start-all.sh

hadoop

ubuntu-16.04