启动hadoop的分步过程是什么

Question

我是 hadoop 新手。那么你能描述一下我在这里做什么吗？ P.S 我从一个朋友那里收到了这个步骤。

(1) hduser@soham-Inspiron-3521:/usr/local/hadoop/etc/hadoop$ /usr/local/hadoop/bin/hadoop namenode -格式
问题 1) 为什么我们每次都需要格式化 namenode 而不是 datanode 或其他
Que 2) 为什么我们每次都使用两条不同的路径

(2)`hduser@soham-Inspiron-3521:/usr/local/hadoop/etc/hadoop$/usr/local/hadoop/sbin/start-all.sh
问题 1) 是否需要从 "sbin" 文件夹

启动所有进程

(3) jps 显示：

hduser@soham-Inspiron-3521:/usr/local/hadoop/etc/hadoop$ jps
7344 ResourceManager
15019 Jps
7187 SecondaryNameNode
6851 NameNode
7659 NodeManager

问题 1) taskTracker 和 jobTracker 呢？

甚至本地主机也没有显示任何数据节点 (http://localhost:50070/dfshealth.html#tab-startup-progress)

P.S 我知道这些都是天真的问题，但我找不到任何可以解决这个问题的解决方案。快速回复将不胜感激。提前致谢。

Answer 1

根据您提供的信息，我可以这样说：

(1) 您不必每次启动 hadoop 时都格式化 namenode。这是一次性的 activity。一旦你这样做了，那么下次启动hadoop时，你只需要启动HDFS（start-dfs.sh）和YARN（start-yarn.sh)服务。[P.S。不要使用start-all.sh 因为它已被弃用]

关于你问题的第二部分，"why are we using two different path each time"，你指的是哪两条路径？

(2) 是的，所有进程都需要从 hadoop 安装的 "sbin" 文件夹启动（例如 /usr/local/hadoop/sbin/）。

(3) 从 jps 输出中可以清楚地看出，您正在使用 hadoop 2.0，其中 JobTracker 和 TaskTracker 分别具有与 ResourceManager 和 NodeManager 对应的（但不完全）等价物。

您的 DataNode 不是运行。在启动 hadoop 服务时检查日志消息，以了解更多有关问题的信息。

启动hadoop的分步过程是什么

what are the step by step process of starting hadoop

hadoop

hdfs

hadoop2