Hadoop 纱线卡在 运行 工作 Ubuntu
Hadoop Yarn Stuck at Running Job Ubuntu
我正在尝试 运行 单模式伪分布式 模式 hadoop on ec2 ubuntu 机器上的一个简单任务。但是，我的程序卡在 运行ning jobs 上。我附上我的 linux 屏幕和 Resourcemanager 页面 here.Any 的想法是值得赞赏的。谢谢。
Add1：我发现的另一件事是当我输入 jps 时 NodeManager 消失了（我第一次输入 jps 时它在那里，但后来消失了）
Add2：我检查了 nodemanager 日志并注意到它由于不满足最小分配而关闭，尽管我在 yarn-[=34 中将调度程序最小 mb 更改为 128 并将 vcore 更改为 1 =]
终于解决了我自己上面的问题
- 在上面的问题陈述中添加了详细信息，后来我发现我的节点管理器启动不好（第一次输入jps，节点管理器在那里，如图所示。但是，几秒钟后它就消失了。我多次通过 jps 类型找到它）。
- 我检查了节点管理器日志，发现错误是"doesn't satisfy minimum allocations, Sending SHUTDOWN signal to the NodeManager"
- 我在互联网上搜索，发现解决方案是将以下 属性 添加到 yarn-site.xml 文件
yarn.nodemanager.resource.memory-mb
值为 1024
yarn.nodemanager.resource.cpu-vcores
值为 1
- 然后重启start-dfs.sh和start-yarn.sh。如果进入 hostname:8088，您会看到 内存总数 和 总 vcores 总数现在应该大于 0，您可以 运行一个应用程序
PS：我的应用程序最初卡在地图 0% 和减少 0%。那我干脆把1024改成4096，上面1改成2。然后我可以在我的ec2实例（单节点伪分布式）上成功运行一个map reduce程序
我正在尝试 运行 单模式伪分布式 模式 hadoop on ec2 ubuntu 机器上的一个简单任务。但是，我的程序卡在 运行ning jobs 上。我附上我的 linux 屏幕和 Resourcemanager 页面 here.Any 的想法是值得赞赏的。谢谢。
Add1：我发现的另一件事是当我输入 jps 时 NodeManager 消失了（我第一次输入 jps 时它在那里，但后来消失了）
Add2：我检查了 nodemanager 日志并注意到它由于不满足最小分配而关闭，尽管我在 yarn-[=34 中将调度程序最小 mb 更改为 128 并将 vcore 更改为 1 =]
终于解决了我自己上面的问题
- 在上面的问题陈述中添加了详细信息，后来我发现我的节点管理器启动不好（第一次输入jps，节点管理器在那里，如图所示。但是，几秒钟后它就消失了。我多次通过 jps 类型找到它）。
- 我检查了节点管理器日志，发现错误是"doesn't satisfy minimum allocations, Sending SHUTDOWN signal to the NodeManager"
- 我在互联网上搜索，发现解决方案是将以下 属性 添加到 yarn-site.xml 文件
yarn.nodemanager.resource.memory-mb
值为 1024
yarn.nodemanager.resource.cpu-vcores
值为 1
- 然后重启start-dfs.sh和start-yarn.sh。如果进入 hostname:8088，您会看到 内存总数 和 总 vcores 总数现在应该大于 0，您可以 运行一个应用程序
PS：我的应用程序最初卡在地图 0% 和减少 0%。那我干脆把1024改成4096，上面1改成2。然后我可以在我的ec2实例（单节点伪分布式）上成功运行一个map reduce程序