Cloudera Manager - HDFS 复制不足的块

Question

我使用全新安装的 CDH 5.5.2。在 Cloudera Manager 我看到 HDFS 有严重的健康问题。我在群集中有 1 NameNode 和 1 DataNode。

Under-Replicated Blocks

578 under replicated blocks in the cluster. 580 total blocks in the cluster. Percentage under replicated blocks: 99.66%. Critical threshold: 40.00%

我该如何解决这个问题？

更新：Cloudera Manager(CDH 5.0.2) -> HDFS -> Configuration -> View and Edit -> Service-Wide -> Replication -> Replication Factor (dfs.replication) -> 1 在这种情况下不起作用。

Answer 1

需要检查的几件事：

namenode 可能是运行过时的配置。如果是这样，请重新启动名称节点以确保它是运行 Cloudera 管理器中显示的当前配置。
有时cloudera agent也需要重启才能正常生成配置
如果不行，那么运行 hadoop fsck /|egrep -v '^\.+$'|grep -i replica
找出受影响的文件并验证复制因子是否设置为 1，因为你只有一个数据节点
- 您可以通过运行ning hadoop fs -ls /path/to/file.txt 检查文件的复制因子，然后查看输出中第 2 列中的数字

注意：请务必将 HDFS 网关角色添加到您要从中运行 hadoop 命令的服务器。

同时考虑将 cloudera manager 升级到 5.5.1 - 您的版本是非常早期的版本，从那时起他们进行了大量更改。

Answer 2

新的复制因子只影响新文件。更改 shell 中现有文件运行的复制因子（在具有 hadoop 入口点的节点上）

hadoop fs -setrep -w <replication factor> -R /

但是，只有 "hdfs" 可以写入 /（"hdfs" 是超级用户，而不是 "root"）。因此，您可能必须使用此命令：

sudo -u hdfs hadoop fs -setrep -w <replication factor> -R /

Cloudera Manager - HDFS 复制不足的块

Cloudera Manager - HDFS Under-Replicated Blocks

hdfs

cloudera-cdh