Glusterfs 在分散中替代 Brick

Question

我有一个分散的 Glusterfs 卷，由 3 个服务器上的 3 个块组成。最近其中一台服务器遇到硬盘驱动器故障并退出集群。我正在尝试更换集群中的这块砖，但我无法让它工作。

首先是版本信息：

$ glusterfsd --version
glusterfs 3.13.2
Repository revision: git://git.gluster.org/glusterfs.git
Copyright (c) 2006-2016 Red Hat, Inc. <https://www.gluster.org/>
GlusterFS comes with ABSOLUTELY NO WARRANTY.
It is licensed to you under your choice of the GNU Lesser
General Public License, version 3 or any later version (LGPLv3
or later), or the GNU General Public License, version 2 (GPLv2),
in all cases as published by the Free Software Foundation.

运行宁 Ubuntu 18.04。

这是现有信息：

Volume Name: vol01
Type: Disperse
Volume ID: 061cac4d-1165-4afe-87e0-27b213ea19dc
Status: Started
Snapshot Count: 0
Number of Bricks: 1 x (2 + 1) = 3
Transport-type: tcp
Bricks:
Brick1: srv02:/srv/glusterfs/vol01/brick <-- This is the brick that died
Brick2: srv03:/srv/glusterfs/vol01/brick
Brick3: srv04:/srv/glusterfs/vol01/brick
Options Reconfigured:
nfs.disable: on
transport.address-family: inet

我希望使用以下方法用 srv05 的砖块替换 srv02 砖块：

gluster volume replace-brick vol01 srv02:/srv/glusterfs/vol01/brick srv05:/srv/glusterfs/vol01/brick commit force

然而，当我运行这个命令（作为 root）时，我得到这个错误：

volume replace-brick: failed: Pre Validation failed on srv05. brick: srv02:/srv/glusterfs/vol01/brick does not exist in volume: vol01

据我所知，srv05 已连接：

# gluster peer status
Number of Peers: 3

Hostname: srv04
Uuid: 5bbd6c69-e0a7-491c-b605-d70cb83ebc72
State: Peer in Cluster (Connected)

Hostname: srv02
Uuid: e4e856ba-61df-45eb-83bb-e2d2e799fc8d
State: Peer Rejected (Disconnected)

Hostname: srv05
Uuid: e7d098c1-7bbd-44e1-931f-034da645c6c6
State: Peer in Cluster (Connected)

如您所见，srv05 已连接且在集群中，srv02 未连接且已断开连接...

XFS 分区上的所有砖块大小相同。 srv05 上的砖是空的。

我做错了什么？如果可能的话，我宁愿不必转储整个 FS 并重建它...

编辑 2019-01-01： 在按照此处的教程进行操作后：https://support.rackspace.com/how-to/recover-from-a-failed-server-in-a-glusterfs-array/ 将失效的服务器块 (srv02) 替换为新的。

服务器和brick被集群识别：

# gluster volume status
Status of volume: vol01
Gluster process                             TCP Port  RDMA Port  Online  Pid
------------------------------------------------------------------------------
Brick srv02:/srv/glusterfs/vol01/brick      N/A       N/A        N       N/A
Brick srv03:/srv/glusterfs/vol01/brick      49152     0          Y       21984
Brick srv04:/srv/glusterfs/vol01/brick      49152     0          Y       16681
Self-heal Daemon on localhost               N/A       N/A        Y       2582
Self-heal Daemon on srv04                   N/A       N/A        Y       16703
Self-heal Daemon on srv03                   N/A       N/A        Y       22006

然而，替换 SRV02 上的砖块没有上线！

经过大量搜索，我在新 srv02 的砖块日志中找到了这个：

[2019-01-01 05:50:05.727791] E [MSGID: 138001] [index.c:2349:init] 0-vol01-index: Failed to find parent dir (/srv/glusterfs/vol01/brick/.glusterfs) of index basepath /srv/glusterfs/vol01/brick/.glusterfs/indices. [No such file or directory]

完全不确定如何修复这个问题，因为它是一块空白的砖块，我希望将其带到网上并进行修复！

Answer 1

所以最后我在砖卷目录下通过以下方式拿到砖上线：

# mkdir .glusterfs
# chmod 600 .glusterfs
# cd .glusterfs
# mkdir indices
# chmod 600 indices
# systemctl restart glusterd

砖上线并开始修复过程：

# gluster volume heal vol01 full

到目前为止，它似乎运行良好。

Glusterfs 在分散中替代 Brick

Glusterfs Replace Brick in Dispersed

distributed-computing

glusterfs