GlusterFS搭建

已于 2025-05-09 16:48:29 修改
阅读量237 收藏
点赞数 2
CC 4.0 BY-SA版权
文章标签： 运维
于 2025-04-27 16:53:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43694438/article/details/147564078
操作系统GlusterFS 版本服务器 IP 地址主机名存储路径存储大小
Fedora 4211.1-8.fc4210.165.19.30glusterfs-server1/
/data/brick1		50G (系统)
199G (GlusterFS 数据盘)
Fedora 4211.1-8.fc4210.165.19.31glusterfs-server2/
/data/brick1		50G (系统)
199G (GlusterFS 数据盘)
Fedora 4211.1-8.fc4210.165.19.32glusterfs-server3/
/data/brick1		50G (系统)
199G (GlusterFS 数据盘)

请注意: GlusterFS官方文档不建议将数据盘和系统文件划分为一个分区

步骤一: 服务器环境准备

  1. 修改服务器名

    # 设置名字,根据不同的服务器均需改名
hostnamectl set-hostname glusterfs-server1
# 刷新名字
exec bash
# 查看系统信息
hostnamectl

  2. 配置hosts文件

    vim /etc/hosts
10.165.19.30 glusterfs-server1
10.165.19.31 glusterfs-server2
10.165.19.32 glusterfs-server3

  3. 配置网络

    [root@localhost system-connections]# cd /etc/NetworkManager/system-connections/
[root@localhost system-connections]# ls
ens33.nmconnection
[root@localhost system-connections]# vim ens33.nmconnection
[connection]
id=ens33
uuid=b0985e9c-6d27-3de9-97b4-7c6c0e0cb6af
type=ethernet
autoconnect-priority=-999
interface-name=ens33

[ethernet]

[ipv4]
method=manual # 配置成手动
addresses=10.165.19.30/24 # 配置固定IP
gateway=10.165.19.254 # 配置网关
dns=10.165.19.245 # 配置DNS

[ipv6]
addr-gen-mode=eui64
method=auto

[proxy]
[root@localhost system-connections]# systemctl restart NetworkManager

  4. 关闭防火墙

    # 查看防火墙状态
systemctl status firewalld
# 关闭防火墙
systemctl stop firewalld
# 禁止开机启动防火墙
systemctl disable firewalld

  5. 访问服务器web管理界面

    可以通过该网络查看cockpit管理界面, 此步骤与安装GlusterFS无关, 仅做记录

    访问以下地址:
    https://10.165.19.30:9090/
    如果遇到无法使用root登录, 注释root再尝试打开页面。

    # 注释root, 应该就可以打开了。
vim /etc/cockpit/disallowed-users
# root
# 确认cockpit是否运行, 如果还是无法打开可以考虑将cockpit打开。
systemctl start cockpit

  6. 确认交换空间
    确认交换空间是zram还是磁盘类型的, zram类型的无需执行关闭交换空间。

    # 查看分区如果是zram是属于内存压缩交换, 通常不需要关闭
swapon --show
# 如果是磁盘类型的交换空间则需要关闭
swapoff -a
vim /etc/fstab
# 注释下列行
# /dev/mapper/centos-swap swap swap defaults 0 0
# 调整swappiness参数
echo vm.swappiness=0 >> /etc/sysctl.conf
# 使配置生效
sysctl -p
# 确认swap分区已关闭
free -m

步骤二: GlusterFS分区准备

  1. 新建分区并挂载
    查看磁盘, 找到需要分区的磁盘。

    # 列出有几块磁盘大小
lsblk -d -o NAME,SIZE,MODEL
# 列出所有磁盘和分区
fdisk -l
# 查看磁盘挂载
lsblk

  2. 将sda剩余空间创建新的分区

    fdisk /dev/sda # 确定是/dev/sda还是/dev/sdb

    Command (m for help): n        ← 输入 `n` 表示新建一个分区
Partition type:
   p   primary (1 primary, 0 extended, 3 free)
   e   extended
Select (default p):            ← 直接按 Enter 选择默认的主分区
Partition number (4-4): 4      ← 创建 sda4，fdisk 会自动建议编号
First sector (xxxxx-xxxxx):    ← 默认即可，直接回车
Last sector, +size or +sizeM or +sizeG:        ← 输入你想要的大小（如 +100G），或直接回车用完全部剩余空间
Command (m for help): w        ← 输入 `w` 保存更改并退出

  3. 将新创建的分区, 初始化使用。

    # 对 /dev/sdb1 分区格式化为 XFS 文件系统，设置 inode 大小为 512 字节
mkfs.xfs -i size=512 /dev/sda4

# 创建挂载点目录 /data/brick1（如果 /data 不存在，也会一并创建）
mkdir -p /data/brick1

# 将挂载配置添加到 /etc/fstab，实现开机自动挂载
# 含义：将 /dev/sda4 挂载到 /data/brick1，文件系统为 xfs，使用默认挂载选项，开机时挂载顺序为第2
echo '/dev/sda4 /data/brick1 xfs defaults 0 2' >> /etc/fstab

# 立即挂载所有未挂载但已写入 /etc/fstab 的文件系统
# 然后显示当前已挂载的所有文件系统，用于验证
mount -a && mount

步骤三: GlusterFS服务搭建

手动安装指定的GlusterFS版本, 此文档不演示手动安装指定版本, 只告诉方法:

RPM包: https://download.gluster.org/pub/gluster/glusterfs/

# 下载指定版本的rpm包
wget https://download.gluster.org/pub/gluster/glusterfs/10/10.4/Fedora/glusterfs-server-10.4-1.fc38.x86_64.rpm
# 安装指定版本的rpm包
dnf install ./glusterfs-server-10.4-1.fc38.x86_64.rpm

  1. 安装GlusterFS

    # 安装软件
dnf install glusterfs-server
# 启动 GlusterFS 管理守护进程：
systemctl start glusterd
# 检查守护进程的状态：
systemctl status glusterd
# 配置开机启动
systemctl enable glusterd

    应该看到类似这样的内容：

    glusterd.service - LSB: glusterfs server
       Loaded: loaded (/etc/rc.d/init.d/glusterd)
   Active: active (running) since Mon, 13 Aug 2012 13:02:11 -0700; 2s ago
   Process: 19254 ExecStart=/etc/rc.d/init.d/glusterd start (code=exited, status=0/SUCCESS)
   CGroup: name=systemd:/system/glusterd.service
       ├ 19260 /usr/sbin/glusterd -p /run/glusterd.pid
       ├ 19304 /usr/sbin/glusterfsd --xlator-option georep-server.listen-port=24009 -s localhost...
       └ 19309 /usr/sbin/glusterfs -f /var/lib/glusterd/nfs/nfs-server.vol -p /var/lib/glusterd/...

  2. 配置可信池
    可以是任意一台执行, 注意修改节点名字即可。
    glusterfs-server1执行:

    gluster peer probe glusterfs-server2
gluster peer probe glusterfs-server3

    glusterfs-server2执行:

    gluster peer probe glusterfs-server1

    查看对等状态

    gluster peer status

  3. 设置GlusterFS 卷
    所有服务器执行:

    mkdir -p /data/brick1/gv0

    任意单台服务器执行:
    请注意: replica 3为3副本, 如果不打算设置副本可以省去replica 3参数, 以下为省去replica 3参数命令。
    请注意: 单副本和三副本根据需求选择性执行一个
    单副本, 分布式存储:

    # 创建gv0卷, replica 3为三分副本
gluster volume create gv0 glusterfs-server1:/data/brick1/gv0 glusterfs-server2:/data/brick1/gv0 glusterfs-server3:/data/brick1/gv0

    三副本示例:

    # 创建gv0卷, replica 3为三分副本
gluster volume create gv0 replica 3 glusterfs-server1:/data/brick1/gv0 glusterfs-server2:/data/brick1/gv0 glusterfs-server3:/data/brick1/gv0
# 启动新创建的卷
gluster volume start gv0
# 确认卷是否启动
gluster volume info

    信息确认:

    应该会看到类似这样的内容(卷 ID 会有所不同)

    Volume Name: gv0
Type: Replicate
Volume ID: f25cc3d8-631f-41bd-96e1-3e22a4c6f71f
Status: Started
Snapshot Count: 0
Number of Bricks: 1 x 3 = 3
Transport-type: tcp
Bricks:
Brick1: glusterfs-server1:/data/brick1/gv0
Brick2: glusterfs-server2:/data/brick1/gv0
Brick3: glusterfs-server3:/data/brick1/gv0
Options Reconfigured:
transport.address-family: inet

步骤四: 存储验证

  1. 挂载目录并写入文件
    # 创建挂载目录
mkdir /mnt/gluster-test
# 将创建的存储集群挂载到刚刚创建的目录上面
mount -t glusterfs glusterfs-server1:/gv0 /mnt/gluster-test
# 写入100个文件
for i in `seq -w 1 100`; do cp -rp /var/log/messages /mnt/gluster-test/copy-test-$i; done
# 确认写入的文件是100个
ls -lA /mnt/gluster-test/copy* | wc -l
  2. 验证数据

    在每台节点执行验证

    # 确认是否为100个文件, 如果是3副本每台则是100个文件。
ls -lA /data/brick1/gv0/copy*

清理卷 慎重

此命令会将brick gv0重置, 在需要重建创建集群时选择使用。

# 停止卷
gluster volume stop gv0
# 删除卷
gluster volume delete gv0
# 清理旧brick目录
rm -rf /data/brick1/gv0

单副本剔除节点

这里演示的剔除glusterfs-server1节点

  1. 确认当前卷信息 与 存储的信息
    glusterfs-server1节点执行 可在任意节点执行

    gluster volume info gv0
gluster volume status gv0
# 如果是生产环境请确认每个节点的数据数量，显示文件和文件夹数量。
ls -1A /data/brick1/gv0 | wc -l

  2. 手动迁移文件到glusterfs-server2的brick
    在glusterfs-server1节点执行

    rsync -av --remove-source-files /data/brick1/gv0/ root@glusterfs-server2:/data/brick1/gv0/

  3. 从该卷中移除指定的brick
    在glusterfs-server2或者glusterfs-server3执行均可

    # 移除glusterfs-server1 brick
gluster volume remove-brick gv0 glusterfs-server1:/data/brick1/gv0 start
# 提交移除信息
gluster volume remove-brick gv0 glusterfs-server1:/data/brick1/gv0 commit
# 剔除可信池
gluster peer detach glusterfs-server1

  4. : 验证卷状态
    在glusterfs-server2或者glusterfs-server3执行均可

    gluster volume info gv0
gluster volume status gv0

添加节点

以glusterfs-server1为例添加新节点

  1. 添加可信池
    在现有任意节点执行
    # 在任意节点执行添加可信池
gluster peer probe glusterfs-server1

# 确认可信池是否被正常添加
gluster peer status
  2. 新节点准备brick目录
    在新节点执行
    # 创建brick目录
mkdir -p /data/brick1/gv0
    在现有节点执行
    # 添加glusterfs-server1的brick目录
gluster volume add-brick gv0 glusterfs-server1:/data/brick1/gv0
    新节点执行: 如添加节点brick目录报错,删除该目录下的原数据
    rm -rf /data/brick1/gv0/.glusterfs
  3. 手动触发rebalance(重新分布文件)
    任意节点可执行
    # 在任意节点手动触发rebalance(重新分布文件)
gluster volume rebalance gv0 start
# 查看rebalance状态
gluster volume rebalance gv0 status
# 在glusterfs-server1节点执行查看文件数量, 确认否重新分布
ls -1A /data/brick1/gv0 | wc -l
  4. 在挂载的节点上执行, 查看指定文件在那个节点存储
    getfattr -n trusted.glusterfs.pathinfo  /mnt/gluster-test/copy-test-001
Wayson.Li
关注
（整理）fedora下一些常用的指令及操作
Tro_picana的专栏
10-21 2411
1、getconf LONG_BIT   获取操作系统的位数
Linux GlusterFS搭建与扩容
tflw
02-14 1826
一、GlusterFS类型 项目上常用的有Replicate复制卷、Distributed-Replicate分布式复制卷，前者同一文件不同节点存储相同副本，后者GFS会将文件hash到某一组节点。Replicate搭建时最好3节点起，2节点可能会有脑裂产生。 二、GlusterFS安装 1、配置本地yum源 参考 2、安装GlusterFS yum install glusterfs yum i...
fedora21之常用命令
汪云飞记录本
12-23 219
  1 防火墙 关闭 systemctl stop firewalld 禁止自启动 systemctl disable firewalld 2 设置机器名 hostnamectl set-hostname wisely 3 系统服务 显示运行的系统服务 systemctl 显示所有的系统服务 systemctl list-unit-files 开启、关闭、自启动、取消自...
GlusterFS 分布式文件系统详解
最新发布
weixin_46060074的博客
07-07 1035
GlusterFS 分布式文件系统详解
Fedora 常用命令
sense的专栏
12-23 1261
FC21 启动模式设置： systemctl set-default multi-user.target //设置成文本模式 systemctl set-default graphical.target //设置成图形模式 在CentOS/RHEL中,系统服务是System V启动脚本控制,主要使用chkconfig和service两个命令,配置在/etc/init.d/下. 在Fedora...
fedora常用命令
热门推荐
roaylchen的博客
05-14 1万+
fedora经验总结(新手必看)!!! 一、常用技巧 1，在linux中设置环境变量的方法：  如果命令在环境变量已经设置的路径下，在终端命令行输入该命令的文件名和参数(如需要参数)，回车即可。如果不在已设路径下，命令前需要加上完整的路径。每次都这样会很麻烦，一个“一劳永逸”的办法是把一些常用命令的路径加入环境变量。有三种方法可以设置环境变量： 使用以下命令可以把这些路径加入环境变量，但是
Fedora命令大全
huangxy10的专栏
11-01 2999
系统 　　 # uname -a # 查看内核/操作系统/CPU信息 　　 # head -n 1 /etc/issue # 查看操作系统版本 　　 # cat /proc/cpuinfo # 查看CPU信息 　　 # hostname # 查看计算机名 　　 # lspci -tv # 列出所有PCI设备 　　 # lsusb -tv # 列出所有USB设备 　　 # lsmod
glusterfs搭建
01-03
### GlusterFS 搭建教程 #### 一、环境准备 为了成功部署GlusterFS，需确保所有服务器的操作系统已更新至最新状态并安装必要的软件包。对于基于Red Hat的企业Linux (RHEL)，CentOS或其他兼容版本，可以通过yum工具...
glusterfs分布式文件存储搭建和使用
zchlove137的博客
12-09 4456
Glusterfs简介 GlusterFS是Scale-Out存储解决方案Gluster的核心，它是一个开源的分布式文件系统，具有强大的横向扩展能力，通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/IP或InfiniBandRDMA网络将物理分布的存储资源聚集在一起，使用单一全局命名空间来管理数据。 说起glusterfs可能比较陌生，可能大家更多的听说和使用的是NFS，GFS，HDFS之类的，这之中的NFS应该是使用最为广泛的，简单易于管理，但是NFS以及后边会说到..
使用ctdb+samba+glusterfs搭建NAS集群系统
weixin_33790053的博客
07-20 1249
1概述 本文介绍使用开源软件ctdb+samba+gluster搭建NAS集群系统。 1.1 使用的开源软件介绍 1、glusterfs glusterfs是一个开源的分布式文件系统，只适用于大文件存储，存储海量小文件性能很差，不建议使用。 2、samba Samba为选定的Unix目录（包括所有子目录）建立网络共享。使W...
【Linux 从基础到进阶】GlusterFS分布式文件系统搭建
weixin_39372311的博客
08-25 664
Bricks（砖块）: GlusterFS中的基本存储单元，每个Brick通常对应一个目录，位于一个存储服务器上。Volume（卷）: 由多个Bricks组成的逻辑存储单元，客户端通过挂载Volume来访问存储在GlusterFS中的文件。Translator（翻译器）: GlusterFS的核心组件，负责实现数据分片、复制、分布等功能。GlusterFS是一款功能强大且易于扩展的分布式文件系统，适用于企业级存储需求。
fedora命令大全
10-10
fedora命令大全
fedora常用运维命令
地球空间
04-18 938
Fedora是一个流行的Linux发行版，它使用的是`dnf`（Dandified YUM）作为其默认的包管理器，这是`yum`的一个改进版本。尽管`dnf`在很多方面与`yum`相似，但也有一些差异。- `firewall-cmd`：管理`firewalld`服务。- `netstat` 或 `ss`：查看网络状态和端口信息。- `top` 或 `htop`：实时显示进程和资源使用情况。- `ip` 或 `ifconfig`：查看和配置网络接口。- `journalctl`：查看系统日志和服务日志。
fedora linux命令,Fedora Linux的一些常用设置和常用命令
weixin_39701768的博客
05-10 238
1.设置常用路径跳转:alias uboot='cd /opt/U-boot-2009.11_tekkaman/U-boot-2009.11_tekkaman/'2.samba服务重启命令在更改ip后，或修改samba配置文件后，如果没有重启服务，所作的修改实际上是不会生效的重启网络服务的命令是service network restart或者/etc/init.d/network restart...
Fedora Linux的一些常用设置和常用命令
老瓦的笔记本
04-25 765
作者：OnlyHenk 转自：http://blog.chinaunix.net/uid-26143229-id-3309855.html 1.设置常用路径跳转: alias uboot='cd /opt/U-boot-2009.11_tekkaman/U-boot-2009.11_tekkaman/' 2.samba服务重启命令 在更改ip后，或修改samba配置文件后，如
安装GlusterFS
weixin_30596735的博客
10-15 86
Step 1-至少需要两个节点 两个节点安装fedora 20 ，分别为“server1”和“server2” 网络连接 至少两个虚拟磁盘，一个用于OS安装，一个用于支持GlusterFS存储（sdb）。真实环境部署的时候希望将OS和GlusterFS存储隔离。 注意：GlusterFS将它动态生成的配置文件放在/var/lib/glusterd目录下。如果在任何时刻GlusterFS...
Linux(Fedora)基本命令
Seem827191466的博客
03-23 904
修改root密码 sudo su passwd root 以root登录 su root 查看当前目录的完整路径 pwd 查找当前目录中子目录的个数 ls -l | grep ^d |wc -l 查找当前目录中文件的个数 ls -l | grep ^- | wc -l 创建目录 mkdir 删除目录 rm -rf -r 就是向下递归，不管有多少级目录...
RedHat6.5 搭建glusterfs全过程
weixin_34138139的博客
07-14 521
一,前言再学习kvm过程中，老大要求我把数据磁盘和系统盘分开存储。因此，老大建议用glusterfs来做data 的存储。找了很多资料才搞完，看下面的操作吧。二，安装部署。通过很多资料发现，有linux系统是直接找到glusterfs的源代码的网站下载repo的文件后yum安装。开始的时候，我也这样搞，发现各种报错，各种依赖，让我烦不胜烦，但是，我还是决心用y...
GlusterFs入门教程详细版
loveher369的博客
02-04 681
GlusterFs教程：GlusterFs教程目录 读者您好： 本教程将带领大家一起学习分布式署存储系统GlusterFs，通过本脚本的学习，您应该可以对GlusterFs这门技术有一个全面的认识和掌握。 GlusterFs教程链接 技多不压身，希望大家可以学以致用，在未来的工作实践中能够很好的应用起来，祝大家学习愉快！ 好了，接下来，让我们一起在知识的海洋遨游吧，首先看看我们的Gluster教程目前有哪些内容： GlusterFs简介 讲到文件存储系统，大家可能首先就会想到NFS、FastDFS等，那个G
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值