分析 PG 故障并修复

最新推荐文章于 2024-01-04 11:56:55 发布
最新推荐文章于 2024-01-04 11:56:55 发布
阅读量3.2k 收藏 1
点赞数
CC 4.0 BY-SA版权
文章标签： ceph
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/signmem/article/details/110929572

目标

解决下面故障

# ceph -s
  cluster:
    id:     7e720238-7ada-4922-ba2e-xxxxxx4e4
    health: HEALTH_WARN
            Degraded data redundancy: 85 pgs unclean, 85 pgs degraded, 85 pgs undersized

  services:
    mon: 3 daemons, quorum ns-storage-020100,ns-storage-020101,ns-storage-020102
    mgr: ns-storage-020100(active), standbys: ns-storage-020101, ns-storage-020102
    osd: 18 osds: 18 up, 18 in; 43 remapped pgs

  data:
    pools:   3 pools, 1152 pgs
    objects: 250 objects, 631 MB
    usage:   40579 MB used, 66966 GB / 67006 GB avail
    pgs:     1024 active+clean
             85   active+undersized+degraded
             43   active+clean+remapped

尝试使用 ceph pg repair 对 pg 执行修复失败
检测 ceph pg 状态 如下

# ceph health detail
.......
    pg 3.c is stuck undersized for 6137651.255431, current state active+undersized+degraded, last acting [14,13]
    pg 3.d is stuck undersized for 6137651.146218, current state active+undersized+degraded, last acting [15,13]
.......

状态分析

pg状态解释
uncleanPG 故障, 没有完成指定副本数量
degradedPG中的一些对象还没有被复制到规定的份数
undersized该PG的副本数量小于存储池所配置的副本数量

故障原因

# ceph osd tree
ID  CLASS WEIGHT   TYPE NAME                              STATUS REWEIGHT PRI-AFF
-12       16.00000 root noah
 -9        8.00000     host ns-storage-020100.vclound.com
 12   hdd  4.00000         osd.12                             up  1.00000 1.00000
 13   hdd  4.00000         osd.13                             up  1.00000 1.00000
-10        8.00000     host ns-storage-020101.vclound.com
 14   hdd  4.00000         osd.14                             up  1.00000 1.00000
 15   hdd  4.00000         osd.15                             up  1.00000 1.00000
-11              0     host ns-storage-020102.vclound.com
 -1       55.63620 root default
 -2       15.63620     host ns-storage-020100
  0   hdd  3.63620         osd.0                              up  1.00000 1.00000
  1   hdd  4.00000         osd.1                              up  1.00000 1.00000
  2   hdd  4.00000         osd.2                              up  1.00000 1.00000
  3   hdd  4.00000         osd.3                              up  1.00000 1.00000
 -3       16.00000     host ns-storage-020101
  4   hdd  4.00000         osd.4                              up  1.00000 1.00000
  5   hdd  4.00000         osd.5                              up  1.00000 1.00000
  6   hdd  4.00000         osd.6                              up  1.00000 1.00000
  7   hdd  4.00000         osd.7                              up  1.00000 1.00000
 -4       24.00000     host ns-storage-020102
  8   hdd  4.00000         osd.8                              up  1.00000 1.00000
  9   hdd  4.00000         osd.9                              up  1.00000 1.00000
 10   hdd  4.00000         osd.10                             up  1.00000 1.00000
 11   hdd  4.00000         osd.11                             up  1.00000 1.00000
 16   hdd  4.00000         osd.16                             up  1.00000 1.00000     <--- 正常应该在  noah 根下
 17   hdd  4.00000         osd.17                             up  1.00000 1.00000     <--- 正常应该在  noah 根下

迁移 osd 至 noah 根

# ceph osd crush rm osd.16
removed item id 16 name 'osd.16' from crush map
# ceph osd crush rm osd.17
removed item id 17 name 'osd.17' from crush map
# ceph osd crush add osd.16 4.0 host=ns-storage-020102.vclound.com
add item id 16 name 'osd.16' weight 4 at location {host=ns-storage-020102.vclound.com} to crush map
# ceph osd crush add osd.17 4.0 host=ns-storage-020102.vclound.com
add item id 17 name 'osd.17' weight 4 at location {host=ns-storage-020102.vclound.com} to crush map

观察 osd tree

# ceph osd tree
ID  CLASS WEIGHT   TYPE NAME                              STATUS REWEIGHT PRI-AFF
-12       24.00000 root noah
 -9        8.00000     host ns-storage-020100.vclound.com
 12   hdd  4.00000         osd.12                             up  1.00000 1.00000
 13   hdd  4.00000         osd.13                             up  1.00000 1.00000
-10        8.00000     host ns-storage-020101.vclound.com
 14   hdd  4.00000         osd.14                             up  1.00000 1.00000
 15   hdd  4.00000         osd.15                             up  1.00000 1.00000
-11        8.00000     host ns-storage-020102.vclound.com
 16        4.00000         osd.16                             up  1.00000 1.00000
 17        4.00000         osd.17                             up  1.00000 1.00000
 -1       47.63620 root default
 -2       15.63620     host ns-storage-020100
  0   hdd  3.63620         osd.0                              up  1.00000 1.00000
  1   hdd  4.00000         osd.1                              up  1.00000 1.00000
  2   hdd  4.00000         osd.2                              up  1.00000 1.00000
  3   hdd  4.00000         osd.3                              up  1.00000 1.00000
 -3       16.00000     host ns-storage-020101
  4   hdd  4.00000         osd.4                              up  1.00000 1.00000
  5   hdd  4.00000         osd.5                              up  1.00000 1.00000
  6   hdd  4.00000         osd.6                              up  1.00000 1.00000
  7   hdd  4.00000         osd.7                              up  1.00000 1.00000
 -4       16.00000     host ns-storage-020102
  8   hdd  4.00000         osd.8                              up  1.00000 1.00000
  9   hdd  4.00000         osd.9                              up  1.00000 1.00000
 10   hdd  4.00000         osd.10                             up  1.00000 1.00000
 11   hdd  4.00000         osd.11                             up  1.00000 1.00000

ceph 自动完成修复

# ceph -s
  cluster:
    id:     7e720238-7ada-4922-ba2e-d9d9a49ac4e4
    health: HEALTH_OK

  services:
    mon: 3 daemons, quorum ns-storage-020100,ns-storage-020101,ns-storage-020102
    mgr: ns-storage-020100(active), standbys: ns-storage-020101, ns-storage-020102
    osd: 18 osds: 18 up, 18 in

  data:
    pools:   3 pools, 1152 pgs
    objects: 250 objects, 631 MB
    usage:   40584 MB used, 66966 GB / 67006 GB avail
    pgs:     1152 active+clean

  io:
    recovery: 341 kB/s, 0 objects/s
ceph pg 卡在 active+clean+remapped 状态
weixin_40548182的博客
06-20 75
将 raid0 拆成多个盘后，重新加入集群，会自动再启动一个 osd.0 这会该 pg 就会恢复，但不一定是分布在 osd.0 上。然后等了很长时间等 pg 数据迁移到别的 osd，但是最后有一个 pg 状态卡在了。ceph 环境中有个 osd.0 做了 raid0 ，后来想剔除掉，执行了。，然后没什么用，重启 osd 也无用，但是这会 ceph 集群状态是。删除 osd.0 后该 pg 处于。有如下类似内容就是正在回填。再次查看该 pg 是否回填。状态，所以就直接删除了。
Ceph 故障修复记录（持续更新）
烟云的计算
05-17 3180
目录 文章目录目录问题：故障域与副本数导致的 PG 不正常 问题：故障域与副本数导致的 PG 不正常 缘起：执行 rbd snap unprotect 执行卡死。 调查：Ceph 集群 PG 不正常。 原因：因为该环境是一个 All-in-one 的环境，CRUSH bucket 默认为 Host 级别，与此同时 Pool: default.rgw.control 的 Replication ...
PG介绍
qq_41915893的博客
06-20 2479
PG介绍： 0.全称placement group，中文译为放置组，用于放置object的一个载体 1.在架构层次上，PG处于RADOS层的中间 2.向上，负责接收和处理来自客户端的数据请求 3.向下，负责将数据请求翻译为能够被本地对象存储所能理解的事务 4.组成存储池的基本单位，存储池中很多特性依托于PG实现 5.不同节点间的数据同步、恢复依赖于PG（面向容灾域的备份策略） ...
pg故障修复记录
code_feien的博客
11-07 610
postgresql,repmgr,pgbackrest
【ceph】pg状态不正常，Degraded data redundancy: 460/77222938 objects degraded (0.001%), 11 pgs degraded
最新发布
zerotoall的博客
01-04 2363
【ceph】pg状态不正常，Degraded data redundancy: 460/77222938 objects degraded (0.001%), 11 pgs degraded 根据信息，Ceph 集群的健康状态显示为HEALTH_WARN，并且存在数据冗余度降低的警告。具体的警告信息是：460/76950244 个对象降级（0.001%），11 个降级的 PG（Placement Group），20 个大小不足的 PG。 警告信息中提到了一些pg（Placement Group）被标
PG 异常状态- active+undersized+degraded
chenwei8280的专栏
06-23 1万+
自己搭的3个OSD节点的集群的健康状态经常处在”WARN”状态，replicas设置为3，OSD节点数量大于3，存放的data数量也不多，ceph -s 不是期待的health ok，而是active+undersized+degraded。被这个问题困扰有段时间，因为对Ceph不太了解而一直没有 找到解决方案，直到最近发邮件到社区才得到解决[1]。 PG状态的含义 PG的非正常状态说明...
大话Ceph--PG那点事儿
Be_Nice的博客
06-24 536
引言 PG，Placement Group，中文翻译为归置组，在ceph中是一个很重要的概念，这篇文章将对PG进行深入浅出的讲解。 PG是什么 PG就是目录！ 我事先搭建了一个3个host, 每个host有3个OSD的集群，集群使用3副本，min_size为2。 集群状态如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 .
CEPH PG故障自动修改脚本
qq_41233709的博客
04-13 1038
CEPH PG 自动修复
数据库日志分析与故障排除：pg016_v_tc.pdf的实战指南
![数据库日志分析与故障排除：pg016_v_tc.pdf的实战指南]...接着，文章通过实战案例分析了数据库故障的分类、诊断技术和修复方法，并提供了故障模拟和日志分析的实际操作技巧。此外，本文还详细介绍了日志管理策略
西门子 PG2000中文版软件
08-22
- **诊断**：提供详细的错误和事件日志，便于识别和修复设备故障。 - **项目管理**：支持创建、编辑和管理多个项目，方便在不同阶段或不同设备之间切换。 - **通信**：能够与各种SIMATIC设备进行通信，实现远程...
PG基于repmgr实现自动和手动故障切换
01-01 1852
PG基于repmgr实现自动和手动故障切换 1、准备机器（1主2从1withness） 主库 [root@wcbpg ~]# docker rm -f wcbrepmgr64361 [root@wcbpg ~]# docker run -d --name wcbrepmgr64361 -h wcbrepmgr64361 \ --net=pg-network --ip 172.72.6.61 \ -p 64361:5432 \ -v /sys/fs/cgroup:/sys/fs/cgroup \
Ceph集群报错解决方案笔记
热门推荐
SL_World的博客
11-28 2万+
当前Ceph版本和CentOS版本： [root@ceph1 ceph]# ceph -v ceph version 13.2.2 (02899bfda814146b021136e9d8e80eba494e1126) mimic (stable) [root@ceph1 ceph]# cat /etc/redhat-release CentOS Linux release 7.5.1804 (C...
Ceph—报错锦集（mgr2、pgs、mgr依赖缺失等）
weixin_42016791的博客
06-25 3058
Ceph—手动部署Ceph报错锦集（mgr2、pgs、mgr依赖缺失等）报错锦集1. 执行./do_cmake.sh时的报错提示2. ./do_cmake.sh 的note3. 导入一些链接库4. No module named 'ceph'(mgr依赖错误）5. mgr依赖缺失:/lib/x86_64-linux-gnu/librbd.so.16. pgs错误:1 pg undersized7. 删除OSD节点的问题 报错锦集 1. 执行./do_cmake.sh时的报错提示 CMake Error at
PG常见故障及处理
DeamonXiao的博客
10-21 9381
PG异常状态详解及故障总结 参考： https://www.jianshu.com/p/36c2d5682d87 https://blog.csdn.net/wylfengyujiancheng/article/details/89235241?utm_medium=distribute.pc_relevant.none-task-blog-2defaultbaidujs_baidulandingword~default-1.no_search_link&spm=1001.2101.3001.42
ceph故障【pgs inconsistent；scrub errors】解决方法
李少阳的博客！
03-16 3378
ceph系统经常出现有问题的PG，有些能自动修复，有些一直报错。如下图 解决方法: 1 确定故障PG id ceph health detail 2 清洗恢复故障PG ceph pg repair PG-id 成功后，会告知成功与否，并显示所在OSD等信息 3 查看集群是否正常 ceph -s ceph osd dump
Ceph 删除一个osd 盘报错 1 pg[1.4a7] degraded, 1 pg[1.4a7] undersized
zuopiezia的博客
10-19 1056
[root@compute01 ~]# ceph -s cluster: id: 59458cbe-1086-40ee-8e6b-6ba8aea5c8e4 health: HEALTH_WARN Degraded data redundancy: 34/84820 objects degraded (0.040%), 1 pg[1.4a7] degraded, 1 pg[1.4a7] undersized services: mon: 3.
Ceph：ceph修复osd为down的情况
那个那个
03-09 5245
ceph修复osd为down的情况 今天巡检发现ceph集群有一个osds Down了 通过dashboard 查看： ceph修复osd为down的情况： 点击查看详情 可以看到是哪个节点Osds Down 了 通过命令查看Osds状态 ①、查看集群状态： [root@ceph01 ~]# ceph -s cluster: id: 240a5732-02e5-11eb-8f5a-000c2945a4b1 health: HEALTH_WARN Deg
【ceph】Ceph之PG状态详解--研读笔记
bandaoyu的note
09-17 1万+
原文：分布式存储Ceph之PG状态详解 - 简书 1. PG介绍 继上次分享的《Ceph介绍及原理架构分享》，这次主要来分享Ceph中的PG各种状态详解，PG是最复杂和难于理解的概念之一，PG的复杂如下： 在架构层次上，PG位于RADOS层的中间。 a. 往上负责接收和处理来自客户端的请求。 b. 往下负责将这些数据请求翻译为能够被本地对象存储所能理解的事务。 是组成存储池的基本单位，存储池中的很多特性，都是直接依托于PG实现的。 面向容灾域的备份策略使得一般而言的PG需要执行跨节点的分布式写
ceph存储 pg归置组处于stuck以及degraded状态解决方案
skdkjxy的专栏
01-07 5935
由于对ceph的兴趣，我们经常自己搭建ceph集群，可能是单节点，也可能是多节点，但是经常遇到pg归置组异常状态，下面是遇到的一些情况： 1、单节点的时候pg归置组unclean或者degraded     这个时候应该检查，自己是几个osd，副本数是多少，副本的最小值是多少，还有故障域是不是osd 2、多个节点的时候pg归置组unclean或者degraded
电脑主板维修技巧与故障分析
- 系统设备检测：BIOS检测系统安装的硬件设备类型、数量，并建立相应的硬件配置表。 - 引导程序：BIOS负责从指定的启动设备（如硬盘、光驱或USB设备）加载操作系统引导程序。 2. RESET信号的产生过程 RESET信号是...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Terry_Tsang

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值