【ceph】pg状态不正常，Degraded data redundancy: 460/77222938 objects degraded (0.001%), 11 pgs degraded

最新推荐文章于 2024-03-04 15:50:04 发布
原创 最新推荐文章于 2024-03-04 15:50:04 发布 · 2.3k 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#ceph

文章讨论了Ceph集群的健康警告，特别是pg（PlacementGroup）状态异常，如stuckundersized，提示数据冗余度降低。文章建议检查OSD健康、存储池状态、副本数配置，并提供数据再平衡操作等解决方案。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  本站以分享各种运维经验和运维所需要的技能为主

《python零基础入门》：python零基础入门学习

《python运维脚本》： python运维脚本实践

《shell》：shell学习

《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战

《k8》暂未更新

《docker学习》暂未更新

《ceph学习》ceph日常问题解决分享

《日志收集》ELK+各种中间件

《运维日常》运维日常

《linux》运维面试100问

 pg状态不正常

            Degraded data redundancy: 460/77222938 objects degraded (0.001%), 11 pgs degraded, 20 pgs undersized

    pg 1.9 is stuck undersized for 67505.094338, current state active+undersized+degraded, last acting [95,60]

    pg 1.a is stuck undersized for 67505.092252, current state active+undersized, last acting [125,26]

    pg 1.b is stuck undersized for 67505.096730, current state active+undersized, last acting [25,125]

    pg 1.c is stuck undersized for 67505.098017, current state active+undersized, last acting [79,166]

    pg 1.e is stuck undersized for 67505.096981, current state active+undersized+degraded, last acting [97,63]

    pg 2.1 is stuck undersized for 66585.680482, current state active+undersized+degraded, last acting [167,74]

    pg 2.7 is stuck undersized for 64373.451329, current state active+undersized+degraded, last acting [119,13]

    pg 2.8 is stuck undersized for 66579.748265, current state active+undersized+degraded, last acting [141,7]

    pg 2.a is stuck undersized for 63851.308379, current state active+undersized+degraded, last acting [85,0]

    pg 2.d is stuck undersized for 63752.075326, current state active+undersized+degraded, last acting [51,115]

    pg 3.a is stuck undersized for 63856.354608, current state active+undersized+degraded, last acting [119,27]

    pg 4.1 is stuck undersized for 67505.096880, current state active+undersized, last acting [30,87]

    pg 4.2 is stuck undersized for 67505.061049, current state active+undersized, last acting [158,74]

    pg 4.6 is stuck undersized for 67505.081249, current state active+undersized, last acting [111,22]

    pg 4.7 is stuck undersized for 67505.093693, current state active+undersized, last acting [95,17]

    pg 4.8 is stuck undersized for 67505.092161, current state active+undersized, last acting [70,150]

    pg 4.9 is stuck undersized for 67505.095216, current state active+undersized+degraded, last acting [107,17]

    pg 4.c is stuck undersized for 67505.097948, current state active+undersized, last acting [127,30]

    pg 4.d is stuck undersized for 67505.086830, current state active+undersized+degraded, last acting [123,2]

    pg 4.f is stuck undersized for 67505.097398, current state active+undersized+degraded, last acting [110,66]

根据信息， Ceph 集群的健康状态显示为 HEALTH_WARN，并且存在数据冗余度降低的警告。具体的警告信息是：460/76950244 个对象降级（0.001%），11 个降级的 PG（Placement Group），20 个大小不足的 PG。

警告信息中提到了一些 pg（Placement Group）被标记为 "stuck undersized"，表示这些 PG 处于大小不足的状态，并且已经持续了一段时间。每个 PG 的状态描述了它们的活动状态、大小和降级情况，以及最后一次执行操作的 OSD（Object Storage Daemon）节点。

这些警告表明你的 Ceph 集群中的一些 PG 处于不完整的状态，可能由于某些原因导致了数据冗余度的降低。这可能会影响数据的可靠性和性能。为了解决这个问题，你可以采取以下步骤：

  1. 检查集群的 OSD 健康状态：运行 ceph osd tree 命令，检查 OSD 的状态是否正常，是否有 OSD 处于故障或离线状态。

  2. 检查集群的存储池（Pool）状态：运行 ceph osd pool stats 命令，检查存储池的状态是否正常，是否有存储池达到了容量限制。

  3. 检查集群的副本数和故障域设置：确保你的存储池设置了足够的副本数，并且故障域设置正确。这样可以确保数据在集群中的多个位置进行复制，提高数据的冗余度和可靠性。

  4. 执行数据再平衡操作：运行 ceph pg repair 命令来触发数据再平衡操作，以恢复 PG 的正常状态。这将重新分布数据并恢复大小不足的 PG。

  5. 监控和调整集群性能：确保你的 Ceph 集群具备足够的计算、存储和网络资源，以满足负载需求。监控集群的性能指标，并根据需要进行调整和优化。

我的问题是第三条，副本数规划不对，修改完后集群状态恢复ok。

这里也参考一下了一下大佬写的pg状态详解，对我帮助颇大。

分布式存储Ceph之PG状态详解 - 简书 

 

ceph存储 pg归置组处于stuck以及degraded状态解决方案
skdkjxy的专栏
01-07 5935
由于对ceph的兴趣，我们经常自己搭建ceph集群，可能是单节点，也可能是多节点，但是经常遇到pg归置组异常状态，下面是遇到的一些情况： 1、单节点的时候pg归置组unclean或者degraded     这个时候应该检查，自己是几个osd，副本数是多少，副本的最小值是多少，还有故障域是不是osd 2、多个节点的时候pg归置组unclean或者degraded
【ceph】pg状态不正常，Degraded data redundancy 460 77222938 objects degraded (0
m0_54903333的博客
04-18 1254
每个 PG 的状态描述了它们的活动状态、大小和降级情况，以及最后一次执行操作的 OSD（Object Storage Daemon）节点。，并且存在数据冗余度降低的警告。具体的警告信息是：460/76950244 个对象降级（0.001%），11 个降级的 PG（Placement Group），20 个大小不足的 PG。这些警告表明你的 Ceph 集群中的一些 PG 处于不完整的状态，可能由于某些原因导致了数据冗余度的降低。我的问题是第三条，副本数规划不对，修改完后集群状态恢复ok。
部署ceph时，刚部署完osd，pg就出错 Degraded data redundancy: 12/36 objects degraded (33.333%), 11 pgs degraded, 1
qq_67736058的博客
03-04 847
原来是我有三个节点，就必须保证每个节点都有osd，否则我们的集群副本数无法满足。这里又部署了几个osd，问题就解决了。
CEPH告警：health_warn 45 pgs degraded;60 pgs unclean; 45 pgs undersized
chuan_day的专栏
03-07 4997
CEPH告警：health_warn 45 pgs degraded;60 pgs unclean; 45 pgs undersized 此告警是由于osd个数存在问题，由文档说osd的个数应该是单数，1,3,5... 而查看我的OSD个数 ceph osd tree 显示只有4个up，其余的在测试时被我自己删除了，从而导致了这个问题 实际就是说pgs数量少了，由于初学没能完
ceph学习小结
晓飞趋势
10-28 2130
最近部署ceph，硬是挤时间研究了下ceph的相关的东西，下面主要是通过看别人的文章以及自己工作用到的的知识总结而成。这可以算是ceph的笔记吧。
【ceph】Ceph之PG状态详解--研读笔记
bandaoyu的note
09-17 1万+
原文：分布式存储Ceph之PG状态详解 - 简书 1. PG介绍 继上次分享的《Ceph介绍及原理架构分享》，这次主要来分享Ceph中的PG各种状态详解，PG是最复杂和难于理解的概念之一，PG的复杂如下： 在架构层次上，PG位于RADOS层的中间。 a. 往上负责接收和处理来自客户端的请求。 b. 往下负责将这些数据请求翻译为能够被本地对象存储所能理解的事务。 是组成存储池的基本单位，存储池中的很多特性，都是直接依托于PG实现的。 面向容灾域的备份策略使得一般而言的PG需要执行跨节点的分布式写
分布式存储Ceph之PG状态详解
didi_cloud的博客
05-07 2068
1. PG介绍这次主要来分享Ceph中的PG各种状态详解，PG是最复杂和难于理解的概念之一，PG的复杂如下： 在架构层次上，PG位于RADOS层的中间。a. 往上负责接收和处理来自客户端的请求。b. 往下负责将这些数据请求翻译为能够被本地对象存储所能理解的事务。是组成存储池的基本单位，存储池中的很多特性，都是直接依托于PG实现的。面向容灾域的备份策略使得一般而言的PG需要执行跨节点的分布式写，因此...
Ceph 删除一个osd 盘报错 1 pg[1.4a7] degraded, 1 pg[1.4a7] undersized
zuopiezia的博客
10-19 1056
[root@compute01 ~]# ceph -s cluster: id: 59458cbe-1086-40ee-8e6b-6ba8aea5c8e4 health: HEALTH_WARN Degraded data redundancy: 34/84820 objects degraded (0.040%), 1 pg[1.4a7] degraded, 1 pg[1.4a7] undersized services: mon: 3.
PG常见故障及处理
DeamonXiao的博客
10-21 9385
PG异常状态详解及故障总结 参考： https://www.jianshu.com/p/36c2d5682d87 https://blog.csdn.net/wylfengyujiancheng/article/details/89235241?utm_medium=distribute.pc_relevant.none-task-blog-2defaultbaidujs_baidulandingword~default-1.no_search_link&spm=1001.2101.3001.42
Ceph—报错锦集（mgr2、pgs、mgr依赖缺失等）
weixin_42016791的博客
06-25 3059
Ceph—手动部署Ceph报错锦集（mgr2、pgs、mgr依赖缺失等）报错锦集1. 执行./do_cmake.sh时的报错提示2. ./do_cmake.sh 的note3. 导入一些链接库4. No module named 'ceph'(mgr依赖错误）5. mgr依赖缺失:/lib/x86_64-linux-gnu/librbd.so.16. pgs错误:1 pg undersized7. 删除OSD节点的问题 报错锦集 1. 执行./do_cmake.sh时的报错提示 CMake Error at
分析 PG 故障并修复
Terry Tsang
12-09 3255
目标 解决下面故障 # ceph -s cluster: id: 7e720238-7ada-4922-ba2e-xxxxxx4e4 health: HEALTH_WARN Degraded data redundancy: 85 pgs unclean, 85 pgs degraded, 85 pgs undersized services: mon: 3 daemons, quorum ns-storage-020100,ns-sto
Ceph 故障处理记录一
那个那个
03-01 3980
Ceph 故障处理记录一 一、故障描述 k8s01、k8s02、k8s03三台服务器组成的ceph集群 集群状态如下： [root@k8s01 ops]# ceph -s cluster: id: b5f36dec-8faa-4efa-b08d-cbcd8305ae63 health: HEALTH_WARN 1 MDSs report slow metadata IOs 1 MDSs report slow requests
Ceph集群报错解决方案笔记
热门推荐
SL_World的博客
11-28 2万+
当前Ceph版本和CentOS版本： [root@ceph1 ceph]# ceph -v ceph version 13.2.2 (02899bfda814146b021136e9d8e80eba494e1126) mimic (stable) [root@ceph1 ceph]# cat /etc/redhat-release CentOS Linux release 7.5.1804 (C...
ceph常用命令及其使用、ceph集群定位常用命令说明【如ceph osd set norebalance】、ceph官方文档查询地址
崔崇鑫的博客，你linux/云运维工作中的百科全书。
12-10 2万+
文章目录ceph集群的监控检查集群的健康情况监控集群的时间查看集群的空间利用率查看集群的实时状态获取秘钥列表检查ceph mon查看mon状态的方法mon法定人数状态监控ceph osd查看osd树视图获取ceph集群和osd的详细信息查看添加到黑名单的客户端检查crush map信息检查集群的crush map信息查看crush map 工作集查看一个crush 规则集的详细信息搜索osd和它在...
CEPH状态查询命令汇总
weixin_34391854的博客
09-26 1056
1、ceph -s 查看集群状态[root@admin-node ~]# ceph -s cluster 99f00338-a334-4f90-a579-496a934f25c0 health HEALTH_WARN 109 pgs degraded 9 pgs recovering 96 pgs...
PG 异常状态- active+undersized+degraded
chenwei8280的专栏
06-23 1万+
自己搭的3个OSD节点的集群的健康状态经常处在”WARN”状态，replicas设置为3，OSD节点数量大于3，存放的data数量也不多，ceph -s 不是期待的health ok，而是active+undersized+degraded。被这个问题困扰有段时间，因为对Ceph不太了解而一直没有 找到解决方案，直到最近发邮件到社区才得到解决[1]。 PG状态的含义 PG的非正常状态说明...
Reduced data availability: 96 pgs inactive Degraded data redundancy: 96 pgs undersized
最新发布
03-11
<think>好的，我现在需要帮用户解决关于存储系统中数据可用性减少和数据冗余降级的问题，特别是涉及96个非活动页面和96个大小不足的页面。首先，我需要理解用户提到的这些状态具体意味着什么，以及可能的原因和解决方法。 首先，用户提到了“Reduced data availability”和“degraded data redundancy”，这通常与存储系统中的副本或纠删码配置有关。根据用户提供的引用内容，特别是引用[3]中的例子，当OSD停止时，PG状态会变成undersized+degraded+peered，这说明有副本不足的情况。同样，非活动状态（inactive）可能意味着PG无法处理IO请求，可能因为OSD宕机或其他问题。 接下来，用户的问题中提到有96个inactive和undersized的页面（pages），这里的“pages”可能是指PGs（Placement Groups）。在Ceph中，PG的状态反映了数据分布和健康情况。所以需要确认用户的问题是否是关于Ceph存储集群中的PG状态，例如active+clean变为inactive或undersized。 根据引用[1]，当OSD短暂挂掉时，集群可能还能正常写入，但恢复时会有数据同步过程。如果OSD长时间不可用，可能导致PG无法达到所需的副本数，从而出现undersized状态。同样，引用[3]提到停止OSD后，PG状态变为undersized+degraded+peered，说明副本不足，数据冗余降低。 接下来，我需要分析可能导致96个PG处于非活动和大小不足状态的原因。可能的原因包括多个OSD下线、网络分区、硬件故障，或者配置问题如pg_num设置不当。例如，如果有多个OSD同时宕机，可能导致多个PG无法满足副本要求，进而变成undersized和inactive。 解决方案方面，首先需要检查集群状态，使用如ceph -s、ceph osd tree、ceph pg dump等命令，确定哪些OSD有问题。然后尝试恢复故障的OSD，例如重启OSD服务，或者替换故障硬件。如果OSD无法恢复，可能需要将其标记为out并重新平衡数据，如引用[4]中的操作步骤。 此外，调整PG的数量和分布也可能有帮助，确保集群有足够的资源分布PG。监控和自动修复机制也很重要，确保集群能够自动恢复故障。 在回答时，需要按照用户的要求，结构清晰，分步骤说明原因和解决方案，同时引用提供的参考文献来支持观点。例如，引用[2]提到使用ceph pg stat查看状态，引用[3]说明停止OSD后的状态变化，引用[4]展示如何移除OSD。 最后，生成相关问题，可能需要包括如何监控PG状态、调整PG数量、处理OSD故障的详细步骤，以及预防措施等。</think>### 数据可用性减少与冗余降级问题分析 在分布式存储系统（如Ceph）中，出现 **96个非活动（inactive）页面** 和 **96个大小不足（undersized）页面** 通常与存储池的**Placement Group（PG）状态异常**相关。以下是具体原因与解决方案： --- #### 一、核心概念解析 1. **PG状态定义** - **Inactive**：表示PG当前无法处理客户端IO请求，可能因OSD宕机、网络中断或仲裁不足导致[^3]。 - **Undersized**：PG的实际副本数低于存储池配置的副本数（如配置`size=3`但当前只有2个副本）。 2. **影响** - **数据可用性减少**：客户端可能无法读写部分数据。 - **冗余降级**：数据副本未达到预期，存在丢失风险。 --- #### 二、根本原因 1. **OSD故障** - 多个OSD同时宕机或下线（如硬件故障、服务崩溃），导致PG无法维护足够副本[^1]。 - 示例：若一个PG的3个副本分布在3个OSD上，其中1个OSD故障，则PG变为`undersized+degraded`。 2. **网络分区** - 部分OSD因网络中断无法与集群通信，导致PG无法完成数据同步。 3. **PG分布不均** - PG数量（`pg_num`）配置不合理，导致部分OSD负载过重，故障时影响更多PG。 --- #### 三、解决步骤 1. **检查集群状态** 使用以下命令定位问题OSD和PG： ```bash ceph -s # 查看整体健康状态 ceph osd tree # 检查OSD在线状态 ceph pg dump | grep -E "inactive|undersized" # 筛选异常PG ``` 2. **恢复故障OSD** - **重启OSD服务**：尝试恢复暂时性故障。 ```bash systemctl restart ceph-osd@<ID> # 替换<ID>为具体OSD编号 ``` - **硬件修复**：若OSD因磁盘损坏下线，需更换磁盘后重新加入集群[^4]。 3. **手动干预PG状态** - **标记故障OSD为`out`**：强制集群迁移数据至其他OSD。 ```bash ceph osd out <OSD_ID> # 标记OSD为下线状态 ceph osd purge <OSD_ID> --yes-i-really-mean-it # 彻底移除OSD ``` - **触发数据恢复**：集群会自动重建缺失副本，PG状态将从`undersized`逐步恢复至`active+clean`[^1][^2]。 4. **调整PG分布** - **优化`pg_num`**：根据集群规模调整PG数量，避免单个OSD承载过多PG。 - **平衡数据分布**：使用`ceph osd reweight`调整OSD权重，分散负载。 --- #### 四、预防措施 1. **冗余配置** - 设置存储池副本数`size≥3`，并启用`min_size=2`，确保即使部分OSD故障仍可读写[^1]。 2. **监控与告警** - 实时监控PG状态（如`ceph pg stat`），设置`inactive`或`undersized`状态的告警阈值。 3. **定期维护** - 定期检查硬件健康状态，预更换老化设备。 --- ### 相关问题 1. 如何监控Ceph集群中PG的实时状态？ 2. PG数量（pg_num）设置不合理会导致哪些问题？ 3. Ceph中如何处理因网络分区导致的数据不一致？ 4. 如何验证数据恢复后的一致性？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值