文件清理策略

Kafka中默认的日志保存时间为7天,可以通过如下参数修改保存时间

  • log.retention.hours,最低优先级小时,默认7天
  • log.retention.minutes,分钟
  • log.retention.ms,最高优先级毫秒
  • log.retention.check.interval.ms,负责设置检查周期,默认五分钟

日志一旦超过了设置的时间,怎么处理呢?

Kafka中提供的日志清理策略有delete和compact两种

1)delete日志删除:将过期数据删除

`log.cleanup.policy = delete` 所有数据启用删除策略

基于时间:默认打开。以segment中所有记录中的最大时间戳作为该文件时间戳

如果一个segment中有一部分数据过期,一部分没有过期,怎么处理?

等没有过期的数据过期再进行删除

基于大小:默认关闭(生产环境中一般不会打开)。超过设置的所有日志总大小,删除最早的segment。

log.retention.bytes,默认等于-1,表示无穷大

2)compact日志压缩

对于相同key的不同value值,只保留最后一个版本

log.cleanup.policy = compact 所有数据启用压缩策略

压缩后的offset可能是不连续的,比如上图中没有6,当从这些offset消费消息时,将会拿到比这个offset大的offset对应的消息,实际上会拿到offset为7的消息,并从这个位置开始消费

这种策略只适合特殊场景,比如消息的key是用户ID,value是用户的资料,通过这种压缩策略,整个消息集里就保存了所有用户最新的资料

<think>好的,用户之前问过如何在Linux中防止/tmp下的文件被自动清理,现在他问的是如何在CentOS中配置/tmp的清理策略。CentOS属于RHEL系,所以应该用systemd-tmpfiles来处理。我需要先回顾之前的回答,确保这次的内容不重复,但更具体针对CentOS。 首先,用户可能需要知道CentOS默认使用systemd,所以清理策略由systemd-tmpfiles管理。我需要详细说明如何查看默认配置,如何覆盖或修改这些配置,比如创建自定义的配置文件在/etc/tmpfiles.d目录下。要强调x标记的作用,即排除清理。同时,可能需要提到如何设置保留时间和调整参数,比如修改文件的保存天数。 另外,用户可能需要了解如何测试配置是否生效,比如手动触发清理并检查文件是否存在。还有注意事项,比如不要直接修改系统默认配置文件,而是通过新建.conf文件来覆盖,这样可以避免升级时被覆盖。可能还需要提到其他方法,比如使用touch命令或chattr,但主推systemd的方法,因为这是CentOS推荐的方式。 还需要考虑用户可能的误区,比如直接修改/usr/lib下的文件,这不好,应该用/etc下的自定义配置。另外,检查用户是否有权限问题,是否需要sudo,以及重启服务是否必要。可能还要补充如何验证服务状态,确保配置生效。最后,最佳实践部分可以建议优先使用/var/tmp或者自定义目录,避免依赖/tmp的长期存储。</think>在 CentOS 系统中,`/tmp` 目录的清理策略由 `systemd-tmpfiles` 服务管理。以下是完整的配置方法: --- ### 一、查看默认清理规则 CentOS 默认配置文件路径: ```bash cat /usr/lib/tmpfiles.d/tmp.conf ``` 输出示例: ```conf # 默认规则:删除超过 10 天的未访问文件 D /tmp 1777 root root 10d ``` --- ### 二、自定义清理策略(推荐) #### 1️⃣ 创建覆盖规则 新建配置文件(优先级高于默认配置): ```bash sudo vim /etc/tmpfiles.d/my_tmp.conf ``` #### 2️⃣ 配置语法说明 | 指令 | 格式 | 作用示例 | |------|-------------------------------|-----------------------------| | `D` | `D <路径> <权限> <用户> <组> <保留时间>` | 设置目录清理规则 | | `x` | `x <路径>` | 完全跳过指定路径的清理 | #### 3️⃣ 配置示例 ```conf # 保留 /tmp 目录中所有文件至少 30 天(覆盖默认 10 天) D /tmp 1777 root root 30d # 排除特定文件不被清理 x /tmp/keep_this_file x /tmp/myapp/* ``` --- ### 三、生效与测试 1. **手动触发清理**(测试用) ```bash sudo systemd-tmpfiles --clean ``` 2. **查看清理效果** ```bash ls -l /tmp # 验证目标文件是否保留 ``` 3. **重启服务**(非必须,系统每天自动执行) ```bash sudo systemctl restart systemd-tmpfiles-clean.timer ``` --- ### 四、高级配置选项 #### 1. 按文件类型设置保留时间 ```conf # 保留所有 .sock 文件 60 天 D /tmp/*.sock 1777 root root 60d ``` #### 2. 混合策略 ```conf # 主目录保留 15 天 D /tmp 1777 root root 15d # 子目录保留更久 D /tmp/longterm 1777 root root 90d ``` --- ### 五、注意事项 1. **时间单位对照表** | 单位 | 含义 | 示例 | |------|------------|---------| | `s` | 秒 | 3600s | | `h` | 小时 | 24h | | `d` | 天 | 30d | 2. **日志监控** 清理记录可通过以下命令查看: ```bash journalctl -u systemd-tmpfiles-clean ``` --- ### 六、替代方案 | 方法 | 适用场景 | 操作示例 | |---------------------|-----------------------------|-----------------------------| | **定时任务 + 脚本** | 需要复杂清理逻辑时 | `0 3 * * * find /tmp -atime +30 -delete` | | **修改挂载参数** | 使用 `tmpfs` 内存文件系统时 | `/etc/fstab` 中添加 `tmpfs /tmp tmpfs defaults,noatime,size=1G 0 0` | --- ### 最佳实践建议 1. **优先使用 `/var/tmp`** CentOS 默认保留 `/var/tmp` 中的文件直到系统重启 2. **避免锁死所有文件** 使用 `x /tmp/*` 会导致磁盘空间耗尽风险 3. **容器环境特殊处理** 如果使用 Docker,可通过 `--tmpfs` 参数控制容器内 `/tmp` 生命周期 通过以上配置,您可以精确控制 CentOS 系统中 `/tmp` 目录的清理行为。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

EmoGP

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值