轻松解决日志文件积压问题：掌握logrotate的技巧

etc/logrotate.d/：为配置相关子系统，用于隔离每个应用配置（Nginx、PHP、Tomcat...）测试配置文件是否有误：logrotate -d /etc/logrotate.d/openstack。转储日志：logrotate -vf /etc/logrotate.d/openstack。/etc/logrotate.conf：主配置文件。

Logrotate 是 Linux 系统中用于自动化管理日志文件的工具，主要功能包括日志轮转、压缩、删除和保留策略配置。它通过 Cron 作业定期执行，也可手动触发。配置文件通常位于 /etc/logrotate.conf 和 /etc/logrotate.d/ 目录下，支持多种指令如 daily、rotate、compress 等，用于定义日志轮转的频率、保留数量和压缩方式。Logrotate 还支持 postrotate 脚本，用于在轮转后执行特定操作，如重新加载服务。最佳实践包括合理配置轮转策略、使用

对于 Linux 系统安全来说，日志文件是极其重要的工具。不知为何，我发现很多运维同学的服务器上都运行着一些诸如每天切分 Nginx日志之类的 CRON 脚本，大家似乎遗忘了 Logrotate，争相发明自己的轮子，这真是让人沮丧啊！就好比明明身边躺着现成的性感美女，大家却忙着自娱自乐，罪过！ logrotate 程序是一个日志文件管理工具。用于分割日志文件，删除旧的日志文件，并创建新的日志文件，起到“转储”作用。可以节省磁盘空间。下面就对 logrotate 日志轮转操作做一梳理记录。 1、配置文件介绍

logrotate 是作为Linux系统日志的管理工具存在。它可以轮换、压缩、邮件系统日志文件。 默认的 logrotate 被加入 cron 的 /etc/cron.daily 中作为每日任务执行。  /etc/logrotate.conf 为其默认配置文件指定每个日志文件的默认规则。  /etc/logrotate.d/* 为 /etc/logrotate.conf 默认包含的目录，

Linux系统自带的日志滚动压缩服务logrotated似乎有不少童鞋不知道这个小功能，至少，上周面试了3位，大都是自己写脚本来处理日志的滚动压缩。因此，分享到这里，熟悉的童鞋请忽略。举例说明：cat</etc/logrotate.d/haproxy/var/log/haproxy/haproxy.log{compresscopytruncatedailydateextmissingok...

可以通过手动运行logrotate命令来立即执行日志切割。按照一定的规则对日志文件进行轮转操作，例如按天、周、月等时间周期，或者当日志文件达到一定大小的时候，将当前正在使用的日志文件重命名，并创建一个新的空日志文件继续记录日志，以防止日志文件过大占用过多磁盘空间。logrotate是Linux系统下一个非常实用的日志管理工具，它主要用于切割日志文件、删除旧的日志文件，并创建新的日志文件，以节省磁盘空间。在对日志进行轮转时，可以对旧的日志文件进行压缩，减少存储空间占用，同时也便于日志的长期保存和管理。

Shell 脚本 + Cron定时读取日志文件并上传到对象存储；Python 脚本 + Logging 模块适用于自定义日志采集逻辑；优点：灵活、低成本；缺点：维护成本高，不支持断点续传。日志管理涉及采集、压缩、归档等多个环节，需综合考虑；对于中小团队，有许多低成本但高效的解决方案可供选择；合理规划日志生命周期，既能满足业务需求又能控制成本；替代 ELK 的轻量方案（如 Loki + Promtail、Graylog）值得尝试。

2019-02-26 10:10:54最近 Hgh这边有一个需求，需要对Linux服务器上的日志进行相应地自动化处理：1) 定期清理：当分区的可使用空间超过一个预先设定好的阈值(如当分区的可使用空间超过 80 % 时)就自动清 理日志，清理周期是一天一次；2) 按天分割：有的日志文件如 access.log 会不断地增长，现在需要对其进行分割操作(假设今天的日期是 2019 年 1 月 25 日，...

为了平衡上面两个条件，我们可以压缩文件和保留一定时间（如7天）的历史文件。

Kafka的日志压缩原理并不复杂，就是定时把所有的日志读取两遍，写一遍，而CPU的速度超过磁盘完全不是问题，只要日志的量对应的读取两遍和写入一遍的时间在可接受的范围内，那么它的性能就是可以接受的。

当然，在实践中，场景不同使用的脚本可能更会更复杂，但基本原理是一致的，大家可根据具体情况来丰富脚本的功能。命令后面第一个参数为压缩之后的文件的名称及存储路径，这里放到bak目录下，第二个参数为待压缩的日志。先通过执行tar -czvf​命令，进行日志的压缩，压缩文件直接存放在bak目录，压缩完毕之后，通过rm -rf命令对日志进行删除。大家如果在实践中遇到类似的问题，可以直接基于下面的脚本进行修改、丰富使用。在完成上述编辑之后，可以直接执行该脚本，验证一下是否正确，然后就可以通过定时任务来进行配置了。

大型项目日志量非常大，如果不采取特定措施，不到一个月200G的磁盘就会被占满，一种最简单的方法就是将日志文件压缩，使用 tar -cvzf xxx.tar.gz xxx 压缩，压缩后占用空间只有原来的1/10左右。