记录一次故障处理
故障现象是:linux系统服务器重启后,无法进入系统,报“Failed to start LSB: AppArmor initialization”和“A start job is runing for Create Volation Files and Directorys…”
故障恢复过程:
1、起初以为是AppArmor服务问题,后来检查虚拟机模板中该服务并未设置开机自启。后来,处置分析过程约40-50分钟后,系统自己又正常进入了系统。
2、继续分析,发现/tmp目录有点大,占了100G+容量,且其中大部分文件目录均为某应用产生的,将这些目录文件删除后,再次手动重启,发现重启过程很快,并未发生同样的事情。
3、重新恢复了故障计算机,按照故障时态重新做了处理,即进入救援模式,重新挂载/sysroot目录,然后删除/tmp目录下以XX开头的文件目录,重启计算机。
同样的问题,查看了网络上的其他原因分析,尝试了大部分,并未能解决这个问题,因此,暂且将本次问题的原因归结为/tmp目录中某应用产生大量需加载的文件目录导致。
后续处置:增加了一个定时工作任务,定时删除/tmp目录下以XX开头的文件目录;每次手动重启前,手动删除/tmp目录以XX开头的文件目录;该应用修改代码逻辑。