sre救赎之路

做过运维的人一定会遇到过 “Too many open files” 错误，这个错误本质是 ulimit 设置不合理导致的。关于 ulimit 设置，有哪些需要注意的点呢？本文给大家做一个介绍，希望对大家有所帮助。

当Linux系统或应用程序出现"Too many open files"错误时，表示文件描述符(File Descriptor)资源已耗尽。这是一个常见的系统限制问题，尤其在运行高并发服务的服务器上。以下是完整的排查和处理流程。

netstat 查看系统连接情况，出现 FIN_WAIT1：然后执行/sbin/sysctl -p使其生效。通常表现为apache服务器负载高，w命令显示load average可能上百，但是web服务基本没有问题。同时ssh能够登陆，但是反应非常迟钝。原因：最可能的原因是httpd.conf里面keepalive没有开，导致每次请求都要建立新的tcp连接，请求完成以后关闭，增加了很多 time_wait的状态。另，keepalive可能会增加一部分内存的开销，但是问题不大。

使用。

用于存储文件和目录的元数据（如权限、所有者、时间戳等）。当文件系统的 inode 被耗尽时，即使磁盘空间充足，系统也会提示。大量小文件（如日志、缓存、临时文件）会快速耗尽 inode。接近 100%，需要定位具体是哪个目录占用了大量 inode。：调整文件系统 inode 分配或扩容磁盘。：inode 使用百分比（重点关注此列）。：文件系统分配的 inode 总数。查看全局 inode 使用率。定位占用 inode 的目录。：已使用的 inode 数量。：剩余的 inode 数量。如果发现某个文件系统的。

【代码】-bash: dig: command not found。

例如，可以通过设置/proc/sys/vm/overcommit_memory参数来限制进程使用虚拟内存的大小，或者将/proc/sys/vm/oom_kill_allocating_task参数设置为1，这样OOMKiller就会选择正在分配大量内存的进程进行终止。如果发现某个进程占用了大量的内存，可以考虑停止该进程以释放更多的内存。通过检查日志文件、停止占用内存过多的进程、重新配置系统参数、添加物理内存或交换空间以及降低程序内存占用等方法，可以有效地避免OOM事件的发生，并确保系统的稳定性和正常运行。

OOM killer（Out of Memory killer）是Kubernetes中的一个重要机制，它有助于维护系统的稳定性并防止内存耗尽。当内存资源严重不足时，它充当最后的防线。在这种情况下，OOM killer会识别出导致内存超载的进程或Pod，并终止它以释放内存给系统的其他部分使用。通过牺牲一个进程，OOM killer防止了整个系统崩溃，确保了集群的整体稳定性。

提示： 无法使用这个nc命令。因为没有配置这个命令。

源码编译完成后，需要对libssl.so.1.1做一个软连接，从openssl源码安装目录/usr/local/openssl/lib/下面将编译好的libssl.so.1.1进行软连接。这是由于openssl库的位置不正确造成的，一般出现在openssl源码升级场景下。

当使用 sudo 去执行一个程序时，处于安全的考虑，这个程序将在一个新的、最小化的环境中执行，也就是说，诸如PATH这样的环境变量，在 sudo 命令下已经被重置成默认状态了。按 “i” 键就可以进入插入模式（Insert mode），添加所需要的路径(如 /usr/local/bin）到"secure_path"下，找到"secure_path"一行，当执行 sudo 命令时，"secure_path"中包含的路径将被当做默认 PATH 变量使用。在 Linux 系统中，使用 sudo 命令时提示。

经查，发现/mnt/coredump挂载的是阿里云nas，而阿里云nas域名已经访问不通。在Linux中，偶尔遇到用 df -h 查看磁盘情况时，一直卡住无法显示结果。1、首先使用strace追踪到底执行到哪里卡住。2、如果没有strace命令则进行安装。

则系统在创建新进程时会报 “fork Cannot allocate memory” 错。时，再创建新进程时会报 “fork：Cannot allocate memory” 错。1. 通过free -m确认内存使用率，查看实例内存使用率是否过高。值修改为65535，以增加进程数。可能是进程数超限导致。2. 如内存充足 ，则执行以下命令，查看系统。2. 核实总进程数是否超限，并修改总进程数。1. 若内存使用过高，可先降低内存使用率。3. 执行以下命令，查看系统内部总进程数。命令，定位启动进程较多的程序。

【代码】yum命令执行报error: rpmdb: BDB0113 Thread/process 10843/140664488154944 failed: BDB1507...

systemd占用30%左右。

2022年1月25日。

系统中可能存在大量被删除的文件（僵尸文件），且有运行的进程在使用这些文件的句柄。重启服务器，系统会退出现有的进程，释放调用的deleted文件的句柄。2）参考lsof命令列出的PID，使用kill命令结束相应进程。du -sh结果与df结果不一致，且df结果大于du -sh。kill命令会直接终止进程，请慎重操作。清理deleted状态的文件。1）获取deleted状态进程。

说明：重新reboot和recreate一下/dev/null即可。查看/dev/null的权限如下。而其他正常的权限如下。

umount.nfs: /mnt: device is busy解决

nfs挂载错误解决方案

linux主机宕机排查问题方法

国内yum源使用报错问题处理

docker常见问题处理

dns配置文件

安装dig命令

关于linux系统内存管理相关