系统优化与网络监控工具性能提升策略

### 系统优化与网络监控工具性能提升策略 在网络监控领域，像 ourmon 或 Snort 这类工具常面临性能问题。这可能源于系统负载过重、存在大量扫描器，甚至可能是遭受大规模 DDoS 攻击。下面我们来探讨如何优化系统以提升性能。 #### 系统架构与问题分析 传统操作系统（如 FreeBSD 和 Linux）在将网络数据包传递给嗅探应用时，采用的是生产者 - 消费者模型。在这个模型中，操作系统是生产者，它通过网卡驱动将数据包读入并放入内核的环形缓冲区；而 ourmon 探针应用则是消费者，负责从缓冲区读取并处理数据包。 然而，这种架构存在一些问题。由于操作系统优先运行，设备驱动可能忙于向环形缓冲区填充数据包，导致应用程序无法读取数据。在单 CPU 系统中，这种情况尤为常见。此外，过多的中断也会造成危害，例如在小数据包 DDoS 攻击时，网卡可能会使整个系统陷入活锁状态，系统只处理中断而无法执行其他任务。 #### 优化技术 1. **购买双核 CPU** - 如今，使用双核 CPU 进行并行处理变得简单且成本不断降低。在对称多处理（SMP）操作系统下，可让网卡在一个 CPU 上运行，ourmon 探针在另一个 CPU 上运行，避免两者争夺资源，从而显著提升性能。 - 注意：确保操作系统启用了 SMP 功能，否则硬件优势无法发挥。 2. **使用两台不同的计算机分离前端和后端** - 可以将 ourmon 的前端探针安装在一台计算机上，后端处理软件安装在另一台计算机上，避免它们在同一台计算机上竞争资源。 - 传输前端输出文件：使用 TCP 协议确保传输可靠性，可在探针上运行小型 Web 服务器，使用 wget 应用复制文件，也可使用无密码的 Secure Shell 批量模式。 - 安全措施：在探针上使用访问控制列表，确保只有后端主机可以访问文件，并防止外部主机与探针通信。 3. **购买双核双 CPU 主板** - 这种主板在 SMP 操作系统下相当于有四个 CPU，可在一台系统上同时高效运行 ourmon 的前端和后端。 - 资源分配：一个硬件线程用于网卡读取数据包，一个用于探针应用，第三个线程主要由 Perl 运行后端代码，还剩下一个可用于运行 ngrep、ircfr 或 Snort 等程序。 4. **增大内核环形缓冲区** - 实验发现，增大内核缓冲区有时可减少丢包数量。若出现丢包情况，可尝试此方法。 - 操作步骤： - 找到启动 ourmon 的 shell 脚本，根据使用的系统不同，脚本可能位于以下位置： - FreeBSD/Linux：`/home/mrourmon/bin/ourmon.sh` 或 `/usr/local/mrourmon/bin/ourmon.sh` - FreeBSD：`/usr/local/etc/rc.d/ourmon.sh` - Linux：`/etc/initd/ourmon.sh` - 编辑脚本，在启动 ourmon 探针前找到设置内核缓冲区大小的参数。例如，在 FreeBSD 5.X 系统中，可能会看到如下代码： ```bash start_om() { sysctl -w debug.bpf_bufsize=8388608 sysctl -w debug.bpf_maxbufsize=8388608 } ``` - 将两个参数的值增大，如从 8388608 增加到 16777216，即从 8MB 增大到 16MB。停止 ourmon，修改参数后重新启动，观察丢包情况是否改善。 5. **减少中断** - 在 DDoS 攻击时，过多的中断可能导致系统锁定。Linux 内核的新 API（NAPI）架构可缓解此问题，通常无需操作员干预。 - 对于 6.X FreeBSD 系统，可开启设备轮询功能： - 配置内核：开启设备轮询并设置 HZ 速率为 1k 或 2k（高数据包速率时 2k 更佳）。 ```plaintext options DEVICE_POLLING options HZ=2000 ``` - 重新安装并重启内核后，为设