研究型论文_CSE-IDS：使用成本敏感的深度学习和集成算法来处理基于网络的入侵检测系统中的类不平衡（英文论文）

CSE-IDS: Using cost-sensitive deep learning and ensemble algorithms to handle class imbalance in network-based intrusion detection systems

论文摘要

最近，基于网络的入侵检测系统 (NIDS) 在检测计算机网络中的入侵方面变得非常流行。 现有的 NIDS 可以轻松识别网络中经常出现的那些入侵（多数攻击），但它们无法准确识别新的和不常见的入侵（少数攻击）。 此外，此类系统仅专注于最大化整体攻击检测率，而忽略了误报的数量。 为了解决这些问题，本文提出了 CSE-IDS，一种基于成本敏感深度学习和集成算法的三层 NIDS。

1. 提议的 CSE-IDS 的第 1 层使用成本敏感的深度神经网络将正常流量与可疑网络流量分开。
2. 然后将这些可疑样本发送到第 2 层，该层使用XGBoost算法将它们分为正常类、不同的多数攻击类和代表所有少数攻击类的单个类。
3. 最后，在第 3 层使用随机森林将第 2 层识别的少数攻击分类到它们各自的类别中。

在 NSL-KDD、CIDDS-001 和 CICIDS2017 数据集上评估了所提出的 CSE-IDS 的性能，包括准确度、召回率、精度、F1 分数、ROC 曲线、AUC 值和计算时间。 通过对网络中存在的多数攻击和少数攻击实现高攻击检测率，所提出的系统优于其对应系统。 此外，它通过正确地将正常流量与攻击流量分开来最大限度地减少误报的数量。 获得的结果证实，所提出的 CSE-IDS 可以部署在现实世界中，用于执行基于网络的入侵检测。

论文解决的问题

1. 使用成本敏感的方法，既解决了仅专注于最大化整体攻击检测率，而忽略了误报的数量的问题，又在一定程度上缓和了数据集不平衡的问题（此外还使用了重采样来缓解数据不平衡）。
2. 采用集成学习和重采样技术使得可以更加准确识别新的和不常见的入侵（少数攻击）。

1.系统结构

1. 预处理训练集，得到D

2. 将D按不同的贴标签方式做成新的训练集D1，D2，D3。

   D1将所有的正常类样本标签置为0，其余样本（所有异常类样本）都置为1；

   D2将正常类样本置为0，将异常类样本中比例较高的样本分别置为1，2…，m，将其余样本（异常类样本中比例较低的样本）置为m+1；

   D3只挑选D中的少数类样本，并进行重采样，然后按类别贴标签即可（1，2，…，n）。

3. CSE-IDS 的第 1 层：成本敏感的深度神经网络，使用D1进行训练，用于区分正常和异常样本。

   CSE-IDS 的第 2 层：XGBoost集成学习，使用D2进行训练，用于区分正常、多数异常类、少数异常类样本，细分多数异常类的攻击类型，粗分少数异常类的攻击类型。

   CSE-IDS 的第 3 层：随机森林，使用D3进行训练，用于细分少数异常类的攻击类型。

4. 将测试集传入CSE-IDS：第一层区分正常和异常，然后将异常样本传入第二层，区分第一层得到的异常样本中存在的正常样本、多数异常类、少数异常类，然后再将少数异常类样本传入第三层中，细分少数异常类的攻击类型。

2.第一层：成本敏感的深度神经网络

因为在入侵检测时，把异常样本判别为正常样本要比把正常样本判别为异常样本的威胁性更大。所以文中的核心内容就是给异常类样本比较大的权重，给正常类样本比较小的权重。这样一来，如果该分类器把异常样本判别为正常样本的误差成本就比较大，所以分类器就会侧重于减小这部分的误差成本（偏好），这也是这层分类器的名字来由。

文中从反向传播的角度给出了为什么分配权重会使得分类器有所偏好。

3.第二层：XGBoost

参数：

4.第三层：随机森林

参数：

总结

1. 给出了一种给样本分配权重使得误报率下降和数据平衡性更强的方法。
2. 神经网络和集成学习的结合。