入侵检测中对抗样本的深度分析

### 入侵检测中对抗样本的深度分析 #### 1. 攻击方法设置 - **Carlini&Wagner攻击**：采用无目标攻击方式，不设置最小置信度。优化算法的学习率设为0.01，批量大小设为128，其余参数采用ART默认值。由于ART未实现Carlini&Wagner L0攻击，因此自行实现了该攻击并将代码发布在实验笔记本中。 - **基于雅可比矩阵的显著图攻击（JSMA）**：允许JSMA对100%的特征进行扰动，每次迭代的扰动量为0.1，批量大小设为128。因为JSMA是有目标攻击，若未指定目标，ART实现会从错误类别中随机选择一个目标。 #### 2. 扰动潜力评估 以下是不同方法的检测率和距离指标： | 方法 | 检测率 | L0范数（均值） | L0范数（最大值） | L2范数（均值） | L2范数（最大值） | L∞范数（均值） | L∞范数（最大值） | | --- | --- | --- | --- | --- | --- | --- | --- | | Clean | 75.1188% | 0 | 0 | 0 | 0 | 0 | 0 | | FGSM | 24.8811% | 121 | 121 | 1.2099 | 1.2099 | 0.1 | 0.1 | | BIM | 24.8811% | 120.9543 | 121 | 0.9936 | 1.1578 | 0.1 | 0.1 | | DeepFool | 25.1305% | 120.9979 | 121 | 0.0177 | 0.1792 | 0.0469 | 0.1772 | | C&W L2 | 22.7382% | 13.8185 | 22 | 1.1977 | 7.2848 | 0.5078 | 1.4739 | | C&W L∞ | 28.1306% | 13.0478 | 43 | 0.5832 | 3.0571 | 0.2138 | 0.3 | | C&W L0 | 24.1175% | 3.7126 | 21 | 2.5272 | 22.1609 | 0.9099 | 2.4803 | | JSMA | 24.8811% | 2.0804 | 4 | 0.075 | 0.5 | 0.1729 | 0.5 | 从表中可以看出，在对数据进行扰动之前，训练好的模型对攻击样本的检测率达到75.11%，这与NSL - KDD上的先进性能一致。所有攻击都对模型的检测率产生了影响，几乎所有攻击都将准确率大幅降低至约24%，降幅达68%。不同方法造成的性能下降相似，这使得可以通过距离指标的差异进行无偏评估，从而了解各方法不同的扰动行为。 #### 3. 各方法结果分析 - **快速梯度符号法（FGSM）**： - 对模型检测率影响显著，将检测率降至24.88%，是所有实验算法中最快的。 - 具有最低的最大L∞距离，且与平均L∞距离相同，因为它对所有示例的所有特征进行相同量的扰动，目的是在整个特征空间上分散扰动，同时最小化扰动幅度。 - 但该方法会对所有特征进行无差别扰动，L0范数的均值和最大值等于特征总数，这对于二进制特征和分类特征会产生问题。例如，它会使二进制特征无法从一个状态转换到另一个状态，还会激活分类特征的多个类别，导致数据样本无效。此外，它不考虑特征的定义域，可能会使特征值超出范围，破坏特征之间的语义链接。不过，FGSM适用于对抗训练，因为它可以快速生成对抗样本以重新训练模型。 - **基本迭代法（BIM）**： - 与FGSM影响相似，平均距离范数略好，除L2范数的最大值较小外，其他最大值与FGSM相同。这是因为BIM在每次迭代中应用小的FGSM步骤，进行了更精细的优化。 - 但它以与FGSM相同的方式扰动特征，继承了FGSM的所有缺点，生成的对抗样本也具有与FGSM相同的无效属性。 - **DeepFool**： - 性能与其他方法相近，目标是优化L2范数，具有最小的平均欧几里得距离，平均L∞范数最佳，最大L∞范数略大于FGSM和BIM。 - 平均L0范数几乎等于特征总数，表明它会扰动几乎所有实例的所有特征，以最小化L2范数，但不优化扰动特征的数量。 - 它会生成非二进制值、激活多个类别以及产生超出范围的值，同时对所有特征的同时扰动可能会破坏特征之间的语义链接，导致生成的样本在网络数据中无法实现。 - **Carlini and Wagner攻击**： - **L2 - 攻击**：将模型检测率降至22.73%，是记录到的最低检测率。虽然它应该优化L2范数，但具有较高的平均和最大欧几里得距离