机器学习：攻击方法FGSM系列

在机器学习领域，深度神经网络的强大表现令人印象深刻，尤其是在图像分类等任务上。然而，随着对深度学习的深入研究，研究人员发现了神经网络的一个脆弱性：对抗样本（Adversarial Examples）。简单来说，对抗样本是通过对原始输入数据添加微小扰动，导致神经网络预测错误的一类特殊样本。是最早提出的一种简单且有效的对抗攻击方法。它通过利用神经网络的梯度信息，快速生成对抗样本。本篇博客将深入剖析 FGSM 的数学原理，并提供一份基于 PyTorch 的代码实现，帮助你快速上手对抗攻击。

FGSM技术 对抗攻击技术，因为网络的深层，很少的改变就有可能改变网络中激活函数的方向，进而直接大量改变输出。因此，从模型中得到特殊的输入X就能让模型产生严重的误判，这种就是神经网络攻击技术。 我们希望得到和原输入类似的输入，但是与此同时尽可能让输出发生尽可能大的改变。这个优化问题写成把训练时的loss function加负号，再加正则项的无约束优化。迭代就可以得到X 写成算法就是Fast Gra...

论文标题 ADVERSARIAL EXAMPLES IN THE PHYSICAL WORLD 论文url https://arxiv.org/pdf/1607.02533.pdf?utm_source=sciontist.com&utm_medium=refer&utm_campaign=promote 论文核心内容： 提出了迭代FGSM的方法，以及least likely 攻...

简述如何构建RMB识别模型，详细介绍如何使用FGSM对该模型进行攻击即最终效果展示

EXPLAINING AND HARNESSING ADVERSARIAL EXAMPLES 论文URL http://users.wpi.edu/~kmus/ECE579M_files/ReadingMaterials/LinearPerturbation-Goodfelow-1412.6572.pdf 论文核心思想： 对抗样本的存在不是因为深度学习模型的非线性，恰巧相反是因为深度模型的线性。高...

美国国家标准与技术研究院（NIST）发布的《可信与负责任的人工智能》报告，聚焦于对抗性机器学习（AML）领域，旨在构建一个全面的概念分类体系，并明确相关术语定义，为保障人工智能系统的安全提供坚实的理论基础和实践指导。

系列文章目录 机器学习笔记一 机器学习笔记二 机器学习笔记三 机器学习笔记四 机器学习笔记五 文章目录系列文章目录前言一、循环神经网络二、Jordan network和Elman network三、LSTM和GRU总结 前言    这一节在重新回顾一下循环神经网络的相关知识（RNN） 一、循环神经网络    循环神经网络是一种具有记忆力的网络，它可以记忆前边的输入，使得前边的输入n对后边n+1的输出产生影响 注：蓝色框为记忆单元，初始值赋值为（0,0），所有的权重设置为1，bias为0

主要就是熟悉机器学习模型的攻击和防御，安全这块还是需要特别重视

之前把机器学习（Machine Learning）的安全问题简单记录了一下，这里有深入研究了一些具体的概念，这里记录一下方便以后查阅。

详解sigmoid与softmax， 多分类及多标签分类激活函数介绍sigmoid激活函数sigmoid激活函数的性质sigmoid激活函数的使用 激活函数介绍 对于熟悉机器学习或神经网络的读者来说，sigmoid与softmax两个激活函数并不陌生，但这两个激活函数在逻辑回归中应用，也是面试和笔试会问到的一些内容，掌握好这两个激活函数及其衍生的能力是很基础且重要的，下面为大家介绍下这两类激活函数...

http://blog.csdn.net/watkinsong/article/details/8234766 http://blog.csdn.net/mingtian715/article/details/54172281 PCA的一些基本资料 最近因为最人脸表情识别，提取的gabor特征太多了，所以需要用PCA进行对提取的特征进行降维。

问题 在做二分类问题时候，有正样本和负样本。构建的算法，针对每个样本会输出一个分数值。假设该分数大小为[0, 1]区间内的值。有时候单纯地以分数0.5位阈值划分样本为预测为1或者预测为0，效果有时候并不好，此时如何确定很好的阈值分数呢？答案是可以利用roc曲线来确定比较好的划分阈值。 ROC曲线介绍 二分类过程，设定阈值，大于该分数为1，小于该分数为0，统计计算TP， FN， FP，TN等数据计算FPR，TPR p(positive): 标签1 n(negative): 标签0 t(true): 预测正

问题 图像数据集是训练模型与测试模型必备的，一般而言收集到的数据是整个数据，会将整个数据划分成三个数据集，训练集，验证集以及测试集。 验证和测试的数据要确保特征分布和训练集接近，类别比例也是接近的，这样得到的准确率或者loss才真实。 在做ocr识别模型训练的时候，样本比较大，这时候有点疑惑该如何划分数据集，且数据集中较大比例是自动生成的数据。 方法 一般而言，对于样本量是非常多的数据时候，可以按照7:3～9:1划分数据集。 但是对于几百万或千万级数据量而言，测试集样本不需要太多，只需要划分一定数量的数据

维基百科：https://en.wikipedia.org/wiki/Nearest_neighbor_search 觉得整理的挺好，翻译 最近邻搜索( NNS ) 作为**邻近搜索（proximity search）**的一种形式，是在给定集合中找到与给定点最接近（或最相似）的点的优化问题（optimization problem）。相似度通常用不相似函数表示：对象越不相似，函数值越大。 形式上，最近邻（NN）搜索问题定义如下：给定空间M中的一组点S和查询点q ∈ M，找到S 中与q的最近点。唐纳德·.

本文介绍了Swish和H-Swish激活函数，其性能优势包括缓解梯度消失问题和非单调性。H-Swish是Swish的变体，通过分段线性函数替换Sigmoid函数，提高了计算效率。Swish和H-Swish在神经网络中广泛应用，提高了模型的训练效率和性能。

在机器学习的分类任务中，样本不平衡是指不同类别训练样本数量存在显著差异的现象。这一差异会给模型训练和性能评估带来挑战，尤其在处理少数类样本时，模型可能难以有效学习其特征。