huang_victor的博客

分类、语义分割、目标检测、 实例分割。

attend图像的feature map，然后得到相似性矩阵、相似性权重、attend后得到的context matrix。1. 每次一个新的相关性vector计算，不是使用同一个，不存在bottleneck的问题。1. 长度不能太长，context vector 无法保存太多的信息；作用于一个set，无关顺序。self attention，可以处理很长的顺序、可以并行处理，但是比较费资源。2. 一个一个生成，无法一下子生成，效率不够高；2. 每次的相关性矩阵，可以attend到不同的位置。

图像分类任务的入门，难点，K近邻作为一个样例

线性分类器的weight，resize之后也可以变成template或者filter的式样。常用的正则方法：L1,L2, Dropout, BatchNormalization等。目标概率分布已知，求解当前概率分布和目标概率分布的相关性，并进行优化。加入正则，控制不同的weight，但是loss相同。训练的过程就是优化损失函数，以获得更好的模型。图像，没有保持原始的尺寸，被压缩成向量。正确类别的得分要比其他的都要高。2. 向量空间的样本划分。1. 用于防止过拟合。2. 加入规则的方法。

每个weight，新增很小的值，求解结果，然后求解相对精度。weight增加，计算量太大，而且不精确。梯度下降，是在小的batch上进行的，没法计算所有的数据，然后进行一次完整的反向传播。记录历史momentum，当前梯度求平均，用来抑制各个方向不均匀。Momentum记录过去的梯度，抑制随机噪音，超越局部最优点。3. 随机性，minibatch无法代表整体。求解梯度，沿着下降最快的方向更新参数。随机搜索，求取一定次数内的最小值。1. 不同方向梯度差的较多。4. batch大小。

反向传播，需要计算loss的梯度，然后对weights进行更新，以便优化loss。2. loss更新，重新来一遍，无法模块化。通过计算图，进行模块化，简单化的计算。下游梯度 = 局部梯度 x 上游梯度。1. 参数太多，很复杂。3. 模型太大，更复杂。

可以通过一些传统的方法，提取图像的特征，然后在新的特征空间下，进行分类的任务。1. color histogram，不考虑spatial信息2. hog，histogram of orient gradient，考虑spatial设计特征提取器，并提取特征特征压缩处理线性的SVM机器学习问题：特征提取，比较复杂，需要经验。只有后续的线性分类器可以训练，没有充分利用数据。

线性神经网络，在处理图像的时候，会把图像展开成1d的vector，这个就破坏了图像本身的spatial的结构，因此conv的神经网络针对这个而设计。卷积层的表现形式，和传统cv里的filter很像，特定的filter，提取特定的特征。

AlexNetVGGGoogleNetMobileNet下采样方法：上采样方法：增加感受野的方法：3. dilation提高网络速度的方法：

可以自定义函数，并自定义梯度的计算，这样pytorch在使用这个函数的时候，整个函数就变成一个单独的节点，而不是拆散变为基本的计算单元。torch.nn，定义网络结构，定义loss，定义optimizer，high level的api，大部分常用的网络结构都可以这么操作。训练迭代：前向传播，计算loss，loss梯度计算，调用optimizer，更新weights，循环。，可以模块化设计的网络结构，可以保存weight和状态。，可以建立计算图，并自动的计算梯度，可以用于反向传播。

xavier，初始化， Variance(input) = Variance(output)，对tanh可以，对relu不合适。很小的随机数，对一般深度的网络是ok的，但是太深的网络不行，深度增加，activation逐渐变-，梯度变0；kaiming，初始化，如果使用resnet，第一个层用kaiming初始化，后续的都设为0.不是以0为中心，如果输入都是正的， 所有weight的梯度是同一个方向，优化只能zigzag。容易过饱和，梯度传递困难，梯度消失，优化困难。转化为，-1-1，以0为中心。