一款入门级的人脸、视频、文字检测以及识别的项目.学习OpenCV: c++和Python示例。实时人体、脸、手、脚的关键点检测库。

​在随机梯度的学习算法中，每一步的步幅都是固定的，而在动量学习算法中，每一步走多远不仅依赖于本次的梯度的大小还取决于过去的速度。速度v是累积各轮训练参的梯度，其中越大，依赖以前的梯度越大。假如每轮训练的梯度方向都是相同的，和小球从斜坡滚落，由于但衰减因子的存在，小球并不会一直加速，而是达到最大速度后开始匀速行驶，这里假设每轮获得的梯度都是相同的，那么速度最大值为：​

训练神经网络主要围绕以下四个部分：层，用于合并成网络（或模型）。输入数据和相应的目标。损失函数，定义了用于学习的反馈信号。优化器，决定了学习如何进行。层：深度学习的基础组件神经网络的基础数据结构是层，层是一个数据处理模块，它接受一个或多个张量作为输入，并输出一个或多个张量。有些层是无状态的，但更常见的层有一个状态：层的权值。不同的层适用于不同的张量格式和不同类型的数据处理。简单的矢量数据存储在二维

美国《福布斯》网站在近日的报道中指出，尽管目前很难想象机器自主决策所产生的影响，但可以肯定的是，当时光的车轮到达2022年时，人工智能领域新的突破和发展将继续拓宽我们的想象边界，其将在7大领域“大显身手”。

1.本文改进本文主要是使用VGG-Face模型（卷积层不变，改变全连接层和参数）在Adience数据库上进行年龄估计。在深度神经网络中，由于深度神经网络有数百万个参数，由于它们有若干层和数千个节点，因此过拟合问题变得更加严重。所有用于年龄分类和预测的数据库都相对较小。它们在大小上无法与其他用于人脸识别和图像分类任务的数据库相提并论。为了克服过度拟合的问题，我们通过使用在一个非常大的数据库上训练的人

EMA在数据量小或者数据不稳定或者batch_size小的情况下尤其有用比如回归问题的波士顿房价数据集，还有使用预训练的CNN中batch_size=20比较小。或者看曲线，那种包含噪声，波动很大，或者纵轴范围较大，数据方差较大的图像，为了使曲线变得平滑，更具可读性，所以使用EMA

1. 感知器(Perceptron(P)) 感知器模型也称为单层神经网络。这个神经网络只包含两层:输入层输出层这种类型的神经网络没有隐藏层。它接受输入并计算每个节点的加权。然后，它使用激活函数(大多数是Sigmoid函数)进行分类。应用:分类编码数据库(多层感知器)监控访问数据(多层感知器)2. 前馈(Feed Forward (FF)) 前馈神经网络是一种其中的节点不会形成循

神经网络的训练通常需要大量的数据，而大量的数据意味着计算机需要有强大的计算能力。为了减少神经网络的训练时间，通常我们会对数据进行向量化，用矩阵运算代替for循环

MobileViT论文中绘制的Standard visual Transformer。首先将输入的图片划分成一个个Patch，然后通过线性变化将每个Patch映射到一个一维向量中（视为一个个Token），接着加上位置偏置信息（可学习参数），再通过一系列Transformer Block，最后通过一个全连接层得到最终预测输出。

你知道神经网络各个层具体是怎样学习的吗？深度学习模型就像是“黑盒”，即模型学到的表示很难用人类可以理解的方式来提取和呈现。这个说法部分正确，但卷积神经网络绝对不是这样的。卷积神经网络学到的表示非常适合可视化，很大程度上是因为它们的视觉概念的表示。下面介绍三种最简单的最有用的可视化方法。转载他人的笔记：1.可视化中间激活层https://blog.csdn.net/huang1024rui/arti