基于机器学习的面部表情识别模型

### 基于机器学习的面部表情识别模型 #### 1. 引言 在过去几年里，面部检测和识别取得了很大进展，但仍有许多问题有待解决。面部检测研究面临诸多挑战，如户外光照、大角度姿态变化、低图像质量、低分辨率、遮挡以及复杂现实场景中的背景变化等。 图像预处理是对图像进行最低抽象级别的操作，输入和输出均为强度图像。其目的是改善图像数据，抑制不需要的失真或增强对后续处理重要的图像特征。当图像受损或有噪声时，可将其恢复到原始状态，常见的错误包括运动模糊、相机聚焦问题以及音视频流中的噪声。它与图像增强不同，图像增强旨在突出图像中吸引观众的元素，但从科学角度来看，不一定能提供真实数据。例如，“成像软件包”不使用生成图像过程的先验模型。通过牺牲一些分辨率，图像增强可以成功消除图像中的噪声，但在许多情况下这并非可行选择。在荧光显微镜中，z 方向的分辨率已经很差，恢复物体需要使用更复杂的图像处理算法，如反卷积方法，可用于提高分辨率、去除噪声和改善对比度。之后会进行（低级）特征提取，以找到线条、区域和可能具有特定纹理的地方。 在计算机中，处理图像有视觉和数字两种方式。要进行数字处理，图像必须转换为一系列数字。一个图像元素（像素）是表示图像某一点亮度值的整数。通常，数字图像可能只包含 250,000 个像素（512×512）。图像数字化后，计算机可对其执行三种基本操作：输出图像的像素仅由一个输入图像的像素决定；输出图像中一个像素的值取决于输入图像中许多周围像素的值；全局操作中，所有输入图像像素根据全局操作贡献一个输出图像的像素值。 #### 2. 相关工作 ##### 2.1 图像特征提取 将图像转换为正常坐标系而非全局坐标系，基于当前形状平均值进行参数估计。之后，使用检索到的特征引导并重新计算形状参数向量，直到收敛。该技术使用级联回归树来查找图像中的关键面部区域，通过分割结果确定 68 个特征点，以区分面部的不同区域。在特征确定后，使用像素测量计算 19 个特征位置的错位比例，位移比是指图片中起始和结束表情之间给定像素的变化。由于像素距离会根据相机与人之间的距离而变化，因此使用位移比而非直接使用距离。作者仅使用 68 个恢复特征中的 19 个，主要关注眼睛、嘴巴和眉毛。回归树集成在不到 3 毫秒内产生 68 个特征，一些算法参数效果良好。相关距离计算如下表所示： | Range | Description | | --- | --- | | R1–R2 | 左右眼上下眼睑之间 | | R3 | 左右眉毛之间的小距离 | | R4–R5 | 鼻尖与左右眉毛内端之间的距离 | | R6–R8 | 鼻尖与左右嘴角之间的距离 | | R7–R9 | 上下唇中间尖端与鼻子之间的距离测量 | | R10 | 左右嘴角之间的距离 | | R11 | 上下唇中点之间的距离 | | R12 | 嘴巴的周长 | | R13 | 眼睛之间的距离 | | R14–R15 | 眼睛与鼻子之间的距离 | ##### 2.2 位移比 特征确定后，使用像素值计算 19 个特征位置之间的位移比例。位移比定义为图片中第一个和最后一个表情之间像素位置的差异。由于像素距离会根据相机与人之间的距离而变化，因此使用位移比而非直接使用这些值。本工作使用了 iBug - 300W 数据集（包含约 7000 张图片）和 CK