基于视频预测和潜在空间约束的异常检测

### 基于视频预测和潜在空间约束的异常检测 在视频分析领域，异常检测是一项至关重要的任务。传统的视频异常检测方法存在诸多不足，而基于视频预测和潜在空间约束的方法为解决这些问题提供了新的思路。 #### 相关工作 - **传统异常检测方法**：传统方法基于欧几里得距离，采用聚类或最近邻场进行评估。例如，支持向量机和单类神经网络以学习正常数据的边界为主要出发点，k - 均值聚类也可用于建立正常数据的边界。然而，这些方法在处理高维和复杂数据时表现不佳。 - **基于重建的方法**：基于重建的方法广泛应用于图像异常检测，并常被应用于视频异常检测。如主成分分析（PCA）用于学习正常模型的表示，但特征有限导致性能不足。概率PCA用于对光流特征建模，还有三维卷积、动态纹理混合模型与高斯模型结合等方法。不过，这些重建方法无法保证异常事件重建的差异足够大，随着欺诈技术的提高，正常数据和异常数据更加相似，使得重建方法遇到瓶颈。 - **基于视频预测的方法**：预测学习在视频异常检测中受到越来越多的关注。视频预测通过比较预测帧和真实帧来识别差异，差异小则认为真实帧正常，否则为异常。一些研究设计了预测神经网络，还有采用对抗训练的网络生成未来视频帧的自然预测。但现有模型存在生成器和判别器能力不平衡导致训练不稳定的问题。 #### 提出的模型 - **目标**：训练预测器模型准确预测正常帧。训练时，使用前几帧作为输入进行预测，使预测器能预测正常视频数据的未来帧。测试时，将事件输入预测器，若生成帧与预期性能一致，则事件可能正常，否则可能异常。 - **网络架构** - **整体架构**：采用GAN作为基本架构，利用光流捕捉视频帧之间的时间信息。生成器产生预测帧，与判别器进行对抗训练。计算预测帧与前一帧、真实帧与前一帧的光流，得到光流损失。判别器为自编码器，输入为预测帧和真实帧。 - **生成器网络**：包括编码器GE和解码器GD。使用深度卷积网络构建模型框架，将输入视频帧尺寸标准化为256×256。仅使用正常数据训练，在潜在空间施加约束，使正常数据的潜在变量趋于高斯分布。编码器输出均值μ和方差σ²，从高斯分布中随机采样得到潜在变量作为解码器输入。解码器使用跳跃连接等方法获取编码器的详细特征，最后使用激活函数稳定GAN训练，并施加强度约束和梯度约束提高预测帧质量。 - **判别器网络**：为保证模型训练稳定，判别器与生成器结构相同，以实现更好的平衡。判别器的目标是对预测帧和真实帧进行区分，最终训练目标是使真实帧等于生成器根据前几帧生成的帧。 - **损失函数** - **判别器损失**：目标是重建真实视频帧，而不是生成的预测帧。 - **强度损失**：减少预测帧和真实帧之间的距离，增加RGB空间中所有像素的相似度。 - **梯度损失**：用于锐化生成的图像。 - **光流损失**：使用FlowNet估计光流，计算预测帧和真实帧与前一帧光流的差异。 - **潜在空间损失**：对潜在空间施加约束，使其分布趋于正态分布，使用KL散度计算差异。 - **总损失函数**：生成器的总损失函数由上述各项损失加权求和得到，在实际实验中，各权重参数设置为：λgdl = 1，λcon = 1，λfl = 2，λkl = 0.4。 - **异常分数的选择** - **均方误差（MSE）**：最常用的方法是计算预测帧和真实帧之间的欧几里得距离。 - **峰值信噪比（PSNR）**：选择PS