低帧率监控流中事件序列检测的图像审查过滤器研究

### 低帧率监控流中事件序列检测的图像审查过滤器研究 在视频监控相关领域，利用机器学习分析图像流正成为计算机视觉界的核心研究课题。不同的应用场景需要适配不同的技术，本文聚焦于核保障领域，探讨了基于场景变化检测（SCD）和马尔可夫模型（MM）的过滤器组合在监控图像搜索中的应用。 #### 1. MM过滤器的日志信息与优势 日志信息能够解释MM关于烧瓶过程的推理。相关日志消息类型及含义如下表所示： | 消息类型 | 含义 | 状态 | | ---- | ---- | ---- | | State | 解码程序后估计的当前烧瓶配置 | - | | Mid positive | 带正注释的图像与事件的预测类别不对应 | - | | Revision (start) | 解码程序无法确定地重建烧瓶配置的进展。带正注释的图像不符合事件序列，可能跳过了相关图像，开始回溯 | - | | Branching (start) | 解码程序无法确定地重建烧瓶配置的进展。有多个假设可以解释事件序列，开始多假设跟踪 | - | MM过滤器嵌入在现有的审查工作流程中，使用时除了浏览和注释SCD事件所需的输入外，无需用户额外输入。其优势在于能显著减少SCD产生的误报数量，从而减轻审查工作量。该过滤器在后台运行，可随时停用，并且标准笔记本电脑处理器就能轻松应对其计算负载，这得益于可以用类似HMM的解码替代更复杂的HSMM解码。 #### 2. 图像审查过滤器的基准测试 为了评估SCD和MM在检测烧瓶事件（舱口区域（H）、去污（D）和池塘（P）区域的事件）方面的性能，进行了基准测试。 ##### 2.1 图像集 测试使用了来自两个不同工厂（工厂A和工厂B）的图像集，具体信息如下表： | 图像集 | 图像数量 | H | D | P | | ---- | ---- | ---- | ---- | ---- | | A1 | 20160 | 17 | 17 | 17 | | A2 | 15661 | 1 | 1 | 1 | | A3 | 16022 | - | - | - | | B1 | 16020 | 30 | 30 | 30 | | B2 | 15446 | 12 | 12 | 12 | 这些图像集涵盖了几个月的工厂活动，其中保障相关事件的数量与图像数量相比极少，部分图像集甚至没有需要报告的保障相关活动。 ##### 2.2 性能指标 为评估图像审查工具的性能，采用了两种指标： - **召回率和精确率**：这是信息检索中分类器的经典性能评估指标。对于给定的分类方法M和包含R∗个真实事件的基准，召回率（recallM）和精确率（precisionM）的计算公式如下： - recallM = CR∗M / R∗ - precisionM = CR∗M / CRM 其中，CRM是M分类为相关的图像数量，CR∗M是M正确分类的相关图像数量。当召回率和精确率都为1时，分类达到最优。召回率为1表示没有漏报，精确率为1表示没有误报，误报数量（FPM）的计算公式为FPM = CRM - CR∗M。在本次基准测试中，精确率的计算较为严格，仅将审查报告中注释的图像视为正确分类。 - **工作量减少指标**：鉴于SCD是保障审查中默认的过滤器，在召回率SCD和召回率M都为1的情况下，通过以下公式衡量使用第二个