极低帧率监控流中事件序列的检测方法

# 极低帧率监控流中事件序列的检测方法 ## 1. 核燃料运输流程与SCD检测 在核燃料处理的正常流程中，核燃料罐会进入舱口，到达去污区域，然后被转移到水池，之后再回到去污区域，最后通过舱口离开（如图1所示）。在场景变化检测（SCD）中，每个感兴趣区域（AOI）会被分配一个标签，常用的标签集为 {h, d, p}。当检测到SCD事件的图像会与这些标签中的一个或多个相关联。例如，如果图像t被标记为 [h, p]，这意味着从t - 1到t，舱口和水池的AOI发生了变化。 由于目标事件和SCD信号之间的相关性较弱，像SCD这样的无信息过滤器会在图像流分析的第一阶段被使用，以排除明显没有变化的图像。条件测试的参数必须设置为达到100%的真阳性率，但缺点是假阳性的数量很高。 在核保障的图像监控研究中，大部分图像序列包含很少或没有活动。核检查员需要在时间压力下离线审查大约20,000张图像。使用SCD平均可以将需要检查的图像数量减少90%，从20,000张减少到2,000张。然而，逐一审查2,000张图像仍然是一项艰巨的任务。通常，在2,000张SCD图像中，只有0 - 30张与保障相关，因此假阳性率接近99%。所以，在SCD之后使用有信息的技术是合理的，这些技术使用与保障相关的事件模型来突出感兴趣的SCD图像。 核检查员使用无信息的SCD主要是因为无信息技术提供了较高的可编程性。核检查员和大多数图像审查软件的用户一样，并非图像处理或自动模式识别的专家，但他们可以通过设置阈值来理解事件检测。这种理解以及通过改变一两个简单参数所获得的完全控制权，让检查员有信心掌握这个工具。 ## 2. 基于序列和时间属性的事件搜索 当审查工具具有预期事件序列的内部模型时，可以采用有信息的事件检测。为了构建这样的模型，图像流必须具备以下至少一个属性： - **属性1：可追踪对象**：对应于可以跟踪对象运动的情况。当对象具有高自相关性和低与其他对象或背景的互相关性的视频特征时，对象可以被跟踪。这要么需要高度特征化的视觉特征（如颜色、运动、形状、纹理等）用于视觉自相关，要么需要高采集帧率用于时间自相关。在大多数研究基准中，这两个元素都存在。当对象可追踪时，事件检测基于跟踪对象的预期运动模式的验证（或不存在）。 - **属性2：事件的重复序列**：当事件按照随时间重复的规则序列发生时，该属性得到验证。例如，在基于视频的人机交互中，会检查用户的手部或面部动作是否符合对应命令的模型手势。在受限场景的监控应用中也可以观察到规则模式。制造工厂的过程监控也可以从基于模型的时间分析中受益，因为制造过程遵循标准路径，偏差可能表明错误并预示最终产品的缺陷。 - **属性3：事件的重复时间**：由具有规则持续时间和/或事件之间间隔的事件序列组成。例如，在地铁站监控遗弃物品时，如果图像区域被前景对象占用的时间超过预期的“正常”时间，则检测到一个“事件”。 在核保障监控的特定场景中（核燃料罐在不同图像区域的外观不同、帧率低、事件罕见且燃料罐难以区分），属性1对于检测核燃料罐运动事件不成立。因此，在这种特定场景中，大多数知名技术无法应用。然而，核燃料罐在核工厂中经历的过程是结构化和重复的，因此可以通过对过程的规律性进行建模来进行跟踪，而不是对燃料罐本身进行建模。 下面将描述一个仅基于属性2和属性3进行事件检测的有信息过滤器，具体通过半自动化模式下使用的隐半马尔可夫模型（HSMM）来实现。为了更好地理解事件序列和时间的贡献，将基于时间属性的过滤与基于图像内容的过滤分开，通过SCD将图像序列转换为对应于活动AOI的符号序列和相关的图像时间戳。 ## 3. 使用HSMM对核燃料罐处理进行建模 ### 3.1 HSMM的基本概念 隐半马尔可夫模型（HSMM）是一种隐马尔可夫模型，其中每个状态都有一个明确的持续时间模型，用于表示非吸收状态的停留时间。半马尔可夫模型由一个嵌入式一阶马尔可夫链X和停留时间的离散分布S组成。嵌入式链由(T, χo)描述，其中χo是初始状态分布，T是转移矩阵，满足Tij = P(Xt+1 = j|Xt = i)，对于半马尔可夫模型，Tii = 0，∀i。停留时间分布是一组仅依赖于当前状态的离散分布S = {Si, ∀i}。当状态和观察之间的关系是概率性的时，模型是隐藏的。每个状态的发射分布总结在发射矩阵E中，Eis = P(Ot = y|Xt = i)，y是发射的符号。因此，HSMM由集合(T, E, χo, S)定义。 ### 3.2 使用HSMM的原因 - **使用间接观察模型（隐藏）的原因**： - 燃料罐没有独特的标识符，即使是训练有素的监督员也无法区分一个燃料罐与另一个。因此，当工厂内有多个燃料罐正在处理，其中一个移动时，运动事件与产生它的燃料罐之间存在概率关系，而不是确定性关系。 - 低帧率会混淆对运动方向的感知，决定一个燃料罐是进入还是离开一个位置需要比简单检查前一帧和当前帧的视觉内容更多的推理。 - **使用明确持续时间模型的原因**：处理阶段具有由过程本身决定的典型持续时间。处理步骤的持续时间取决于步骤的性质，并且对于所有燃料罐都是相似的。在这种情况下，持续时间模型可以在帮助理解当多个燃料罐正在经历相同的处理步骤时哪个燃料罐正在移动方面做出重要贡献（通常，在一个步骤中首先移动的燃料罐将是首先移出的）。 ### 3.3 状态空间 处理系统可以由三个参数(F, K, N)描述： - F：可以并行处理的最大燃料罐数量。 - K：用于移动燃料罐的可用起重机数量（K ≤ F）。 - N：构成核过程的处理阶段数量。在图5的示例中，N = 6。 在实际工厂中，1 ≤ F ≤ 3，K = 1，3 ≤ N ≤ 10。 为了构建状态空间，首先将工厂的真实状态定义为F数组的标签，表示每个燃料罐在其单独过程中的进展阶段。这个空间包括燃料罐位置的所有可能排列（允许重复）。例如，一个F = 3和N = 6的工厂的真实状态有[1 1 1], [1 1 2], [1 2 2], ..., [6 6 6]。状态[2 3 5]表示一个燃料罐处于阶段2，第二个处于阶段3，第三个处于阶段5。由于以下两个原因，会改变真实状态的数量： - 由于燃料罐无法区分，可以将状态空间减少到允许重复的组合数量。例如，[1 2 2], [2 1 2], 和 [2 2 1]是等价的。 - 发射取决于转移：设计上，将符号的发射与燃料罐进入一个状态的事件相关联。因此，转移中的起始状态决定了当到达着陆状态时发射哪个符号。为了允许有多个发射分布，每个真实状态由F个虚拟状态表示。 给定这些前提，工厂(