视觉跟踪与Prolog-Java接口技术解析

# 视觉跟踪与Prolog - Java接口技术解析 ## 1 视觉跟踪技术 ### 1.1 并行跟踪器组合策略 在视觉跟踪中，有时仅需指定三个点，因为第四个点在功能上依赖于其他三个点。这种类型定义了仿射变换下正方形的图像，通过该图像可重构变换（包括位置、旋转、缩放和剪切）。当前的问题是将四个跟踪角映射到定义正方形类型的三个点上，有多种实现方式，例如可以舍弃其边（与角关联的两个向量）指向其他角最少的点，这可能表明角跟踪器已丢失。这里采用基于底层跟踪器的锐度测量策略。 与之前示例的显著区别在于嵌入函数。在嵌入中需要组合测量值，因此使用`join4m`定义跟踪器。首先，需将函数提升到测量值的域中。使用`Joinable`类定义如下： ```haskell jLift3 :: Joinable m => (a -> b -> c -> d) -> (m a -> m b -> m c -> m d) jLift3 f = \x y z -> let t = joinTup3 x y z in fmap (\(x’,y’,z’) -> f x’ y’ z’) t ``` 利用此函数构建一个从三个测量点生成测量正方形的函数： ```haskell mkSquare :: Sharpness Point2 -> Sharpness Point2 -> Sharpness Point2) -> Sharpness Square mkSquare = jLift3 (\x y z -> (x,y,z)) ``` 接着生成由角定义的所有可能正方形，每个正方形使用四个边点中的三个，并使用`max`选择锐度测量最佳的正方形： ```haskell bestSquare :: (Sharpness Point2, Sharpness Point2, Sharpness Point2, Sharpness Point2) -> Sharpness Square bestSquare (v1, v2, v3, v4) = mkSquare v1 v2 v3 ‘max‘ mkSquare v1 v2 v4 ‘max‘ mkSquare v1 v3 v4 ‘max‘ mkSquare v2 v3 v4 ``` 总结来说，连接函数族捕获了并行跟踪器组合的基本结构。尽管此策略偶尔需要复杂的嵌入函数，但这正是底层领域也复杂的地方。此外，可使用重载以简洁易读的方式表达简单的嵌入策略。 ### 1.2 串联跟踪器组合策略 另一种组合跟踪器的基本策略是将慢速但稳健的“宽视野”跟踪器与快速但脆弱的“窄视野”跟踪器相结合，以形成高效稳健的跟踪网络。这种跟踪器的结构与动画师不同，因为它处理的是性能而非表现力。 不同跟踪器之间的切换由确定跟踪器是否“处于特征上”的测量值控制。考虑以下三种跟踪器： - 运动检测器：在整个帧中定位运动区域。 - 颜色块跟踪器：跟踪颜色相似的像素区域。 - SSD跟踪器：针对特定图像。 目标是组合这些跟踪器以跟踪初始位置未知的特定人脸。运动检测器找到运动区域，在该区域中，颜色块跟踪器找到一组肉色像素，最后将此颜色块与参考图像进行匹配。每个跟踪器都会抑制紧接在前的跟踪器：如果SSD跟踪器“处于特征上”，则无需其他跟踪器运行。 这些跟踪器的类型签名相对简单： ```haskell motionDetect :: Tracker SizeAndPlace () blob :: Color -> Tracker SizedAndOriented Point2 ssd :: Image -> Tracker Residual Transform2 ``` `motionDetect`跟踪器是无状态跟踪器的示例，它不跨帧携带信息，而是在每个时间步查看整个帧（实际上是整个帧的稀疏覆盖）。由于没有位置信息传递到下一步，`motionDetect`输出的所有信息都在测量值中。对于颜色块跟踪器，可获得大小和方向（使到点的距离最小的轴）。 为了串联组合跟踪器，使用一对状态投影函数，这与前面使用的嵌入对类似，但类型中多了一个`Maybe`： ```haskell type SProjection m1 a1 m2 a2 = (m1 a1 -> Maybe s2, m2 a2 -> Maybe s1) ``` 这些函数引导跟踪器上下切换。在每一步，如果处于较低状态，当当前跟踪器能为下一个更高跟踪器产生可接受的状态时，就“向上”切换；如果处于较高状态，当当前跟踪器处于不适合的情况时，就“向下”切换。 跟踪器类型反映了底层跟踪器集合的并集。为了处理测量值，需要`Either`的高阶版本： ```haskell data EitherT t1 t2 a = LeftT (t1 a) | RightT (t2 a) instance (Valued t1, Valued t2) => Valued (EitherT t1 t2) where valueOf (LeftT x) = valueOf x valueOf (RightT x) = valueOf x ``` 下面是串联组合两个跟踪器的代码： ```haskell tower :: Tracker m1 a1 -> Tracker m2 a2 -> SProjection m1 a1 m2 a2 -> Tracker (EitherT m1 m2) (Either a1 a2) tower low high (up, down) = \(a, v) -> case a of Left a1 -> let ma1 = low (a1, v) in case up ma1 of Nothing -> LeftT (fmap Left ma1) Just a2 -> let ma2 = high (a2, v) in case down ma2 of Nothing -> Righ ```