DaSiam:Distractor-Aware Siamese Networks for Visual Object Tracking
简述:
目前,在视觉跟踪领域,孪生网络(Siamese networks)在精度和速度方面都达到了不错的性能。但是多数是在非语义背景(即背景没有干扰,比如跟踪一个动物,只有它一个,没有其他的)的情况下。而在语义背景的情况下,会干扰Siamese 网络的鲁棒性。针对此,作者为了精确且长时间的跟踪,提出一种distractor-aware的孪生网络,解决由于训练数据分布不均衡带来的系统识别性差的问题。在off-line training阶段,引入一种有效的抽样策略(sampling strategy)使得模型集中于语义干扰。此外,提出一种local-to-global search region strategy。效果短期跟踪160fps,长期跟踪110fps。
问题Or相关工作:
存在三个问题:
1. 常见的siam类跟踪方法只能区分目标和无语义信息的背景,当有语义的物体是背景时,也就是有干扰物(distractor)时,表现不是很好。
2. 大部分siam类跟踪器在跟踪阶段不能更新模型,训练好的模型对不同特定目标都是一样的。这样带来了高速度,也相应牺牲了精度。
3. 在长时跟踪的应用上,siam类跟踪器不能很好的应对全遮挡、目标出画面等挑战。
如图,Siamese网络跟踪器响应热度图的可视化,可见对于有语义的背景,现有的孪生网络结构并不是那么的好。
针对以上三个问题,分别给出了解决方案,
1. 训练数据中非语义背景和语义干扰的不一致性是表征学习的主要障碍