论文阅读-（GLIP）Grounded Language-Image Pre-training （目标检测+定位）

Paper：Grounded Language-Image Pre-training

Code：https://github.com/microsoft/GLIP

简介：

• 定位任务与图像检测任务非常类似，都是去图中找目标物体的位置，目标检测为给出一张图片找出bounding box，定位为给出一个图片和文本，根据文本找出物体。GLIP 模型统一了目标检测（object detection）和定位（grounding）两个任务，构建了一个统一的训练框架，从而将两个任务的数据集都利用起来。再配合伪标签的技术来扩增数据，使得训练的数据量达到了前所未有的规模。在训练完成之后，直接以 zero-shot 的方式在 COCO 数据集上进行测试，达到了 49.8 AP。

• GLIP 进行 zero-shot 测试的结果如下图所示，不管是给定几个类别（如 person、pistol、apple等）还是给定一段话（如 ‘there are some holes on the road’）作为文本编码器的输入，GLIP 模型都能从图像中找到对应物体的位置。

 如何统一两个任务：

detection 和 grouding 任务的目标函数都是由两部分损