论文阅读： Character Region Awareness for Text Detection （CRAFT）

简介

论文链接：https://arxiv.org/abs/1904.01941

这篇论文的主要是解决文本检测的问题，思路是利用分割的方法，与图像分割有些不同的是，CRAFT不是对整个图像进行像素级分类，而是做了回归，它有两个分支，一个是目标是字符的中心的概率（这里用概率可能不是很准确，或许说是距离字符中心的距离更好一些），另一个是字符之间的连接关系，然后经过一步后处理，得到文本的边界框。

网络结构

CRAFT的网络结构如图。看起来并不复杂，基于VGG16的结构，整体类似UNet，是一个标准的分割模型。Region Score表示该点是文字中心的概率，Affinity Score可以认为是该点是两个字之间的中心的概率。这个结构还是比较简单的，其实大部分基于分割的模型网络结构都比较简单，主要是后处理与训练数据。

训练数据格式

CRAFT的训练数据label不是二值化的图像，而是采用了类似热力图的的图像，这也对应了上面说的，表示的是该位置在文字中心的概率。

上图是训练数据的label的生成示意图。首先看左边，有了一个字符级的标注（图2的红框， Character Boxes），这个字符的四个点（图1绿边）构成一个四边形，做对角线，构成两个三角形（图1蓝边），取三角形的中心，两个框之间就有四个点，构成了一个新的边框，这个边框就是用来表示两个字符之间的连接的label的（Affinity Box