SAM-Based相关论文简介

这个PPT介绍了基于SAM（Segment Anything Model）的一系列工作，包括分层文本分割、交互式分割与识别、模型结合、框架结构以及一些应用场景。以下是对PPT内容的总结： Hi-SAM模型：一个统一的分层文本分割模型，能够在笔画、字、文本行和段落四个层次上进行文本分割，并实现布局分析。 Self-prompting Module：将图像特征转换为包含文本位置和上下文信息的prompt tokens。 S-Decoder：改进的SAM mask Decoder，用于生成文本笔画的掩码。 Open-Vocabulary SAM（OV-SAM）：一种新型视觉模型，结合了SAM的分割能力和CLIP的零样本识别能力，用于交互式分割和识别任务。 模型结合方式：介绍了两种结合SAM和CLIP模型的方式：Image Cropping和Feature Cropping。OV-SAM模型通过SAM2CLIP和CLIP2SAM两个知识迁移模块来实现模型结合。 模型框架：描述了训练和推理阶段的模型框架，包括教师-学生网络的蒸馏过程，特征表示的对齐，以及推理阶段的模型使用。 Gro