『NLP学习笔记』CLIP文本图像自监督学习解读

标签： 半监督学习，文本分类 作者：炼己者 --- 欢迎大家访问我的简书以及我的博客，大家如果感觉格式看着不舒服，也可以去看我的简书，里面也会有发布 本博客所有内容以学习、研究和分享为主，如需转载，请联系本人，标明作者和出处，并且是非商业用途，谢谢！ 半监督学习文本分类系列 用半监督算法做文本分类(sklearn) sklearn半监督学习(sklearn) 摘要 之前调用sklearn库里...

【转载】AAAI 2020 | 基于多任务自监督学习的文本顺滑研究 原文地址：https://www.jiqizhixin.com/articles/2020-01-14-3 论文名称：Multi-Task Self-Supervised Learning for Disfluency Detection 论文作者：王少磊，车万翔，刘琦，秦鹏达，刘挺，王威廉 原创作者：王少磊 下载链接：http://ir.hit.edu.cn/~slwang/AAAI-WangS.1634.pdf 1、文本顺滑任务简介 自

以图像维度为例简单说明一下这里的逻辑，因为在计算相似度的时候，图像特征矩阵@文本特征矩阵得到的 n x n 矩阵，第一个n 代表的图像，因此我们在axis=0 计算图像维度的loss。点积运算计算文本-图像的cosine similarity，得到 n x n 矩阵的logits（模型预测），越接近1则说明模型预测该文本-图像对是配对的，否则不配对。在训练过程中，模型学会了将图像和文本编码成统一的向量空间，这使得它能够在语言和视觉上理解它们之间的关系。通过图像&文本编码器，得分图像和文本特征。

Meta AI 更新的 Data2vec 2.0 | 实现更快、更高效的视觉、语音和文本的自监督学习

本文详细介绍深度学习概念及原理，参考网上相关资料汇总，内容包含众多章节，包括神经网络基础及常见深度学习网络结构介绍，用于个人学习总结，适合深度学习初学者学习。同时介绍机器学习常见的分类算法：SVM、神经网络、随机森林、逻辑回归、KNN、贝叶斯。常见的监督学习算法：感知机、SVM、人工神经网络、决策树、逻辑回归.........

各位已经跨越新手村和进阶副本的NLP勇士们，准备好迎接真正的硬核挑战了吗？我是你们的科研引路人老张，今天要带大家解锁自然语言处理领域的终极奥义——那些藏在顶会论文里的黑魔法和工业界绝不会公开的科研生存法则！

本文主要讲述CLIP大模型，对网络结构等进行了详细说明，同时对自己的思考进行了表述。

指出在视觉识别任务中，自训练比监督训练效果更好：最近的研究表明，在具有挑战性的视觉识别任务中，自监督预训练比监督学习更有效。CLIP 是一种令人兴奋的语言监督学习新方法，在各种基准测试中表现出了良好的性能。提出的SLIP：将自监督与CLIP相结合：在这项工作中，我们将探讨自监督学习能否帮助将语言监督用于视觉表征学习。我们介绍了 SLIP，这是一种将自监督学习和 CLIP 预训练相结合的多任务学习框架。zero-shot迁移、线性分类和端到端微调。

论文名称：Multi-Task Self-Supervised Learning for Disfluency Detection论文作者：王少磊，车万翔，刘琦，秦鹏达，刘挺，王威廉原创...

CLIP沟通文本和图像的桥梁。SOTA的视觉任务模型需要固定的监督数据对，比如-大象，-兔子。这种方式在特定数据集上能够拥有很好的性能，但是在其他未知类别上的性能就会急剧下降。这种监督形式限制了模型的通用性，因为需要额外的数据来重新训练模型。一个识别和的模型并不能识别和。传统的图像任务都是使用one-hot编码进行，每一类都有其独特的数字标签，比如背景为0，是1，是2，计算机只需要将像素分类成0,1,2。CLIP则是直接从图像的文本描述中进行学习，“a photo of。

自监督学习是可以看做是一种特殊的无监督学习的一个子类别（但并非无监督学习），因为它利用了未标记的数据。

我们引入了一个名为 CLIP 的神经网络，它可以有效地从自然语言监督中学习视觉概念。CLIP 可以应用于任何视觉分类基准，只需提供要识别的视觉类别的名称，类似于 GPT-2 和 GPT-3 的“零样本”功能。尽管深度学习彻底改变了计算机视觉，但当前的方法存在几个主要问题：典型的视觉数据集需要大量劳动力，创建成本高昂，同时只能教授一组狭窄的视觉概念；标准视觉模型只擅长一项任务，需要付出巨大努力才能适应新任务；在基准上表现良好的模型在压力测试中表现令人失望，使人们对整个计算机视觉深度学习方法产生怀疑。

之前的都需要固定的类别标签，clip采用句子去获取有用的数据，迁移效果很好。

多模态模型 CLIP 讲解，对应论文 Learning Transferable Visual Models From Natural Language Supervision。CLIP 的方法很简单，但效果却意外的好。CLIP 的迁移能力是非常强的，预训练好的模型能够在任意一个视觉分类的数据集上取得不错的效果，而且最重要的是它是 zero-shot 的，即完全没有在这些数据集上做训练就能得到这么高的性能。

clip 原理的极简版： 用图像编码器把图像编码成向量 a； 用文本编码器把文本编码成向量 b； 计算 a·b， 如果 a 和 b 来自一对儿配对的图和文字，则让 a·b 向 1 靠近； 如果 a 和 b 来自不配对儿的图和文字，则让 a·b 向 0 靠近；

我们可以得出以下结论：一个带有 yield 的函数就是一个 generator，它和普通函数不同，生成一个 generator 看起来像函数调用，但不会执行任何函数代码，直到对其调用 next()（在 for 循环中会自动调用 next()）才开始执行。虽然执行流程仍按函数的流程执行，但每执行到一个 yield 语句就会中断，并返回一个迭代值，下次执行时从 yield 的下一个语句继续执行。看起来...

动手学深度学习之自然语言处理（NLP） 文章目录动手学深度学习之自然语言处理（NLP）1、文本预处理1.1**分词代码实现：python+pytorch**1.2 分词工具【spaCy和NLTK】2、语义模型3、循环神经网络3.1循环神经网络的构造3.2从零开始实现循环神经网络裁剪梯度 1、文本预处理 具体步骤： 读入文本 分词 建立字典，为每个词建立索引 将文本从词的序列转换为索引的序列，方便...