【EMNLP 2021】SimCSE：句子嵌入的简单对比学习 && 【CVPR 2021】理解对比学习损失函数及温度系数

已于 2024-03-31 16:08:40 修改
阅读量1.9k 收藏 10
点赞数
CC 4.0 BY-SA版权
分类专栏： 大语言模型/对话问答/自然语言处理 深度学习基础/原理 文章标签： 自然语言处理 深度学习 pytorch
于 2021-09-16 10:34:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011239443/article/details/120322145
本文介绍了SimCSE，一种无监督学习的句子嵌入对比学习方法，通过Transformer模型的dropout实现。讨论了对比学习损失函数的性质，特别是温度系数如何影响对困难负样本的关注度。实验表明SimCSE在多个数据集上的表现优于其他方法，并提供了其实现和有监督训练的应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

重磅推荐专栏：
《大模型AIGC》
《课程大纲》
《知识星球》

本专栏致力于探索和讨论当今最前沿的技术趋势和应用领域，包括但不限于ChatGPT和Stable Diffusion等。我们将深入研究大型模型的开发和应用，以及与之相关的人工智能生成内容（AIGC）技术。通过深入的技术解析和实践经验分享，旨在帮助读者更好地理解和应用这些领域的最新进展

1. 介绍

SimCSE（Simple Contrastive Learning of Sentence Embeddings）是一种简单在没有监督训练数据的情况下训练句子向量的对比学习方法。

这个方法是对同一个句子进行两次编码。由于在 Transformer 模型中使用了 dropout，两个句子表征的位置将略有不同。这两个表征之间的距离将被最小化，而同一批中其他句子的其他表征的距离将被最大化（它们作为反例）：
在这里插入图片描述

  • 目标函数 Multiple Negatives Ranking Loss：
    在这里插入图片描述
    其中，z和z’ 是两个不同的dropout随机掩码。 h i z i , h i z i ′ h_i^{z_i},h_i^{z'_i} hizi​​,hiz
最低0.47元/天 解锁文章

200万优质内容无限畅学
SimCSE: Simple Contrastive Learning of Sentence Embeddings
Young, Simple, Naive
08-06 465
仅使用标准的 dropout 作为噪声
多模态大模型：技术原理与实战 大模型+多模态产生的化学反应
AI天才研究院
07-09 375
多模态大模型：技术原理与实战 大模型+多模态产生的化学反应 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：多模态融合，大模型，NLP，视觉理解，语音处理，跨模态推理，个性化服务 1
不同类型的语义相似度损失函数（SentenceTransformerLoss）
十里清风
06-05 833
本文介绍了面向不同输入类型的句子嵌入损失函数。
文献阅读笔记 # SimCSE: Simple Contrastive Learning of Sentence Embeddings
skysys的研究小屋
07-09 863
SimCSE：Sentence Embedding + 对比学习
论文解读SimCSE: Simple Contrastive Learning of Sentence Embeddings
qq_41932160的博客
03-13 1003
简介 这是一篇方法很简单效果却十分好的论文，直接将语义相似度sota提升了好几个百分点。 背景对比学习 Contrastive learning aims to learn effective representation by pulling semantically close neighbors together and pushing apart non-neighbors (Hadsell et al., 2006) 对比学习可以拉开不相似的item的距离，缩小相似的item的距离。 损失如上所
Xinhui学习NLP的笔记本：基于注意力机制的机器翻译
Ahu_Wxh_Ai的博客
06-23 1221
在下面的文章中，我们要实现基于注意力机制并使用Transformer模型的机器翻译实现机器翻译，并对一些必要的储备知识进行探索，如1. 编码器-解码器结构； 2. 束约束；3. 注意力机制；4. 基于带注意力机制的机器翻译；5. 基于Transformer实现机器翻译（日译中）；6. 总结
自监督学习中的数据增强技巧大全
最新发布
AI算力网络与通信的博客
07-14 524
本文旨在系统性地介绍自监督学习中的数据增强技术，包括其理论基础、实现方法和实际应用。内容涵盖计算机视觉和自然语言处理两大领域的主流数据增强技术。文章首先介绍自监督学习和数据增强的基本概念，然后详细讲解各种数据增强技术，接着通过代码示例展示具体实现，最后讨论应用场景和未来发展方向。自监督学习：一种无需人工标注的机器学习方法，通过设计预测任务从数据本身获取监督信号数据增强：通过对原始数据进行变换生成新样本的技术，旨在增加数据多样性对比学习：一种自监督学习方法，通过对比正负样本来学习表征。
CVPR TOP10 论文盘点：带你窥探计算机视觉的未来
读芯术的博客
08-29 878
全文共5013字，预计学习时长10分钟如果你没能亲临CVPR（IEEE国际计算机视觉与模式识别会议）的现场，无需担心。本文将列出广受关注的前十篇论文，包括深度伪造、面部识...
SimCSE详解，Simple Contrastive Learning of Sentence Embeddings
ws_nlp_的博客
06-07 1768
简介 contrastive(对比)学校框架，提升句子embedding效果 无监督，句子本身和句子自己带有dropout 使用NLI数据集，entailment（蕴含）对作为正例，contradiction（矛盾）对作为负例 在STS任务上，效果好 介绍 无监督simcse预测句子本身，仅使用dropout作为噪声 换句话说，我们把相同的输入句子放到预训练encoder两次，包括两个embedding作为正例对，这两个encoder单独dropout（互不影响，不同的dropout形成不同的embeddi
[EMNLP 2021] SimCSE: Simple Contrastive Learning of Sentence Embeddings
qq_42170839的博客
01-24 1505
无监督的SimCSE将句子过两次预训练模型得到两个不同的embedding作为正例对，将同一batch中的其他句子作为负例，模型在所有负例中预测出唯一的正例。有监督的SimCSE使用NLI数据，将蕴含关系对作为正例，矛盾关系及batch内其他的句子作为负例。
SimCSE: Simple Contrastive Learning of Sentence Embeddings（个人笔记）
RSociopath的博客
07-31 410
We present SimCSE, a simple contrastive sentence embedding framework, which can produce superior sentence embeddings, from either unlabeled or labeled data” 我们提出了SimCSE，一个简单的对比句子嵌入框架，它可以从无标签或有标签的数据中产生更好的句子嵌入。
[论文阅读]SimCSE: Simple Contrastive Learning of Sentence Embeddings
m0_52911108的博客
10-29 797
图像上的对比学习方案：对同一个图像进行两次随机转换（例如裁剪、翻转、扭曲和旋转等）。文本上采用类似的方案：单词删除、重排序和替换等增强技术，但是由于文本的离散型，文本数据增强本质上是很困难的，简单地在中间表示上使用标准dropout优于这些离散运算符。文章介绍了SimCSE，这是一种简单的对比学习框架，采用了自监督来提升模型的句子表示能力。对于有监督则采用了SNLI数据集天然的结构，对立类别的是负例，另外两个类别的就是正例。这一部分的句子对直接采用了NLI数据集的数据，因为其中有天然的正负例句子对。
论文略读：SimCSE: Simple Contrastive Learning of Sentence Embeddings
qq_40206371的博客
02-27 293
EMNLP 2021。
文献阅读：SimCSE：Simple Contrastive Learning of Sentence Embeddings
codename_cys的博客
03-06 1683
文献阅读：SimCSE：Simple Contrastive Learning of Sentence Embeddings 1. 文献内容简介 2. 主要方法介绍 3. 主要实验介绍 1. STS Experiment 2. Downsteam Experiment 4. 讨论 1. loss function考察 2. 其他正例构造方式考察 3. 消解实验 5. 结论 & 思考 文献链接：https://arxiv.org/abs/2104.08821v2 1. 文献内..
【论文阅读-对比学习】SimCSE Simple Contrastive Learning of Sentence Embeddings
春天
03-10 1516
今天分享下Danqi大佬的SimCSE。文章首发于https://zhuanlan.zhihu.com/p/477334784 Title: SimCSE: Simple Contrastive Learning of Sentence Embeddings From: EMNLP 2021 Link: https://arxiv.org/abs/2104.08821 论文提出了基于对比学习框架的SimCSE，来是提升句向量的嵌入表示。在有监督和无监督的语义相似度任务上取得了SOTA效果。 背景知识 先介
SimCSE: Simple Contrastive Learning of Sentence Emb
强化学习曾小健
05-30 450
SimCSE主要解决的是Sentence Embedding的问题，也就是句向量。传统方式中，大部分句向量是通过词向量求和而成（词向量通常是由word2vec等方法训练而成）。显然这样的方法比较简单粗暴，而且直接加和的方式并没有利用到词与词之间的交互信息。取而代之的则是以Bert为基础的各类模型。在Bert中，通过堆叠Transformer encoder，能够捕捉到一个句子中深度双向的词与词之间的信息，并以输出层中的[CLS] token的向量来表示整个句子的向量。（关于Bert的细节问题请移步相关文章）
【对比学习论文】SimCSE：句子嵌入的简单对比学习
qq_43058281的博客
02-26 673
SIMCSE
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小爷毛毛（卓寿杰）

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值