SimCSE: Simple Contrastive Learning of Sentence Emb

已于 2022-06-09 14:58:30 修改
阅读量451 收藏 4
点赞数 1
CC 4.0 BY-SA版权
分类专栏： NLP自然语言处理 文章标签： 自然语言处理 transformer 深度学习
于 2022-05-30 14:20:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_37574187/article/details/125045643

SimCSE主要解决的是Sentence Embedding的问题，也就是句向量。传统方式中，大部分句向量是通过词向量求和而成（词向量通常是由word2vec等方法训练而成）。显然这样的方法比较简单粗暴，而且直接加和的方式并没有利用到词与词之间的交互信息。取而代之的则是以Bert为基础的各类模型。在Bert中，通过堆叠Transformer encoder，能够捕捉到一个句子中深度双向的词与词之间的信息，并以输出层中的[CLS] token的向量来表示整个句子的向量。（关于Bert的细节问题请移步相关文章）

接下来就来到了我们的主角，SimCSE。正如SimCSE文章摘要所说，这不是一个新的模型，而是一个基于对

了解本专栏 订阅专栏 解锁全文 超级会员免费看
SimCSE: Simple Contrastive Learning of Sentence Embeddings
Young, Simple, Naive
08-06 465
仅使用标准的 dropout 作为噪声
SimCSE详解，Simple Contrastive Learning of Sentence Embeddings
ws_nlp_的博客
06-07 1770
简介 contrastive(对比)学校框架，提升句子embedding效果 无监督，句子本身和句子自己带有dropout 使用NLI数据集，entailment（蕴含）对作为正例，contradiction（矛盾）对作为负例 在STS任务上，效果好 介绍 无监督simcse预测句子本身，仅使用dropout作为噪声 换句话说，我们把相同的输入句子放到预训练encoder两次，包括两个embedding作为正例对，这两个encoder单独dropout（互不影响，不同的dropout形成不同的embeddi
PaddlePaddle深度学习教程：SimCSE句向量表征技术详解
最新发布
gitblog_00756的博客
06-12 398
PaddlePaddle深度学习教程：SimCSE句向量表征技术详解 引言 在自然语言处理领域，如何有效地表示句子语义一直是一个核心问题。传统的词向量平均方法、RNN/CNN编码器以及预训练语言模型的[CLS]向量都存在各自的局限性。本文将详细介绍PaddlePaddle深度学习框架中实现的SimCSE技术，这是一种简单而有效的对比学习框架，能够显著提升句向量的表征能力。 1. SimCSE技术概...
文献阅读：SimCSE：Simple Contrastive Learning of Sentence Embeddings
codename_cys的博客
03-06 1685
文献阅读：SimCSE：Simple Contrastive Learning of Sentence Embeddings 1. 文献内容简介 2. 主要方法介绍 3. 主要实验介绍 1. STS Experiment 2. Downsteam Experiment 4. 讨论 1. loss function考察 2. 其他正例构造方式考察 3. 消解实验 5. 结论 & 思考 文献链接：https://arxiv.org/abs/2104.08821v2 1. 文献内..
[EMNLP 2021] SimCSE: Simple Contrastive Learning of Sentence Embeddings
qq_42170839的博客
01-24 1505
无监督的SimCSE将句子过两次预训练模型得到两个不同的embedding作为正例对，将同一batch中的其他句子作为负例，模型在所有负例中预测出唯一的正例。有监督的SimCSE使用NLI数据，将蕴含关系对作为正例，矛盾关系及batch内其他的句子作为负例。
SimCSE: Simple Contrastive Learning of Sentence Embeddings翻译
nopSled
05-21 1070
摘要
论文解读SimCSE: Simple Contrastive Learning of Sentence Embeddings
qq_41932160的博客
03-13 1005
简介 这是一篇方法很简单效果却十分好的论文，直接将语义相似度sota提升了好几个百分点。 背景对比学习 Contrastive learning aims to learn effective representation by pulling semantically close neighbors together and pushing apart non-neighbors (Hadsell et al., 2006) 对比学习可以拉开不相似的item的距离，缩小相似的item的距离。 损失如上所
[论文阅读]SimCSE: Simple Contrastive Learning of Sentence Embeddings
m0_52911108的博客
10-29 799
图像上的对比学习方案：对同一个图像进行两次随机转换（例如裁剪、翻转、扭曲和旋转等）。文本上采用类似的方案：单词删除、重排序和替换等增强技术，但是由于文本的离散型，文本数据增强本质上是很困难的，简单地在中间表示上使用标准dropout优于这些离散运算符。文章介绍了SimCSE，这是一种简单的对比学习框架，采用了自监督来提升模型的句子表示能力。对于有监督则采用了SNLI数据集天然的结构，对立类别的是负例，另外两个类别的就是正例。这一部分的句子对直接采用了NLI数据集的数据，因为其中有天然的正负例句子对。
SimCSE: Simple Contrastive Learning of Sentence Embeddings（个人笔记）
RSociopath的博客
07-31 415
We present SimCSE, a simple contrastive sentence embedding framework, which can produce superior sentence embeddings, from either unlabeled or labeled data” 我们提出了SimCSE，一个简单的对比句子嵌入框架，它可以从无标签或有标签的数据中产生更好的句子嵌入。
论文略读：SimCSE: Simple Contrastive Learning of Sentence Embeddings
qq_40206371的博客
02-27 294
EMNLP 2021。
文献阅读笔记 # SimCSE: Simple Contrastive Learning of Sentence Embeddings
skysys的研究小屋
07-09 866
SimCSE：Sentence Embedding + 对比学习
【论文阅读-对比学习】SimCSE Simple Contrastive Learning of Sentence Embeddings
春天
03-10 1517
今天分享下Danqi大佬的SimCSE。文章首发于https://zhuanlan.zhihu.com/p/477334784 Title: SimCSE: Simple Contrastive Learning of Sentence Embeddings From: EMNLP 2021 Link: https://arxiv.org/abs/2104.08821 论文提出了基于对比学习框架的SimCSE，来是提升句向量的嵌入表示。在有监督和无监督的语义相似度任务上取得了SOTA效果。 背景知识 先介
【对比学习论文】SimCSE：句子嵌入的简单对比学习
qq_43058281的博客
02-26 674
SIMCSE
SimCSE: Simple Contrastive Learning of Sentence Embeddings论文解读
qq_45041871的博客
12-26 1212
SimCSE Simple Contrastive Learning of Sentence Embeddings论文解读，该文章使用对比学习的方法，实现了最优的句子级嵌入，该对比学习仅仅在预训练的基础上使用标准的dropout构造正例
【EMNLP 2021】SimCSE：句子嵌入的简单对比学习 && 【CVPR 2021】理解对比学习损失函数及温度系数
09-16 1990
SimCSE（Simple Contrastive Learning of Sentence Embeddings）是一种简单在没有监督训练数据的情况下训练句子向量的对比学习方法。这个方法是对同一个句子进行两次编码。由于在 Transformer 模型中使用了 dropout，两个句子表征的位置将略有不同。目标函数 Multiple Negatives Ranking Loss：其中，z和z’ 是两个不同的dropout随机掩码。
论文阅读“Simple Contrastive Graph Clustering”（arxiv）
qq_43497436的博客
07-29 787
让代表个节点共分为个类别的集合，代表边的集合。以及分别代表特征矩阵和初始的邻接矩阵。代表一个无向图。度矩阵表示为以及。图拉普拉斯矩阵定义为。在GCN中，使用一个重新归一化的技巧，即，对称归一化图拉普拉斯矩阵定义为。深度图聚类的目标是将图中的结点一无监督的方式分配到一系列不相邻的组。具体来说，就是以一种无监督的方式去训练一个神经网络，通过探索结点的特征以及结构信息来对结点进行编码，即。其中，分布代表特征矩阵和原始的邻接矩阵。此外，是学到的结点嵌入，其中是样本的个数，...
Paper Reading 《SimCSE》
SUFEHeisenberg的博客
04-27 775
Paper Reading: SimCSE SimCSE: Simple Contrastive Learning of Sentence Embeddings 尚未发表。Github. Paper. 1. 什么是对比学习及度量标准 1.1 概念 无监督学习两种思路：1. 生成式学习。i.e. GAN, VAE 2. 对比式学习 核心是构建正负样本集合，学习同正样本之间的共同特征（拉进二者距离），区分负样本（拉远距离）。 举个栗子： Loss的负对数和里面是正样本对的softmax值，min Loss
SimCSE：仅用Dropout实现的简单对比学习
然而，这篇文章《SimCSE: Simple Contrastive Learning of Sentence Embeddings》提出了一个新颖且简单的方法，即仅使用dropout这一常见的正则化技术来实现数据增强。 首先，SimCSE的创新之处在于它摒弃了传统复杂...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

医疗AI强化曾小健

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值