无监督语义相似度哪家强？我们做了个比较全面的评测

©PaperWeekly 原创 · 作者｜苏剑林

单位｜追一科技

研究方向｜NLP、神经网络

一月份的时候，笔者写了《你可能不需要 BERT-flow：一个线性变换媲美 BERT-flow》[1]，指出无监督语义相似度的 SOTA 模型 BERT-flow 其实可以通过一个简单的线性变换（白化操作，BERT-whitening）达到。

随后，我们进一步完善了实验结果，写成了论文《Whitening Sentence Representations for Better Semantics and Faster Retrieval》。本文将对这篇论文的内容做一个基本的梳理，并在 5 个中文语义相似度任务上进行了补充评测，包含了 600 多个实验结果。

论文标题：

Whitening Sentence Representations for Better Semantics and Faster Retrieval

论文链接：

https://arxiv.org/abs/2103.15316

代码链接：

https://github.com/bojone/BERT-whitening

方法概要

BERT-whitening 的思路很简单，就是在得到每个句子的句向量