PyTorch SimCLR: A Simple Framework for Contrastive Learning of Visual Representations

本文提出了SimCLR:一个简单的视觉表征对比学习框架。我们简化了最近提出的对比自监督学习算法，而不需要专门的架构或内存库。为了理解是什么使对比预测任务能够学习有用的表示，我们系统地研究了我们框架的主要组成部分。我们表明: (1)数据增强的组成在定义有效的预测任务中起着关键作用; (2)在表征和对比损失之间引入可学习的非线性转换，大大提高了学习表征的质量; (3)与监督学习相比，对比学习受益于更大的批处理规模和更多的训练步骤。

A Simple Framework for Contrastive Learning of Visual Representations Ting Chen1 Simon Kornblith1 Mohammad Norouzi1 Geoffrey Hinton1 发布于2020.02.13 地址：https://arxiv.org/abs/2002.05709 这篇论文其实早就想分享一下了，只是一直耽搁到了现在。虽然论文目前应该是还没有被接受，但是大佬Geoffrey Hinton的工作及最终优越的实验效

对比学习的基础论文：Inst Disc，InstSpread，MoCo 和 SimCLR。

推荐项目：PyTorch SimCLR —— 深度学习视觉表示的对比学习框架 项目地址:https://gitcode.com/gh_mirrors/sim/SimCLR 项目介绍 PyTorch SimCLR是一个简约而不失强大的框架，专门设计用于探索和实现对比学习在视觉表示学习中的潜力。由Sthalles等人开发，这个项目基于一个直观的理念，即通过比较不同视角下的同一图像来学习有意义的视觉特...

SimCLR图像分类 pytorch复现一、网络模型、损失函数1.原理2.code二、配置文件三、无监督学习数据加载四、无监督训练五、有监督训练六、训练并查看过程七、验证集评估八、自定义图片测试 一、网络模型、损失函数 1.原理 SimCLR(A Simple Framework for Contrastive Learning of Visual Representations)是一种对比学习网络，可以对含有少量标签的数据集进行训练推理,它包含无监督学习和有监督学习两个部分。 无监督学习网络特征提取

[ 对比学习篇 ] 经典网络模型 —— Contrastive Learning InstDisc、InvaSpread、CPC、CMC； MoCov1、SimCLRv1、MoCov2、SimCLRv2、SWaV； BYOL、SimSiam； MoCov3、DINO； CLIP；

相似度函数sim()就是余弦相似度。loss函数其实和聚类思想一样了，A的特征和正样本的距离近，和其他样本的距离远。训练的时候一般会用两个encoder(如ResNet)分别对样本A和它的正负样本提取特征，再分布映射到新的表示空间(比如采用MLP层)，在这个空间里根据对比loss训练模型参数。，关键是「对比」，根据聚类和自编码器的思想，对比应该也是有A和B更近，A和C更远这种比较性的思想的。C是和A不像的样本，学名叫“负样本”，最简单粗暴直接的方式就是其他样本都是负样本，因为其他样本和它长的不一样。

1. 深度学习网络模型发展史 图1，网络模型发展方向： 图2，网络模型发展史： 通过上面的两幅图，我们大致了解到CNN的发展轨迹，下面将介绍其中的一些典型网络： 1.1 LeNet-5 LeNet-5的论文是在1998年撰写的，当时人们并不使用padding，或者总是使用valid卷积，这就是为什么每进行一次卷积，图像的高度和宽度都会缩小，所以这个图像从14到14缩小到了10×10。然后又是池化层，高度和宽度再缩小一半，输出一个5×5×16的图像。将所有数字相乘，乘积是400。此网络使用的sigmoi

CAM全称**Class Activation Mapping**，即类别激活映射图，也称为类热力图、显著性图等。

生成对抗网络GAN—生成mnist手写数字图像 最近刚开始接触gan，拿来主义实现了一个gan，主要参考一下两个链接： 生成对抗网络GAN—生成mnist手写数字图像示例（附代码） 对抗生成网络学习（一）——GAN实现mnist手写数字生成(tensorflow实现) 最后成功实现： 日后再补齐其中的理论知识，代码与技术细节。（好水的一篇博客（手动狗头）） ......

深度学习之Logistic Regression的前向传播，反向传播以及梯度更新计算 单个样本的计算： 批量样本的计算的矩阵形式：

改善深层网络之深度学习使用层面 1- 训练集、验证集、测试集的数据分配问题(Train/Dev/Test sets)： （1）数据较少时，可以按照7/3划分（没有验证集），或者是6/2/2划分，机器学习领域内普遍认可这种划分。 （2）如果数据很多，达到十万百万级，可以按照98/1/1，或者验证集和测试集更小也是可以的。 2- 偏差与方差(Bias/Variance)： （1）偏差（bias）：偏差...

吴恩达 深度学习系列–浅层神经网络 单隐层神经网络的前向传播、反向传播以及梯度更新 以下面的单隐层神经网络为例子，公式推导如下： 公式推导参考借鉴了：浅层神经网络：反向传播公式推导 单个样本： m个样本： python伪代码： 不同的激活函数 不同激活函数对比：添加链接描述 全0初始化问题 权重参数全部初始化为0，梯度下降算法将不会起到任何作用。无论我们隐藏层神经元有多少个，由于权重的...

123