「上帝视角」看对比自监督学习,SimCLR、CPC、AMDIM并无本质差异

  • A+
所属分类:足球新闻

对比自监督学习将取代监督式深度学习主导地位的预言,已经「甚嚣尘上」。

Hinton大力推广的SimCLR就是其中一种。

对比自监督学习(CLS)是从无标签数据中选择和对比Anchor,Positive,Negative(APN)三种特征,学习到有用表征的方法。

近日,Facebook的两位研究员,使用一个新的框架来对比分析了目前三个主流的自监督学习算法:SimCLR、CPC、AMDIM。结果显示,尽管这些方法表面上看起来非常不同,但实际上他们互相之间只有微小的差异

回顾:自监督学习和对比学习

自监督学习

在有监督学习中,系统会给定一个输入x和一个标签y。而在自监督学习中,系统只给定了输入x,系统需要从输入x的一部分来预测输入的其他部分,输入既是source,也是target。

对比学习

俗话说,近朱者赤近墨者黑,机器学习中也有一种类似思想的算法就是聚类,对比学习与这种思想也是十分相似,通过三个要素来完成这个任务,即积极的,锚定的和消极的表征。

对于一张图片,我们需要一张相似的图片来构建一个正例二元组,需要一个相似的图片和一张不相关的图片来构成一个负例三元组。

但是在自监督学习中,样本的标签y是不知道的,所以无法得知两张照片是否相似。如果假设每张图片都有自己的标签,那就可以通过各种方法来形成这些三元组。

有了标签以后,就可以通过新提出的框架对各种CLS方法进行评估。

评估对比自监督学习的五个新视角

下面,这个框架通过五种视角来对比CLS的各种方法,包括:

1.数据增强管道

2.编码器选择

3.表征抽取

4.相似度度量

5.损失函数

第一个视角是定义一个数据增强管道。

在深度学习中,数据增强的目的就是为了扩充数据集,通过对输入图像进行翻转、对称、抖动、灰度等各种操作来增加数据的量。

主流的三种CLS方法的数据增强管道也是也有千秋。

CPC

CPC除了使用抖动、灰度和翻转之外,还使用了一种新的变换,就是将原来的图像分割成Patches小块。通过CPC管道,可以生成多组正负样本对。

AMDIM

AMDIM管道是通过执行完一些基本的翻转抖动等操作以后,对同一个图像使用两次数据增强管道,生成两个版本的图像。

SimCLR

在他们的论文中,发现变换方式的选择对于方法最后的表现十分重要,事实上,这些方法的表现都是通过选择特定的变换来驱动的。

对比CLS方法的第二个视角是编码器Encoder。

CLS方法大多只是使用了不同宽度和深度的ResNet架构,通过消融实验可以发现,AMDIM不能够很好的泛化,而CPC受到编码器结构变化的影响较小。

在消融实验中还有一个额外的发现,更宽的编码器在对比学习中的表现更好。

第三种视角是表征抽取。

这是「魔术」发生的地方,也是他们不同之处最大的地方。

CPC通过在隐藏空间中预测未来信息来学习表征。把图片当成一条时间线,过去的信息在左上方,未来的信息在右下方。

AMDIM是比较从CNN不同层的得到特征图之间的表征方式。这些表征来自于两个部分:一个图像的多个视图和CNN的中间层。

SimCLR与AMDIM类似,但是进行了两个改进:一是只使用最后一个特征图,二是通过投影头运行特征映射并比较两个向量(类似于 CPC 上下文投影)

用来比较这些方法还有两种方式:相似性度量和损失函数。

相似性度量使用了点积或者余弦距离,作者的实验表明,相似性的选择是无关紧要的。损失函数都使用了NCE损失。

YADIM:目前的对比学习框架只是特例

研究人员找到了一种新的方法来显示这个框架的用途,这种方法叫做Yet Another DIM (YADIM).

YADIM的特点如下:

1.合并了CPC和AMDIM的管道

2.使用了AMDIM的编码器

3.对一个图像进行多个版本的编码,并使用最后一层的特征图进行比较。

4.使用点积求相似度

5.使用NCE损失函数

YADIM的实验结果

可以看出,尽管融合了AMDIM和CPC的模型效果最优,但是YADIM的效果也仅差了一点

SimCLR只是YADIM的一种特殊情况。

SimCLR像AMDIM一样,通过最大化同一图像的两个视图之间的相似性来提取表征。

SimCLR与AMDIM相似,但进行了一些小调整。首先,它使用非定制的通用ResNet。其次,它使用了经过修改的数据增强管道。第三,它使用投影头添加了参数化的相似性度量。最后,它为NCE损失增加了比例系数(τ)。

接下来,我们具体分析下SimCLR是如何做的。

数据增强管道:SimCLR的数据增强跟AMDIM类似,对同一输入使用两次随机扩充,包括随机调整大小和裁剪,随机水平翻转,颜色抖动,随机灰度和高斯模糊。

编码器:SimCLR中的编码器是一个可变宽度和深度的ResNet,SimCLR中的ResNet使用批量归一化。

表征抽取:R与AMDIM类似,但只使用最后一个特征图,二是通过投影头进行特征映射并比较相似度。

相似性度量:SimCLR使用投影头z =fφ将表示向量从编码器映射到另一个向量空间,即fφ:R c→R c,将两个向量之间的余弦相似度作为评分。

损失函数:SimCLR使用NCE损失来调整相似性评分的范围。

这种损失将锚点和正样本聚集在一起,而将锚点和负样本分开。

如果再分析下AMDIM和CPC就不难发现,这些对比自监督学习框架都是大同小异,只是从上面五个角度做了微小改动而已

这也是首个在同一标准下对三大框架进行对比的工作,让我们从一个更高的视角窥探了对比自监督学习的原理,也为后来者提供了改进现有对比学习方法的新思路。

参考链接:

https://towardsdatascience.com/a-framework-for-contrastive-self-supervised-learning-and-designing-a-new-approach-3caab5d29619

  • 我的微信
  • 这是我的微信扫一扫
  • weinxin
  • 我的微信公众号
  • 我的微信公众号扫一扫
  • weinxin

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: