基于关系推理的无标记自监督学习训练

　　背景与挑战在现代深度学习算法中，对未标记数据的手工标注是其主要局限性之一。为了训练一个好的模型，我们通常需要准备大量的标记数据。在少数类和数据的情况下，我们可以使用带有标签的公共数据集的预训练模型，并使用自己的数据微调最后几层即可。但是，当你的数据很大时（比如商店中的产品或人脸，..），就会很容易遇到问题，并且仅通过几个可训练的层很难学习模型，此外，未标记数据（例如，文档文本，Internet上的图像）的数量是无限的，为任务标记所有标签几乎是不可能的，但是不使用它们又绝对是一种浪费。在这种情况下，就需要使用新的数据集从头开始训练深度模型，这时就需要花费大量的时间和精力来标记数据，这也就是自监督学习诞生的原因。其背后的想法很简单，主要有两个任务：代理任务：深度模型将从没有注释的未标记数据中学习可归纳的表征信息，然后利用隐式信息自行生成监督信号。下游任务：针对监督学习任务（如分类和图像检索）对表征信息进行微调，标记数据的数量更少（标记数据的数量取决于模型的性能，具体取决于你的需求）学习这些表征信息有很多不同的训练方法：相对位置[1]：模型需要理解对象的空间上下文，以判断部件之间的相对位置；拼图游戏[2]：模型需要将9个打乱的补丁放回原始位置；着色[3]：训练模型为灰度输入图像进行着色，确切的任务是将该图像映射到量化的颜色值输出上的分布；计数特征[4]：模型利用输入图像的特征计数关系，通过缩放和平铺来学习特征编码器；SimCLR[5]：该模型通过潜在空间中的对比损失来最大化同一样本不同增强视图之间的一致性，从而学习视觉输入的表示形式。不过，本文我想介绍一种更有趣的方法，它能够识别像人类一样的东西。人类学习的关键是通过比较相关实体和不同实体来获取新知识，因此，如果我们能够通过关系推理方法在自监督机器学习中应用相似的机制，这将是一个非常重要的解决方案[6]。关系推理范式基于一个关键的设计原则：使用关系网络作为未标记数据集的可学习函数，量化同一对象视图之间的关系（内部推理）和不同场景中不同对象之间的关系（交互推理）。通过在标准数据集（CIFAR-10、CIFAR-、CIFAR--20、STL-10、tiny-ImageNet、SlimageNet）、学习进度和主干（两者）上的性能来评估通过关系推理在自监督机器学习中利用类似机制的可能性。结果表明，关系推理方法在所有条件下都比最好的竞争对手平均高出14%的准确率，而最新的方法比此文（

转载请注明：http://www.lwblm.com/bzbk/12156.html