在新选项卡中打开链接
  1. Copilot 答案

    无门槛级讲解对比学习中的自监督模型Simsiam - 知乎

    • 论文名称为Exploring Simple Siamese Representation Learning[1],是大神Kaiming He的团队在表征学习/对比学习/自监督学习问题上提出的新算法。在之前,对比学习(contrastive learning)已经应用于自监督 … 展开

    一、模型结构

    本文将先给出模型结构的简单阐述,再去用较为通俗易懂的原理解释为什么要这么做。模型的结构图如下图所示:
    图源[1]
    可以看到,模型 … 展开

    知乎专栏
    二、什么是collapsing solutions

    依然举一个极端的例子来理解:假设损失函数的最小值为0(即我们要用梯度下降法尽量将损失函数降低到最小值0),那么模型完全可以投机取巧地令所有权重更新为0,这样我们永 … 展开

    知乎专栏
    三、为什么用余弦相似度来做损失函数

    我们的任务目标是学习到分布较好的表征向量,什么叫分布较好?也就是相似的向量越接近越好,不相似的向量越远越好。向量远近的度量单位一般可以用向量夹角的大小来表示。… 展开

    知乎专栏