对比学习与 CLIP

一个模型如果能找出与「一只狗接飞盘」相匹配的照片，它做的就是一件听起来不可能的事：把一句话和一张图直接比较。文本和像素毫无共同之处。窍门在于把两者训练进同一个共享空间，在那里决定位置的是含义，而不是格式——让这件事成立的训练思路就是对比学习（contrastive learning）。

监督标签的局限

过去教模型认识图像的办法是分类：给一百万张照片打上一千个类别中的某一个标签，训练模型输出正确的类别。这办法能用，但框得很死。模型只认识你标注过的那几个类别，别的一概不知。「狗」可以；「一只腾空跃起的金毛，在沙滩上」就不行——这个描述从来就不是一个标签。

它也和语言不通。分类器做的是图像 → 类别 id 的映射。它根本不知道类别之间有什么关系，也不知道类别和任意文本有什么关系。

对比学习扔掉固定的标签集合，转而从一种取之不尽的资源里学：图像与它的自然语言描述配对，从网上大规模抓取。那些描述文字就是监督信号，而描述文字是开放的。

配对拉近，错配推远

核心思路是比较，不是分类。所以叫对比。

取一批图文对。两个编码器——一个处理图像，一个处理文本——各自把它们变成向量。接下来是训练目标：

• 对每一个正确配对（一张图与它自己的描述），把两个向量拉近。
• 对批里每一个错误配对（那张图和别的描述），把这两个向量推远。

一批 N 对里，每张图有一个正确描述和 N−1 个错误描述。模型要学会在所有这些配对里把正确的那一对打得最高。在几亿个对上重复这个过程，两个编码器就收敛到同一套几何结构上：一张图和任何描述它的文字彼此靠近，无关的配对相隔很远。

这就是 CLIP 的做法，而这套机制远不止适用于图像。

为什么主力是负样本

学习真正集中发生的地方是「推远」，值得多说几句。

如果只把正确的配对拉近，模型可以作弊：把所有东西坍缩到一个点上——每个向量都一样，于是每一对都「很近」。负样本堵死了这条路。要在保持正确配对靠近的同时把错误配对推开，模型就被迫去编码这张图与那条描述之间真正的区别。承载含义的正是这些区别。

这就是对比训练里批大小（batch size）如此重要的原因。批越大，每一步的负样本越多，要满足的对比越多，空间也越锐利。也是为什么负样本的挑选是一个杠杆——当你认真训练 embedding 模型时，这会成为核心话题。

同一个原理早在多年前就驱动过 word2vec：给定上下文预测一个词，与随机采样出的非上下文中词形成竞争。拿负样本做对比是个古老而深刻的思路；CLIP 把它扩展到了两种模态上。

共享空间带来什么

一旦图像和文本占据同一个空间，一些并没有被直接训练的能力就自己长了出来。

零样本分类。 要把图像分到任意类别，只需把类别名称当作文本做 embedding，找出离图像最近的那个。不用重新训练——类别就是你查询时给的文本。固定的标签集合消失了。

跨模态检索。 给文本查询做 embedding，检索最近的图像——反过来也行。这是多模态 RAG的检索底座。

生成的桥梁。 文生图系统依赖这种对齐：共享空间让一段文本 prompt 能指挥图像生成器，因为文本和目标图像处在可比较的坐标里。

一以贯之的主线是：把不同模态对齐到一个空间，就把「跨格式比较」变成了「量距离」，而后者是模型很擅长的事。

它给不了你什么

对比对齐是粗粒度的，清楚它的边界才不会抱有不切实际的期待。

它做匹配，不做描述。 CLIP 类模型只告诉你一张图和一条描述是一对。它不会生成流畅的描述，也不会对图像做推理——那需要一个带生成组件的视觉语言模型。

描述里的偏见会渗进来。 这个空间反映的是网上的描述文字如何描述图像，包括它们的盲区和刻板印象。计数、空间关系、细节属性往往很弱，因为描述文字很少把它们说准。

对齐不等于理解。 向量靠近意味着「这些内容在带描述的数据里倾向于共现」，而不是「模型看懂了画面」。它是一张相似度地图，把它当成理解，就高估了模型真正学到的东西。

要点回顾

• 对比学习用图文对而不是固定标签集合来训练，从开放的网页文本里学。
• 训练目标是把正确配对拉近、把错配推远，逼模型去编码它们之间的区别。
• 真正干活的是负样本——它们防止坍缩，也让批大小成为关键杠杆，word2vec 背后的思路也是如此。
• 结果是一个共享空间，支撑起零样本分类、跨模态检索和文本引导的生成。
• 它做对齐和匹配，不做描述和推理——而且会继承描述文字的偏见。

下一篇： embedding 模型如何训练