【收藏必看】BLIP：图文多模态领域的里程碑，统一理解、检索与生成三大能力

BLIP是图文多模态领域的里程碑模型，通过统一encoder-only和encoder-decoder架构，结合Filter和Captioner组件，解决了跨模态模型能力不统一和数据质量不可靠的问题。其创新的自我提升数据集构建策略，利用带噪音数据进行预训练，通过Captioner生成高质量描述和Filter过滤，最终构建出高质量图文对，使BLIP在视觉理解、图文检索与图文生成三大任务上实现了统一能

datian1234

730人浏览 · 2025-11-22 14:10:44

datian1234 · 2025-11-22 14:10:44 发布

前言

BLIP（Bootstrapping Language-Image Pretraining）

BLIP是图文多模态领域的一项里程碑式工作。该模型同时解决了前代跨模态模型在“架构层面能力不统一”与“数据质量不可靠”两个关键问题，实现了视觉理解（VQA）、图文检索（Retrieval）与图文生成（Captioning）的统一能力。

一、BLIP 提出的背景

1.模型视角

在 BLIP 之前，CLIP 和 MOCO 等模型属于纯 encoder-only 架构，即：

图像经过视觉编码器（ViT）
文本通过文本编码器（Transformer Encoder）
使用对比学习（Contrastive Learning）完成语义对齐

encoder-only 模型存在天然能力不足

例如图像字幕生成，而 CLIP/MOCO 的文本端没有解码器，无法执行生成任务。

encoder-decoder 架构在检索任务中表现不佳

Encoder-Decoder 模型（如一般 Seq2Seq）适合生成任务，但：

文本 encoding 并非独立语义空间
与图像 embedding 不易对齐
在 image-text retrieval 中难以进行高效相似度计算（不像 CLIP 那样可直接余弦匹配）

也就是说：

CLIP 擅长对齐，但不会生成。
encoder-decoder 会生成，但无法做检索。

2.数据视角

构建强大的多模态模型需要千万级图文对。但现实中：

高质量人工标注数据太少

例如：

COCO Caption：只有 12 万图片
Visual Genome：约 10 万图片

远远不足以支撑百亿参数级模型。

CLIP/MOCO 使用 Web 数据质量不高

网络图片文字描述往往存在：

缺少关键语义
与图片内容不匹配
冗余信息 / 错误描述

导致模型容易学习到错误关联。

因此：需要一种机制，自动从噪声数据中“提取”高质量图文对。

二、BLIP 的三大组件

BLIP 的框架由三部分组成：

Unimodal Encoder → 做对比学习 ITC
Multimodal Encoder → 做匹配分类 ITM
Text Decoder → 做图文生成 LM

并引入两个额外角色：

Filter（Discriminator）：识别高质量图文对
Captioner（Generator）：生成更好的文本描述

1.Unimodal Encoder

通过多模态对齐训练，使对应的图像与文本在模型中的表征尽可能接近，而非对应的图文对则尽可能远离。

Image-Text Contrastive (ITC) Loss

与分别是第个文本与第个图像在经过线性投影后的表示向量，并已进行归一化。
ITC 损失由 两个方向的 InfoNCE 损失组成：

image-to-text（I2T）
text-to-image（T2I）

为温度系数（temperature）

2.Discriminator (Filter)

该任务旨在根据多模态特征，对图文对是否匹配进行二元分类。其训练采用困难负采样策略，之所以优先选择在对比学习中相似度更高的负样本对，是因为能有效增加模型辨识的难度，从而使训练更具意义。

Image-Text Matching (ITM) Loss

表示模型预测的 二分类概率分布（是否匹配）。
是 2 维 one-hot 向量，代表真实标签（匹配 / 不匹配）。
为 交叉熵（Cross-Entropy）损失函数。

3.Generator (Captioner)

该生成式任务要求模型根据所给的图像，以自回归的形式生成文本描述。这个过程类似于人说话，模型会根据已生成的上文，逐个预测下一个最合适的词，直至生成完整的句子。

Language Modeling (LM) Loss

是文本的表示
是图片的表示

三、架构图

四、自我提升的数据集构建策略

使用带噪音的数据（web）初步预训练 BLIP
使用人工标注数据（如 COCO）微调（Filter & Captioner）
Captioner 为全部 Web 数据生成新文本描述
Filter 过滤所有文本质量（Web 原文描述 + 新文本描述），得到高质量的图文对
基于全新高质量数据重新训练 BLIP

不能直接继续训练旧模型，而要用新数据重新训练一个新的模型。

原因类似知识蒸馏（KD）中的经典发现：

学生模型不能从教师模型初始化
否则会保留教师模型对噪声的偏见，降低效果

最终，基于 CapFilt 构造的 129M 高质量图文对，让 BLIP 在所有任务上显著提升。

Captioner 能够：

提取图片中关键物体和动作
生成比 Web 文本更细致的描述
弥补 Web 文本中缺失的语义

Filter 能够：

准确筛掉 Web 噪声文本
从多个候选描述中选出最优搭配
保证最终训练集中图文高度一致

五、下游任务（统一对比学习、匹配学习与生成任务）

普通人如何抓住AI大模型的风口？

为什么要学AI大模型

当下，⼈⼯智能市场迎来了爆发期，并逐渐进⼊以⼈⼯通⽤智能（AGI）为主导的新时代。企业纷纷官宣“ AI+ ”战略，为新兴技术⼈才创造丰富的就业机会，⼈才缺⼝将达 400 万！

DeepSeek问世以来，生成式AI和大模型技术爆发式增长，让很多岗位重新成了炙手可热的新星，岗位薪资远超很多后端岗位，在程序员中稳居前列。

在这里插入图片描述

与此同时AI与各行各业深度融合，飞速发展，成为炙手可热的新风口，企业非常需要了解AI、懂AI、会用AI的员工，纷纷开出高薪招聘AI大模型相关岗位。
在这里插入图片描述

AI大模型开发工程师对AI大模型需要了解到什么程度呢？我们先看一下招聘需求：

在这里插入图片描述

知道人家要什么能力，一切就好办了！我整理了AI大模型开发工程师需要掌握的知识如下：

大模型基础知识

你得知道市面上的大模型产品生态和产品线；还要了解Llama、Qwen等开源大模型与OpenAI等闭源模型的能力差异；以及了解开源模型的二次开发优势，以及闭源模型的商业化限制，等等。

了解这些技术的目的在于建立与算法工程师的共通语言，确保能够沟通项目需求，同时具备管理AI项目进展、合理分配项目资源、把握和控制项目成本的能力。

产品经理还需要有业务sense，这其实就又回到了产品人的看家本领上。我们知道先阶段AI的局限性还非常大，模型生成的内容不理想甚至错误的情况屡见不鲜。因此AI产品经理看技术，更多的是从技术边界、成本等角度出发，选择合适的技术方案来实现需求，甚至用业务来补足技术的短板。

AI Agent

现阶段，AI Agent的发展可谓是百花齐放，甚至有人说，Agent就是未来应用该有的样子，所以这个LLM的重要分支，必须要掌握。

Agent，中文名为“智能体”，由控制端（Brain）、感知端（Perception）和行动端（Action）组成，是一种能够在特定环境中自主行动、感知环境、做出决策并与其他Agent或人类进行交互的计算机程序或实体。简单来说就是给大模型这个大脑装上“记忆”、装上“手”和“脚”，让它自动完成工作。

Agent的核心特性

自主性： 能够独立做出决策，不依赖人类的直接控制。

适应性： 能够根据环境的变化调整其行为。

交互性： 能够与人类或其他系统进行有效沟通和交互。

对于大模型开发工程师来说，学习Agent更多的是理解它的设计理念和工作方式。零代码的大模型应用开发平台也有很多，比如dify、coze，拿来做一个小项目，你就会发现，其实并不难。

AI 应用项目开发流程

如果产品形态和开发模式都和过去不一样了，那还画啥原型？怎么排项目周期？这将深刻影响产品经理这个岗位本身的价值构成，所以每个AI产品经理都必须要了解它。

看着都是新词，其实接触起来，也不难。

从0到1的大模型系统学习籽料

最近很多程序员朋友都已经学习或者准备学习 AI 大模型，后台也经常会有小伙伴咨询学习路线和学习资料，我特别拜托北京清华大学学士和美国加州理工学院博士学位的鲁为民老师（吴文俊奖得主）
在这里插入图片描述

给大家准备了一份涵盖了AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频 全系列的学习资料，这些学习资料不仅深入浅出，而且非常实用，让大家系统而高效地掌握AI大模型的各个知识点。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

适学人群

应届毕业生‌： 无工作经验但想要系统学习AI大模型技术，期待通过实战项目掌握核心技术。

零基础转型‌： 非技术背景但关注AI应用场景，计划通过低代码工具实现“AI+行业”跨界‌。

业务赋能突破瓶颈： 传统开发者（Java/前端等）学习Transformer架构与LangChain框架，向AI全栈工程师转型‌。
在这里插入图片描述

AI大模型系统学习路线

在面对AI大模型开发领域的复杂与深入，精准学习显得尤为重要。一份系统的技术路线图，不仅能够帮助开发者清晰地了解从入门到精通所需掌握的知识点，还能提供一条高效、有序的学习路径。

基础篇，包括了大模型的基本情况，核心原理，带你认识了解大模型提示词，Transformer架构，预训练、SFT、RLHF等一些基础概念，用最易懂的方式带你入门AI大模型
进阶篇，你将掌握RAG，Langchain、Agent的核心原理和应用，学习如何微调大模型，让大模型更适合自己的行业需求，私有化部署大模型，让自己的数据更加安全
项目实战篇，会手把手一步步带着大家练习企业级落地项目，比如电商行业的智能客服、智能销售项目，教育行业的智慧校园、智能辅导项目等等