关注gongzhonghao【CVPR顶会精选】

多模态技术指融合视觉、听觉、文本等异构信息以增强机器对复杂场景的理解与生成能力，其核心在于跨模态对齐与协同推理。作为CVPR的前沿热点，多模态模型通过扩散算法、动态梯度优化及统一学习框架显著提升跨模态任务的泛化性与可控性。

多模态的发展正深刻重塑影视制作、人机交互及具身智能等领域——例如动态神经辐射场实现电影级视频编辑，视听语义手势合成技术推动人形机器人自然交互，未来将加速通用人工智能的演进，实现跨场景自主感知-决策闭环。今天小图给大家精选3篇CVPR有多模态方向的论文，请注意查收！

论文一：Mirasol3B: A Multimodal Autoregressive Model for Time-Aligned and Contextual Modalities

方法：

文章首先将多模态建模分解为两个自回归组件，一个用于处理时间对齐的模态，另一个用于处理非时间对齐的上下文模态，并通过交叉注意力权重协调这两部分的学习。接着，通过将视频和音频序列划分为连续的片段，并在片段级别上自回归地处理它们的表示，进一步解决了长视频输入的挑战。最后，通过Combiner机制联合学习音频和视频特征，生成紧凑的表示，使得模型能够在保持较小参数量的同时处理大量视频帧。

创新点：

• 提出了一种新的多模态模型架构，将时间对齐的模态与非时间对齐的上下文模态分开处理，通过自回归方式分别建模，有效解决不同模态在时间同步性和信息量上的差异。

• 引入了Combiner机制，能够联合学习音频和视频信息，生成紧凑且富有表现力的表示，使得模型能够在不增加参数的有效处理长视频。

• 在多个多模态基准测试中达到了新的最高水平，证明了模型在处理复杂多模态任务时的优越性能。

论文链接：

https://arxiv.org/abs/2311.05698

图灵学术论文辅导

论文二：MultiPLY: A Multisensory Object-Centric Embodied Large Language Model in 3D World

方法：

文章首先将3D场景编码为抽象的以物体为中心的表示，并引入动作标记来表示具身代理在环境中的动作，以及状态标记来表示代理在每个时间步的多模态状态观察。在推理时，MultiPLY可以通过生成动作标记来指导代理在环境中采取行动，并将观察结果作为状态标记反馈给模型，以生成后续文本或动作标记。

创新点：

• 构建了Multisensory Universe，这是一个包含50万条数据的大规模多模态互动数据集，涵盖了多模态描述、问答、对话、操作、导航、工具使用和任务分解等多种任务。

• 提出了MultiPLY模型，能够编码以物体为中心的多模态表示，并引入动作标记和状态标记，用于对预训练的大语言模型进行端到端的指令调优。

• 在对象检索、工具使用、多模态描述和任务分解等任务中，MultiPLY的性能大幅优于基线模型。

论文链接：

https://arxiv.org/abs/2401.08577

图灵学术论文辅导

论文三：MAPLM: A Real-World Large-Scale Vision-Language Benchmark for Map and Traffic Scene Understanding

方法：

文章首先利用大规模的交通和地图数据构建了MAPLM数据集，并从中提取和标注了用于视觉问答的MAPLM-QA数据。接着，基于CLIP和LLaMA-2/Vicuna模型，通过指令跟随数据对基线模型进行微调。最后，采用两阶段预训练和微调策略，先对CLIP视觉编码器进行预训练，再对适配层和LLM进行微调，以提升模型对多模态交通场景的理解能力。

创新点：

• 提出了MAPLM数据集，包含数百万个复杂的驾驶场景及其对应的高精地图文本描述，以及MAPLM-QA基准，包含14K帧含有多问答对的视觉指令调优数据。

• 设计了一种新颖的多模态指令调优基线模型，用于处理高精地图信息提取的MAPLM-QA基准任务。

• 通过实验表明，该基线模型在交通场景和地图理解性能上优于现有最先进的方法。

论文链接：

https://doi.org/10.1109/CVPR52733.2024.02061

本文选自gongzhonghao【CVPR顶会精选】