在 Vision-Language Model 领域，提升其复杂推理能力通常依赖于耗费巨大的人工标注数据或启发式奖励。这不仅成本高昂，且难以规模化。

最新研究 VisPlay 首次提出了一个自进化强化学习框架，使 VLM 能够仅通过海量的未标注图像数据进行自我演化和能力提升。

VisPlay 将基础 VLM 分解为「提问者」和「推理者」两大角色，通过迭代的自我进化机制协同进化，并结合 GRPO 算法和创新的多样性/难度奖励，平衡了问题的复杂度和答案的质量。


【资料图】

实验证明，VisPlay 在 Qwen2.5-VL 和 MiMo-VL 等主流模型上实现了持续的性能提升，尤其在视觉推理、组合泛化和幻觉减少方面效果显著，展示了一条可扩展、低成本的多模态智能进化新路径。

引言：

VLM 推理能力的「数据困境」

近年来，Vision-Language Model（VLM）在感知任务上取得了不小的进展，但在更复杂的视觉推理上仍然吃力。主流的提升方式如指令微调（SFT）或强化学习（RL）都绕不开一个核心难题：依赖高质量标注数据。尤其是强化学习，需要精准且可验证的奖励信号，而这些往往要靠耗时费力的人工标注或针对具体任务设计复杂的规则。

随着模型规模越来越大，人工标注的成本和速度已经逐渐跟不上模型演化的需求，这也成为进一步提升能力的主要瓶颈。在这样的背景下，研究者开始尝试「自进化」（Self-Evolving）的思路，让模型能通过自我生成、自我修正以及从自身经验中持续学习，从而实现自主的能力迭代。

VisPlay：

基于自我进化的自进化框架

为解决上述挑战，由来自伊利诺伊大学厄巴纳-香槟分校、华盛顿大学圣路易斯分校、马里兰大学、新加坡国立大学的研究团队提出的 VisPlay 框架，首次将自进化强化学习应用于 VLM，并实现仅依赖未标注图片进行自主学习。

VisPlay 的核心理念是自我进化（Self-Evolving）：它从一个基础预训练 VLM 出发，将其在训练过程中分解成两个相互作用的角色。

Image-Conditioned Questioner（提问者）

负责根据输入的图片生成具有挑战性、但又可被回答的视觉问题。具体来说，VisPlay 设计了一种精妙的奖励机制来指导自我进化的质量，分别是难度奖励（Difficulty Reward）和多样性奖励（Diversity Reward）。

前者鼓励提问者生成更复杂的、需要深层次推理才能解决的问题；后者确保生成的问题类型和涉及的知识点足够广泛，防止模型陷入狭窄的知识或推理路径，从而实现更强大的组合泛化能力。

通过这种奖励机制，VisPlay 有效解决了自进化模型中常见的「答案质量低」和「问题重复度高」的问题，真正实现了从量变到质变的能力飞跃。

Multimodal Reasoner（推理者）

负责基于图片和提问者的问题，生成「白银级响应」（Silver Responses，即伪标注答案）。这里我们采用回答的准确性作为训练信号。

实验结果：

全方位的能力突破

研究团队将 VisPlay 应用于包括 Qwen2.5-VL 和 MiMo-VL 在内的多个主流 VLM 模型家族，并在八个主流基准数据集上进行了广泛评估，涵盖：通用视觉理解（如 MM-Vet）、跨模态推理（如 MMMU）、视觉数学推理（如 MathVerse）以及幻觉检测（HallusionBench）。

关键发现：

持续稳定的性能提升：在所有测试模型和基准上，VisPlay 都实现了一致且显著的准确率增益，证明了该框架的泛化性和有效性。

强大的组合泛化能力：模型在训练中未见过的复杂推理组合上表现出更强的鲁棒性。

有效抑制「幻觉」：VisPlay 通过自我进化生成的高质量问答对，有效帮助模型识别和修正错误的视觉-语言关联，显著减少了模型产生「幻觉」现象的概率，这是一个困扰 VLM 的重大问题。

VisPlay 的成功证明了仅依赖海量非结构化图片来持续提升 VLM 推理能力的可行性，为未来开发更智能、更自主的多模态系统指明了方向。

推荐内容