MMSkills是什么

MMSkills 是上海交通大学与小红书联合推出的面向通用视觉 Agent 的多模态技能框架，支持将可复用技能从纯文本步骤扩展为包含文本流程、运行时状态卡片和多视角关键帧的多模态程序性知识，通过 branch loading 机制在运行时高效调用视觉证据，在 OSWorld、macOSWorld、VAB-Minecraft 等 GUI 与游戏任务上为 Gemini、Qwen、Kimi、GLM 等多模型家族带来稳定提升。

MMSkills的主要功能

• 多模态技能包构建：整合文本流程、运行时状态卡片与多视角关键帧，形成可复用的视觉程序性知识单元。
• 自动化技能生成：基于公开非测试交互轨迹，通过任务聚类、技能规划、合并泛化与视觉审计五阶段，自动提炼多模态技能库。
• Branch Loading 分支加载：主 Agent 在运行时临时开启 skill branch，按需调用技能而非一次性注入完整上下文，避免视觉证据污染主决策流程。
• View Selection 视角筛选：根据当前截图、历史动作与状态卡片，从技能包中智能选择最相关的关键帧与视角进行对齐。
• 结构化决策指导：分支完成视觉对齐后，向主 Agent 返回包含 applicable、subgoal、plan、do_not_do 和 verify 的紧凑决策支持。
• 跨领域任务覆盖：同时支持 GUI 桌面自动化与视觉游戏任务，如 Minecraft、Super Mario Bros，实现多模态技能的跨场景迁移复用。

MMSkills的技术原理

• 多模态技能包定义：MMSkills 将传统文本技能扩展为包含 SKILL.md 文本流程、State_cards.json 运行时状态卡片和 Images 多视角关键帧的完整单元，使 Agent 能基于视觉状态判断何时使用技能、如何验证进度。
• 自动化技能生成：通过任务聚类、簇内技能规划、技能合并泛化、文本草案生成、视觉 grounding 与审计五阶段，从公开轨迹中自动抽取可复用的诊断性状态知识，而非简单保存原始演示。
• Branch Loading 运行时机制：主 Agent 判断技能可能有用时，临时打开 skill branch 执行 View Selection 选择关键状态视角，再由 Branch Planning 将视觉证据与当前环境对齐，返回压缩后的结构化决策支持。

微信关注回复 “开源”，加入AI开源项目交流群

如何使用MMSkills

• 获取技能库：访问 Hugging Face 数据集下载预生成的多模态技能包。
• 集成主 Agent：将 MMSkills 分支加载机制接入现有视觉 Agent 的推理流程。
• 触发技能调用：主 Agent 在运行时判断当前任务可能匹配某技能，发起 branch loading 请求。
• 接收结构化指导：临时分支完成视觉证据对齐后，返回 applicable、subgoal、plan 等决策支持。
• 执行并验证：主 Agent 依据返回指导执行动作，并通过状态卡片验证任务进度。

MMSkills的核心优势

• 状态感知决策：技能包包含运行时状态卡片，Agent 能判断当前界面是否满足技能前置条件。
• 视觉证据对齐：多视角关键帧帮助 Agent 将文本条件 grounding 到真实画面，避免误操作。
• 上下文高效管理：Branch Loading 避免完整技能包直接注入主上下文，防止参考图片污染当前决策。
• 小模型增益显著：外部多模态程序性知识在 Qwen3-VL-8B 等小模型上提升超一倍，补充其内部过程先验不足。
• 行为模式优化：显著减少无效点击和重复动作，使 Agent 从探索式试错转向状态感知执行。

MMSkills的项目地址

• 项目官网：https://zkangning.github.io/MMSkills_for_Visual_Agents/
• GitHub仓库：https://github.com/zkangning/MMSkills_for_Visual_Agents
• HuggingFace模型库：https://huggingface.co/datasets/zhangkangning/mmskills
• arXiv技术论文：https://arxiv.org/pdf/2605.13527

MMSkills的同类竞品对比

MMSkills的应用场景

• 桌面 GUI 自动化：在 Ubuntu / macOS 环境中完成跨应用复杂操作（如 LibreOffice 图表创建、文件权限修改）。
• 游戏 AI 智能体：在 Minecraft 生存模式中执行长程物品获取与合成规划，或在平台跳跃游戏中基于视觉状态决策。
• 企业 RPA 增强：为现有机器人流程自动化系统增加视觉状态感知能力，提升跨软件操作的稳定性。
• 视觉任务教学：将人工操作经验沉淀为可复用多模态技能库，用于培训或辅助其他 Agent 学习。