ToolNavs 发现实用AI工具
提交工具 登录
返回AI资讯
Sakana AI 发布 MASS:让模型自己组队、评卷,再把经验学回去

Sakana AI 发布 MASS:让模型自己组队、评卷,再把经验学回去

AI资讯 • Admin • • 3 次浏览

Sakana AI 在 2026 年 10 月 11 日公布了与加州大学伯克利分校研究者合作的 MASS 方法,给递归自我改进换了一条取材路线:不让单个智能体独自摸索,而是先让同一个模型组队干活,再把团队里跑出来的好经验蒸馏回模型权重。MASS 全称 Multi-Agent Self-Supervision,实验用的基础模型是 Qwen3.6-27B,运行在 qwen-code 编程智能体环境里。

为什么需要自己给自己当老师

前沿任务有个麻烦:活干得越难,能评判对错的人越少。代码还能靠测试验证,一份研究报告好不好,往往没有自动判分标准。MASS 的设定因此很极端——执行者、流程优化者和评判者是同一个模型,它既要交作业,也要改分组方式,还要给同伴的作业打分。作者要验证的是:在没有更强监督者的情况下,这种同体循环能不能真的越转越好。这与站内此前写的多智能体团队成本涨 5.1 倍、质量却几乎没动的实测正好构成对照:那项研究问的是运行时组队值不值,MASS 问的是团队经验能不能沉淀成模型自己的能力。

内外两层循环怎么转

MASS 的流程分两层。内层先优化分工:协调者把任务拆给子智能体,工作流写明每个角色的职责、交付契约和调用顺序;评判者比较不同工作流产出的成果,选出当前最好的一套,优化者再据此改下一版分工。外层负责学习:把最优工作流多跑几遍,挑出自评最高的执行轨迹,用 LoRA 微调共享模型。更新后的模型重新坐回三个位置,进入下一轮。训练任务来自一套合成研究套件,覆盖金融、机器人和制药三个领域,共 12 个任务,其中 3 个留作测试、不参与训练。

两轮之后的成绩单

  • 在留出的 3 个测试任务上,第二轮模型对基础模型的胜率达到 69.9%,第一轮是 53.9%。
  • 在 MLR-Bench、DSBench、ScienceAgentBench、AstaBench 四个公开基准上,第二轮模型每输出 token 的得分涨到基础模型的 1.2 到 1.6 倍。
  • 第一轮模型用 2880 万监督 token 达到 68.3% 的胜率;只用单智能体轨迹训练的对照组用了 4200 万 token,胜率是 64.0%。团队轨迹的信息密度更高,这是 MASS 最实的证据。
  • 评判者与外部评审(GPT-5.5 与 Claude Opus 4.8,全程不参与循环)的判断一致率,从 73% 升到 93%。

作者自己先泼的冷水

成绩单有明显的另一面:同样这个第二轮模型,在 Terminal-Bench 2.0 和 SWE-bench Verified 上每 token 得分只有基础模型的 0.96 倍和 0.94 倍,等于在软件工程任务上没有迁移过来。作者给出的解释是训练任务里缺编程工程类样本,但这也说明自我改进的涨幅高度依赖任务分布。更大的隐患写在论文结论里:当执行、优化、评判共用一双眼睛时,共同盲区可能被当成进步写进下一代模型,而且越转越难被发现。消融实验还显示,循环的瓶颈更常出在优化者而不是评判者——反馈再准,分工改不动也白搭。

MASS 还只跑了两轮,离“模型持续自我进化”的说法很远。但它至少把一个含糊的愿景变成了可复现的实验:团队协作的价值不只在运行时,也在训练时;同时把同体评判的风险摆到了台面上。后续值得追的是第三轮、第四轮之后涨幅是否还在,以及盲区问题有没有外部校验手段跟上。

推荐工具

更多