加州大学伯克利分校研究团队提出了一种名为“持续进化 agent 团队”（EvolvingAgent Teams）的新方法，旨在解决GPU内核优化中常见的局部最优问题。在真实生产环境中，代码智能体（coding agent）需要在硬件指令、内存布局、并行策略和整体架构之间进行广泛探索。虽然初期能取得进展，但往往会逐渐转向更容易实现但性能上限较低的方案，从而陷入局部最优。
为了应对这一挑战，伯克利团队认为，与其增加智能体数量，不如通过一个中央监督器，根据当前瓶颈逐轮重组智能体团队。该监督器负责调整角色分工、协作方式和知识管理策略。
论文链接：https://arxiv.org/abs/2610.36848
整个Evolving Agent Teams框架分为两层：底层智能体团队负责编写、编译、测试和分析内核代码；上层监督器则观察优化进展，分析成功与失败的原因，并决定下一轮如何调整。
图｜Evolving agentTeams 框架
如果智能体团队在调试过程中遇到瓶颈，监督器可以引入Debugger；如果缺乏性能数据作为优化依据，则加入Profiling Scientist；如果早期发现未能传递给后续智能体团队，则加入Knowledge Integrator，负责整理实验记录和行动计划。同时，系统还维护了一个跨团队持久化文件系统，用于保存代码、角色记录、失败尝试、硬件观察和已验证策略。
MLA paged decode Kernel展示了这一机制如何帮助智能体团队突破局部最优。MLA是DeepSeek-V3采用的注意力结构，其优化难点包括较高的寄存器占用压力以及CUDA Core与Tensor Core的协同。实验初期，单个智能体多次尝试WGMMA路径均未成功，随后转向更容易调试的WMMA。虽然WMMA最终能够运行，但也限制了Tensor Core的利用率。
为避免智能体团队过早放弃，监督器加入了Disciplinarian，要求智能体团队保留WGMMA约束，且每次只做一项能够明确评估效果的修改。之后，任务被分配给并行运行的Debugger和主优化智能体：前者验证难以实现的矩阵乘法路径，后者则继续推进其他优化工作。
图｜使用Claude Opus 4.6对MLA decode Kernel进行长时间优化的过程
当监督器发现早期实验中的关键发现没有传递给后续智能体团队时，便会引入Knowledge Integrator，建立跨团队经验文档。这最终帮助智能体团队验证了P@V WGMMA路径。完成核心架构调整后，监督器还会要求重新进行Profiling，进一步优化性能。
在四项CUDA Kernel任务中，Evolving agent Teams均超过了强coding agent基线。这些任务覆盖NVIDIA B200和H100 GPU，包括FlashAttention-4、Gated Delta Net prefill、MLA decode，以及GEMM与AllReduce融合。
图｜四项Kernel任务的性能对比
在相同Token预算下，MLA decode任务中，Claude Code的性能约为生产环境FlashInfer Kernel的51%，Evolving Agent Teams则达到74%。相比之下，固定四角色团队为31%，Codex单agent为28%。这表明，性能差距不仅来自底层模型能力，也取决于agent团队能否随任务阶段变化而调整组织方式。
图｜MLA解码消融实验
在投入更多推理预算后，Evolving Agent Teams生成的MLA Kernel在FlashInfer-Bench的47个生产负载上，平均性能达到FlashInfer的1.21倍，其中36个负载超过生产环境FlashInfer Kernel，其余11个负载则处于FlashInfer的0.86到0.99倍之间这意味着，仍有部分负载存在差距。
随着运行时间延长，agent团队在Gated Delta Net prefill上取得4.06倍平均加速。在GEMM与AllReduce融合任务中，它们逐步推进异步加载、Warp Specialization和NVLink multicast，最终达到基准性能的1.56倍，略高于ThunderKittens报告的1.54倍。
图｜GDN和G+AR在额外预算下的演化轨迹
在Flash-KMeans实验中，agent团队将专家优化过的Triton Kernel改写为CUDA WGMMA Kernel，在计算受限配置下最高将延迟降低约1.5倍，在内存受限配置下则与Triton结果接近。这说明，该框架在已有专家优化实现的基础上，同样具有进一步探索和改进的能力。
在其他场景中，agent团队也取得了不错的结果：在AMD MI350X上将Kimi Delta Attention prefill的性能优化到vLLM生产HIP Kernel的3.01倍；在NVIDIA B200上，相比FlashKDA达到3.44倍；在Apple M4 Pro上，MoE专家卸载服务使Qwen3.8-Flash-Next在4-bit MLX环境下达到每秒30.3个Token；在RoboDojo机器人操作任务中，系统在留出种子上的得分为62.1，高于排行榜截至10月26日的最高分55.3。
图｜另外四种设置下的完整运行结果
不同于单纯增加推理预算，这些结果指向另一个方向：对于长程、开放式的代码优化任务，瓶颈不仅在于agent能否提出更好的修改，也在于当前agent团队是否拥有适合这一阶段的角色、协作协议和经验结构。Evolving Agent Teams试图调整搜索过程本身。
不过，这项研究仍有一些局限。四项主要实验各运行两次，其他场景大多只进行了一次实验，尚不足以支持充分的统计比较。团队表示，后续工作还应包括成本与性能之间的Pareto分析，以及更高噪声领域中的受控研究。因此，当前结果更适合被理解为长程agent优化任务的系统设计探索，而不是已经普遍验证的agent团队协作规律。
本文来自微信公众号 “学术头条”（ID：SciTouTiao），作者：学术头条，36氪经授权发布。
