字数 1266，阅读大约需 7 分钟
斯坦福研究团队推出SIRIUS：开启多智能体推理框架自我优化新时代
在人工智能飞速发展的当下，多智能体系统凭借在复杂任务处理方面的卓越能力，逐渐成为各领域关键技术力量。该系统由多个智能体协同合作，共同解决复杂推理、编程、药物发现以及安全保障等领域难题。研究表明，智能体间结构化互动能大幅提升解决问题效率，还可通过相互校正优化各自输出结果。尤其在严谨推理或事实验证任务中，多智能体协作表现优于单一智能体。
然而，优化多智能体系统并非易事，关键挑战之一是为每个智能体精准获取合适训练信号。任务级别的奖励反馈虽易获取，但在各智能体间合理分配信用却困难重重。因语言模型推理过程复杂且非结构化，将任务成败精准归因于每个智能体具体决策和推理步骤，难度堪比强化学习中的多智能体信用分配问题。
面对这一挑战，斯坦福大学研究团队推出SIRIUS框架[1]——一种具有自我改进能力的多智能体优化框架，为多智能体系统优化带来新思路与解决方案。
SIRIUS框架的核心机制：推理驱动的学习
SIRIUS框架核心是利用推理驱动的学习方式，通过保留成功推理轨迹构建经验库，为系统提供高质量训练集。这如同经验丰富的导师整理成功经验传授给后续学习者。同时，对于不成功的尝试，SIRIUS框架并非弃之不顾，而是针对性增强，丰富数据集。如此，成功经验与失败教训都成为SIRIUS优化的宝贵财富。
实际应用中，SIRIUS框架效果显著。研究结果显示，在推理和生物医学问答等关键任务中，SIRIUS表现相较于传统方法大幅提升，性能提升幅度在2.86%到21.88%之间。而且，在竞争环境中，智能体谈判能力显著改善。智能体通过学习成功互动经验，迭代改进合作策略，实现无需直接监督的自我优化。这种自我优化能力是SIRIUS框架亮点，使多智能体系统能在变化环境中持续进化，适应复杂任务需求。
迭代微调：SIRIUS的持续进化之道
除构建经验库，SIRIUS框架还包含精心设计的迭代微调过程。智能体在自然语言环境中互动，不仅要生成响应，还要评估其他智能体响应，针对低质量输出改进，并通过监督学习更新自身策略。这如同持续的头脑风暴，智能体在交流协作中碰撞智慧火花，推动系统持续进化。
通过持续响应优化，SIRIUS在基于语言的多智能体系统中显著提升推理和决策能力。随着时间推移，智能体间互动更有效连贯，系统性能全方位提升。这种迭代微调机制，使SIRIUS框架能适应新任务需求和环境变化，保持在多智能体系统领域的领先地位。
实验验证：SIRIUS的卓越性能
为全面验证SIRIUS框架性能，研究团队进行一系列严谨实验。实验中，SIRIUS与单智能体、STaR、CoMM和TextGrad等多种基线模型对比。结果显示，SIRIUS在问题解决、任务分解和智能体协作等关键方面展现优异性能。
通过消融研究，研究团队揭示SIRIUS框架性能提升关键因素。专门的智能体角色、多智能体优化以及经验增强，这三大要素相互协作，推动SIRIUS性能大幅提升。在演员-评论家和竞争环境中，SIRIUS同样表现出色，在PubMedQA和资源交换游戏等实际任务中，以显著优势超越其他方法。
多智能体系统在未来人工智能发展中潜力巨大，有望在更多领域实现突破。SIRIUS框架的出现，为该领域发展注入强大动力。它不仅为解决多智能体系统优化难题提供创新方案，更为未来多智能体系统发展奠定坚实基础。
论文链接：https://arxiv.org/pdf/2502.04780
