字数 847，阅读大约需 5 分钟
实验背景与目的
在AI技术不断演进的当下，AI代理[1]承担的任务愈发复杂多样。LangChain[2]进行此次实验，旨在探究当AI代理面对过多指令和工具时，其性能会在何种情况下出现下降。正如LangChain在博客中所提到的，核心问题聚焦于：“当一个ReAct代理被要求处理过多的指令和工具时，其性能会在何种情况下下降?”
实验方法与过程
选择代理框架
研究团队选择了ReAct代理框架，该框架被视作“最基础的代理架构之一”。
设定实验任务
在实验中，LangChain设定评估一名内部邮件助手在两项具体任务中的表现，即答复客户问题和安排会议。
选用语言模型及测试平台
研究人员运用了一系列预构建的ReAct代理，并借助LangGraph平台展开测试。实验选用的语言模型包括Anthropic的Claude3.5Sonnet、Meta的Llama – 3.3 – 70B以及OpenAI的GPT – 4o等。
实验步骤
实验分步骤进行，第一步着重测试邮件助手的客户支持能力，观察代理如何接收客户邮件并给予回复。紧接着，LangChain特别关注代理在日历安排上的表现，确保它能够准确记住特定指令。研究人员还设定了每个任务30项的压力测试，并将其细致地分为客户支持和日历安排两个领域。
实验结果与分析
实验结果表明，当给代理过多的任务时，它们常常不堪重负，甚至会忘记调用必要的工具。例如，在处理多达七个领域的任务时，GPT – 4o的表现大幅下降至2%。而Llama – 3.3 – 70B在任务测试中失误频频，连发送邮件的工具都未能调用。
LangChain进一步发现，随着提供上下文的增加，代理的指令执行能力显著下降。尽管Claude – 3.5 – sonnet和其他几种模型在多领域任务中表现相对较好，但当任务复杂性增加时，它们的性能也会逐步下滑。
根据《2024全球AI代理应用趋势报告》，在过去一年中，企业对AI代理的应用率增长了30%，但同时也有超过60%的企业反馈在使用过程中遇到了性能不稳定的问题。此次LangChain的研究结果与行业报告中的反馈相互印证，凸显了这一问题的普遍性和严重性。
行业影响
许多公司正在积极探索AI代理的大规模应用，希望借此提升业务效率和竞争力。然而，LangChain的研究提醒企业，在应用AI代理时，需要谨慎考虑任务分配和工具使用的合理性，避免因过度依赖而导致性能下降。
引用链接
[1] AI代理: https://en.wikipedia.org/wiki/AI_agent[2] LangChain: https://python.langchain.com/docs/
