智能体，从 ReAct 到多智能体

Agent （代理）具有非常“广泛”的概念，在深度学习领域，Agent 指的是一个能够推理、规划和与其环境交互的人工智能实体（模型）。

Agent 的概念最初来源于哲学，是具有行动能力的实体。

在 Marvin Minsky 老爷子的 Society of Mind 理论中，定义 Agent 为一个自主、独立运行的计算或认知实体，它具备感知、决策和执行任务的能力。每个Agent 都有自己的目标、行为和策略，并能与其他 Agent 交互和协作。

想象一下未来，你的智能管家 Alfred 收到一个指令：帮我买一杯咖啡。Alfred 收到指令，然后规划出一系列行动：

1. 走到厨房
2. 使用咖啡机煮咖啡
3. 把煮好的咖啡端回来

接着，它必须执行这些动作。如果它发现厨房没有咖啡机，还可能会主动前往仓库寻找或者在购物网站上购买。最终，无论采取怎样的措施，它给你端来了一杯咖啡。

你的智能管家就是一个 Agent。

基于大语言模型的 Agent

在大语言模型兴起之前，Agent 有很多实现思路：

• 基于符号逻辑
• 基于 RL （强化学习）
• 基于迁移学习
• ...

随着大预言模型能力的提升，大家发现大语言模型有强大的学习、推理和规划能力，能够处理更加复杂、抽象的任务，似乎让大家看到了大语言模型在 AGI（通用人工智能）中的巨大潜力。

在基于大语言模型的 Agent 架构中，大语言模型通常作为 Agent 的大脑。把它想象成人类关键，它具有：

• 大脑 LLM 作为 Agent 的大脑，负责处理信息、做出决策和规划行动。

• 身体 Agent 的功能模块专门处理特定类型的信息或执行特定任务；还包括“身体的其他感知器官”，比如文本、语音、听觉等都依赖外部的能力或工具，通过它们来执行决策（动作）、提交执行反馈。

当前 Agent 的流行架构

在 LLM Powered Autonomous Agents 这篇内容中，将 Agent System 的设计更具体地拆分为三个构件：

Planning

规划（Planning）的任务主要是子目标拆解（Task Decomposition）、反思和优化（Reflection and Refinement）。

Task Decomposition 将任务拆解成更小、更容易管理的子目标，从而实现复杂任务的高效处理。

Reflection and Refinement 让 Agent 改进过去的决策和错误，从错误中学习来优化未来的步骤。

Memory

记忆模块（Memory）可被定义为上一步获取、存储随后被提取的过程。参考人的记忆模式，Agent 的记忆可分为：

• 感官记忆：多模态输入（文本、音频、视频）的嵌入表示。
• 短期记忆：上下文学习
• 长期记忆：外部向量存储结构，Agent 可随时快速召回

Tool Use

使用工具增强的大语言模型（Tool Augmented Language Model），使其能够使用外部工具。ChatGPT 的 Plugins 和 function calling 就是 LLM 增强工具使用能力的例子。

Agent 可以通过工具（Tools）来执行规划的动作，并进一步将工作反馈提交给大语言模型。

Anthropic 推出的 MCP 协议 提供了一套规范的接口定义，让外部工具能够方便地和大语言模型交互。

Agent 的基本实现原理

ReAct（Reason + Act）)是一种流行的通用 Agent 架构，它要求大语言模型以交错的方式进行推理和特定任务的行动，实现推理和行动的协同。

用一个简单的公式来表达：

agent ≈ model + tools, within a for-loop + environment

或者一个更形象的图形化表达：

当使用工具增强的大语言模型作为 Agent 大脑，它的流程如下：

（1）LLMs 接收用户指令 用户指令可以是直接文本输入，还可以是图片、音频、或者通过 @ 等方式引用的外部资料。这些内容会直接作为提示词输入到 LLM 中。

（2）LLMs 在内部进行推理和规划，生成要执行的具体步骤 LLM 推理用户指令，生成下一步具体的操作。根据具体指令，这一阶段可以是单纯的文本输出（类似问答）或者工具使用，更智能的 Agent，还会对用户进一步询问。

这一阶段，LLM 自行推理，自主规划下一步操作。

（3）使用工具完成要执行的具体步骤 对于 ChatGPT，LLMs 会通过 Function Calling API 返回下一步操作要使用到的工具，比如网页搜索、阅读文件等等。

此时 LLMs 会等待执行操作的返回结果。

（4）LLMs 重新规划 根据上一步的返回结果，LLMs 进行重新任务规划。如果 LLMs 认为任务可以结束，则终止这一循环过程。

这一过程通过伪代码，大致可以如下实现：

// 1. 让 LLMs 知道可使用的工具，可以使用 Function Callling 的 Tool Use 定义
const tools = [...];

// 2. 提交用户指令给 LLMs
let completion = await openai.chat.completions.create({
    model: 'gpt-4o-mini',
    store: true,
    tools: tools,
    messages: [
    { role: 'system', content: 'You are an agent called Alfred'},
    { role: 'user', content: 'Bring me a cup of coffee.'}],
});

// 3. LLMs 进行指令推理（内部进行），返回 Tool Use,
let feedBack: string = '';
completion.choices.map(content => {
	if (content.type === 'tool_use') {
		// 4. 执行操作，并获取反馈
		const feedBack = await findCoffeeMachine();
	}
})

// 5. 将反馈提交给 LLMs 进行后续推理规划
let completion = await openai.chat.completions.create({
    model: 'gpt-4o-mini',
    store: true,
    tools: tools,
    messages: [
    { role: 'system', content: 'You are an agent called Alfred'},
    { role: 'user', content: 'Bring me a cup of coffee.'}, 
    { role: 'assistant', content: 'I need xxxx'},
    { role: 'assistant', content: feedBack }
    ],
});

在基础的 ReAct 架构下，社区还有一些增强的架构：

Plan-And-Execute

这个方案核心主要引入了 Plan（ToDo List，规划列表），将整个任务划分成更小的任务。子任务可以循环调用多次工具来完成，这样可以避免每次工具调用都跟 LLMs 进行交互。

一旦子任务完成，任务反馈结果会提交给 LLMs 进行重新规划。

BabyAGI 就是这个架构的一个典型 Case。

任务依赖的增强架构

将复杂任务划分为多个子任务，多个子任务之间存在相互依赖关系是无法避免的。

ReWOO 架构通过串行工作流的方式减少工具与 LLMs 的交互，大致的逻辑是 LLMs 在分解依赖任务之后，通过一个单独的 Worker 节点串行处理任务（上一个任务的输出变成下一个任务的输入），最后把最终结果提交给 LLMs。

LLMCompiler 是通过是试图通过依赖图谱的方式，并行处理子任务，以提高 Agent 执行的速度。

Agent Case Studies

从开源的一些项目，我们一窥端倪 Agent 具体是怎么实现的。

Coding Agent - Cline

Cline 是一个非常典型的 ReAct 架构的 Coding Agent。它的大致实现流程如下图所示：

在编程任务启动时，Cline 会收集系统提示词、用户自定义规则、用户输入和环境信息作为上下文（Memory）提交给 LLMs。Cline 要求 LLMs 通过 <thinking> 进行推理规划，然后输出 Tool Use 指令。Cline 有两类工具，一类是内置工具，比如执行命令行指令、阅读代码文件、搜索文件等等，另一类则是通过 MCP 由用户自定义扩展。

工具执行的结果会作为上下文再次提交个 LLMs 进行下一步推理，如此往复，直至 LLMs 认为任务处理完毕。

在 Cline 的实现中，上下文作为 Agent 的短期记忆而存在。Plan 过程则是要求 LLMs 在支持任务前使用 CoT 进行推理。

RL 增强的 Agent

除了在应用层通过增强工具的能力来提升 Agent，LLMs 厂商（比如 ChatGPT/Cluade 3.7）试图通过强化学习（RL）和推理增强特定领域的 Agent。

比如，相比于通用 LLMs + 工具的 DeepResearch 实现，ChatGPT 的 DeepResearch 和 Operator 针对特定的数据集进行了进一步的训练。

尤其是通用 LLMs 在工具调用的失败率很高，为解决这一问题，RL 增强的 Agent 也会变成一个很行的方案。

多智能体

多智能体（Multi-Agent）主要是为复杂任务而设计的，如果将单个 Agent 比喻成一种角色，那么多智能体就是能力不同的多种角色。多智能体系统就是模拟分工合作的复杂现实环境，多个自主智能体共同参与规划、讨论和决策。多智能体可以提高系统的模块化能力、可扩展和鲁棒性。

MetaGPT 就是一个可参考的多智能体的设计，它模拟真实的软件开发过程，涉及的角色包括产品经理、架构师、项目经理、开发和测试。

Agent 和工作流

「Agency 是 Agent 的内在特质」

Agent 和 workflow（工作流）一定程度上都具有“代理”的特征，在 Cluade 中，这两者可统称为 Agentic System，但存在具体区分：

• Workflow - LLM 和工具通过预先定义的路径进行编排
• Agent - LLM 自主设计流程和使用工具的系统

一个典型的基于 Prompt Chaining 的工作流：

工作流通常基于自动化系统，LLM 作为 Play 中的一环参与到流程中。而 Agent 是一个将 LLM 作为大脑的自动系统，LLM 主动参与推理和规划。

当我们说 Agency 是 Agent 的内在特质，是说采取主动、做出决定以及控制其行为和环境的能力，积极主动而非被动。强大自主的 Agent 会设定目标并充满信心地追求目标，即使面对障碍也是如此。

我从这些文章中得到很多收获

• Anthropic，Building effective agents
• Lilian, LLM Powered Autonomous Agents
• The Rise and Potential of Large Language Model Based Agents: A Survey
• A Reading List For LLM-Agents