本文是我对 Claude Code 源码架构的阅读笔记，重点剖析三个让我印象最深的核心设计：Tool Use Loop、Context Management 和 Multi-Agent Management。

引言

Claude Code 是 Anthropic 推出的 AI 编程助手 CLI 工具。与其他 AI 编程工具（如 Cursor、GitHub Copilot）不同，Claude Code 采用了一种"模型自主决策 + 无限工具调用循环"的架构范式。

1. Tool Use Loop：无限循环内的流式工具调用

1.1 整体流程

Claude Code 的核心是一个无限循环内的异步生成器。在 query.ts 的 queryLoop() 函数中，用一个 while(true) 包裹了所有逻辑。只有当模型不再输出 tool_use、达到预算上限、或被用户中断时才会退出。

整体流程可以简化为：

用户输入 → 预处理（context 裁剪/压缩）→ 调用模型 API（流式输出）→ {    如果模型输出文本（无 tool_use）：        → 执行 stop hooks → 返回最终结果，退出    如果模型输出 tool_use：        → 执行工具 → 收集 tool_result → 拼回对话 → 进入下一轮迭代}

每轮迭代之前，系统会做一轮 snip（裁剪过时消息）、microcompact（编辑缓存键）、collapse（折叠旧消息），以及必要时触发 auto compact（自动摘要压缩）。这些机制保证了即使在多轮工具调用后，context 也不会无限膨胀。

模型不只是回答问题，而是在一个受控的沙盒中不断思考、行动、观察反馈、再思考，直到完成任务。和 ReAct 论文里的思路有异曲同工之妙。

1.2 流式工具执行

Claude Code 的 StreamingToolExecutor 做到了在模型 streaming 输出期间就并行执行工具调用。

整体流程大致可以简化为：

模型开始 streaming →  content_block_start (思考文本)   → 实时显示给用户  content_block_start (tool_use_1) → 立即开始执行工具1  content_block_start (tool_use_2) → 立即开始执行工具2 ← 如果工具1和工具2都是只读的，二者并发  content_block_start (tool_use_3) → 排队等待（因为工具3是写操作）  message_stop

工具执行期间，已完成的结果会通过 yield 立即发送给 UI，用户可以看到工具一个接一个地产出结果，这带来了显著的延迟收益。如果模型要调用 3 个工具，每个平均耗时 2 秒，传统串行做法需要等 6 秒，而这套方案可以压缩到约 2 秒。

1.3 并发控制

工具调度的核心在 toolOrchestration.ts 的 partitionToolCalls()：

• 只读工具（如读文件、搜索代码）：标记为 isConcurrencySafe=true，可以并发执行，最大并发数由环境变量 CLAUDE_CODE_MAX_TOOL_USE_CONCURRENCY 控制（默认 10）
• 写入工具（如编辑文件、运行 Bash 命令）：标记为 isConcurrencySafe=false，必须串行执行
• 混合场景：工具被 partition 成连续的 batch，batch 内并发，batch 间串行

同时，Bash 支持错误级联取消。如果并行运行的多个 Bash 命令中有一个失败了，siblingAbortController.abort('sibling_error') 会取消所有其他正在运行的 Bash 子进程。这是因为 Bash 命令之间通常有隐式依赖（比如 mkdir 失败后，后面的 cp 就无意义了），但读文件和网络请求这类独立操作不受影响。

1.4 Tool Result 如何反馈回 Context

在 query loop 中，每一轮迭代结束时，有三种消息被拼回对话数组：

const next: State = {  messages: [    ...messagesForQuery,      // 当前已有的对话    ...assistantMessages,     // 模型本轮输出的 tool_use 块    ...toolResults,           // 工具执行结果 → 以 user 消息类型拼入  ],}

tool_result 以 user 消息类型拼入 dialogue，符合 Anthropic Messages API 的规范（tool_use 和 tool_result 必须交替出现）。这意味着下一轮 API 调用时，模型将工具执行的结果以 user 消息类型拼入context中。

1.5 QueryEngine：多轮对话的封装

QueryEngine（QueryEngine.ts）是对单次 query loop 的高层封装。每次 submitMessage() 触发一个完整的 tool use loop，内部可以产生多轮 tool call。它维护 mutableMessages 累积对话、管理 maxTurns/maxBudgetUsd 终止条件、处理 structured output 的重试逻辑，以及在 token 预算接近上限时自动注入 "继续"或"结束"的提示。

2. Context Management：多层分级上下文管理

2.1 六层 Context 管理机制

Claude Code 有六层 context 管理机制，按激进程度从低到高排列：

2.2 Auto Compact：自动摘要压缩

触发条件：当 token 用量超过 effectiveContextWindow - 13000（窗口快要爆了），且 auto compact 未被禁用时触发。同时有 circuit breaker 保护，使得连续失败 3 次后自动停止尝试，防止无限重试。

执行流程亮点：

1. 优先尝试 Session Memory Compaction
2. Fork Agent 生成摘要：启动一个 fork 子 agent 来做摘要，子 agent 共享主 agent 的 system prompt 和 tool pool，因此可以复用 API 的 prompt cache，节省成本
3. 如果 fork 失败，fallback 到 regular streaming
4. Post-compact 恢复：压缩完成后，恢复最近编辑过的文件（最多 5 个，限制 50K tokens）、恢复被调用的 skills、恢复 plan 文件、重新注入 tool 描述等

2.3 Snip 和 Context Collapse

Snip（snipCompact.ts）是最温和的清理方式：删除已完成的、不再需要 context 的工具调用，删除过时的进度消息，压缩重复的文件读取结果。它通过 feature('HISTORY_SNIP') 控制。

Context Collapse 介于 Snip 和 Auto Compact 之间，把大段对话折叠成一行摘要，在 UI 上仍然可以展开查看。如果 collapse 启用，auto compact 就不会触发。在遇到 413 错误时，已经 staged 的 collapse 也可以被 drain 掉来释放空间。

2.4 Token Budget 管理

feature('TOKEN_BUDGET')（query/tokenBudget.ts）追踪每次 API 调用的 input/output token。当接近预算时提示模型"你可以继续，也可以结束"。它还能检测边际效应递减，当模型在后续轮次中产出越来越少时，提前结束而不是继续消耗 token。

2.5 消息存储与恢复

Claude Code 的 transcript 存储也设计得很仔细：

• 每个 conversation turn 写入 ~/.claude/history.jsonl
• 支持 --resume 恢复历史会话
• Session 持久化 + compact_boundary 机制支持跨 compact 的对话恢复
• 每个 subagent 有独立的 sidechain transcript（通过 agentId 区分）

3. Multi-Agent Management：多代理协作体系

3.1 Agent 类型全景

TaskType:  - local_agent           → 本地 agent（AgentTool 调用）  - local_bash            → 本地 shell 命令  - remote_agent          → 远程 agent  - in_process_teammate   → 进程内 teammate（TeamCreateTool）  - local_workflow        → 本地 workflow  - monitor_mcp           → MCP 监控  - dream                 → 后台沉思

值得注意的设计点：

• in_process_teammate 和 local_agent 不同——teammate 在同一个进程内运行，通过 SendMessageTool 进行 agent 间通信，而 local_agent 通过 runForkedAgent 创建
• dream 类型暗示了后台异步思考的能力——agent 可以在后台持续工作，不阻塞主 agent
• remote_agent 为分布式部署预留了扩展空间

3.2 Agent 创建

Subagent 的创建由 createSubagentContext()（forkedAgent.ts）完成，它是 context 隔离的枢纽：

// Sync agent: 共享 setAppState、abortController// Async agent: 完全隔离的 contextconst agentToolUseContext = createSubagentContext(parentContext, {  options: agentOptions,  agentId,  messages: initialMessages,       // 独立的消息历史  readFileState: cloneOrFresh,     // 独立的文件缓存  abortController: agentAbortController,  shareSetAppState: !isAsync,      // async 不共享状态})

关键的设计决策：

• Sync agents 共享 parent 的 abort signal：用户按 Ctrl+C 会同时取消 parent 和 sync subagent
• Async agents 有独立的 abortController：可以后台运行，完成后再通知 parent
• 权限隔离：subagent 的 allowedTools 独立于 parent，通过 resolveAgentTools() 解析
• MCP 服务器隔离：subagent 可以有自己的 MCP 服务器配置

既保证了安全性和可控性（工具权限、MCP 连接独立），又保留了灵活性（sync/async 两种模式）。

3.3 Coordinator Mode

feature('COORDINATOR_MODE')（coordinator/coordinatorMode.ts）引入了一个非常有趣的概念：主 agent 不再直接操作文件，而是成为 “coordinator”，通过异步 workers 完成所有实际工作。

Worker 的调度模型如下：

Coordinator (主 agent)  ├─ AgentTool(worker) → task_id: "agent-x7q"  ├─ AgentTool(worker) → task_id: "agent-y3k"  │  ├─ worker "agent-x7q" 完成 → <task-notification> → coordinator 继续指挥它  │   SendMessage({ to: "agent-x7q", message: "fix the bug in ..." })  │  └─ worker "agent-y3k" 失败 → coordinator 重新生成一个新 worker      AgentTool({ prompt: "new approach ..." })

这样使得coordinator 的 context 不会被具体实现细节污染，可以保持全局视角；同时 workers 可以并行工作，互不干扰。当一个 worker 失败时，coordinator 可以基于它学到的信息重新生成一个新的 worker，而不是从头再来。

这其实就是软件工程里"任务分解 + 委派"的模式应用到了 LLM agent 上。

3.4 Fork Subagent

Fork subagent（forkSubagent.ts）是一个精巧的 cache 优化设计。它的核心思路是，当你 fork 一个子 agent 时，子 agent 的 context 与父 agent 几乎相同，因此 prompt cache 可以完全命中。

具体做法是：

• 所有 tool_result 使用相同的 placeholder 文本
• 只有最后的 DIRECTIVE（任务指令）不同
• 子 agent 继承 parent 的完整 context（system prompt + conversation + tool pool）

Parent: ... conversation ... assistant(all_tool_uses)Child:  ... conversation ... assistant(all_tool_uses) → user(placeholder_results..., DIRECTIVE)                                                        ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^                                           所有 fork 子 agent 的这一段都相同 → cache hit                                           只有最后的 DIRECTIVE 不同

这个设计把 cache hit rate 推到了极致。在大量使用 subagent 的场景下（比如 Coordinator Mode），这个优化省下的 token 成本是非常可观的。

额外还有递归 fork 保护——通过检测 <fork-boilerplate> tag 判断是否已经在 fork 中，避免无限嵌套。

3.5 Team Agent

TeamCreateTool / TeamDeleteTool（feature('AGENT_SWARMS')）实现了进程内 teammate 的创建和销毁。与 fork subagent 不同，teammate 在同一个进程中运行，但有自己的独立 context。通过 SendMessageTool 进行 agent 间通信，通过 UDS（Unix Domain Socket）进行跨进程状态同步。

3.6 Agent 生命周期管理

每个 subagent 都经过了严格的生命周期管理：

创建:  runAgent()  → initializeAgentMcpServers()    // 连接 agent 专属 MCP  → executeSubagentStartHooks()    // 执行启动钩子  → registerFrontmatterHooks()     // 注册 agent 的钩子  → skill preloading               // 预加载 skills  → query() loop                   // 进入核心循环结束 (finally 块):  → cleanup MCP servers  → clear session hooks  → cleanup prompt cache tracking  → clear read file state cache  → kill background bash tasks  → kill monitor MCP tasks  → release todo entry  → unregister from Perfetto tracing

4. 全局数据流：把一切串起来

用户输入  ↓processUserInput()        ← 解析 slash commands、注入 skills、处理 attachments  ↓QueryEngine.submitMessage()  ↓queryLoop()               ← 核心 while(true) 循环  ├─ snip                 ← 清理过时消息  ├─ microcompact         ← 编辑 API cache key  ├─ collapse             ← 折叠旧消息  ├─ autocompact          ← token 超阈值时压缩  ├─ callModel (stream)   ← 调用 LLM API  │   ├─ StreamingToolExecutor ← streaming 期间并行执行工具  │   │   ├─ 并发执行只读工具  │   │   ├─ 串行执行写入工具  │   │   └─ Bash 错误级联取消  │   └─ yield tool_result (以 user 消息类型)  ├─ tool execution       ← 非 streaming 路径下的工具执行  ├─ attachments          ← 文件变化 / memory / skill / queue  ├─ stop hooks           ← post-response 钩子  └─ messages = [...messages + assistant + toolResults]      ↓ (循环到下一轮迭代)  Terminal (完成 / 达到限制 / 被中断)

5. 一点感受

从 fork subagent 的 placeholder 到 compact 的 runForkedAgent，cache 友好的思想渗透进了架构的每个细节。这种设计思维值得在任何需要长 conversation 的 LLM 应用中借鉴。

如果你也在做 AI agent 相关的工程，希望这篇笔记能给你一些启发。

本周聚焦 credit assignment——Pignatelli survey、SHARP、LangMARL 对比；
把上周周报被追问的几个点补清楚（GRPO vs PPO / CAD-GRPO 岭回归 / RLHF reward model）；
顺手把 policy gradient 方法的演进时间线梳了一遍。

本周清单

1. 阅读信用分解的 survey
2. 上周周报内容的 Q&A
3. 一些概念的理解
4. to-do

1. 阅读 survey

让 claude code 推荐了几篇围绕 credit assignment / credit decomposition 的论文进行精读。因为最近申报书定的方向就是 CAD-GRPO，所以这周读的论文基本都是围绕"多智能体场景下如何把 team reward 拆回给每个 agent"这个问题展开的。

主要挑了三篇：一篇是之前 3.15-3.21 读过的 Pignatelli 的 survey，一篇是 SHARP（用 Shapley 值做 marginal credit，是 CAD-GRPO 关键竞品之一），还有一篇是上周已经精读过的 LangMARL（这里主要是把它和 SHARP 放在一起做一个对比）。

1.1 Pignatelli et al., A Survey of Temporal Credit Assignment in Deep Reinforcement Learning (TMLR 2024)

专门讲 credit assignment 的数学本质的 survey。temporal CA 在 single-agent 里面的三个挑战：

• Depth（延迟效应，reward 离 action 越远越难归因）
• Density（稀疏奖励，trajectory 里几乎没有中间信号）
• Breadth（credit 稀释，joint action space 里每个 action 的贡献都被"平均"掉了）

还把 credit assignment 形式化成了一个赋值函数：

$$K: \mathcal{C} \times \mathcal{A} \times \mathcal{G} \to \mathcal{Y}$$

其中 $\mathcal{C}$ 是 context，$\mathcal{A}$ 是 action，$\mathcal{G}$ 是 goal/outcome，$\mathcal{Y}$ 是分配给该 (context, action) 的 credit 值。

对我现在做 CAD-GRPO 的启发：

• Breadth challenge 就是 MARL 场景下 credit contamination 的另一个说法。
• CAD-GRPO 用观察性因果推断去解决 breadth 这个问题，从 survey 的分类来看确实是一个没被系统讨论过的新路径。

1.2 SHARP: Who Deserves the Reward? Shapley Credit-based Optimization for Multi-Agent System

这篇是 CAD-GRPO 申报书里直接对标的 baseline，所以这次精读主要是想搞清楚它到底怎么做的信用分解的，以及开销到底有多大。

核心 idea： 把 Shapley 值从合作博弈搬到 multi-agent LLM RL 里，用反事实 mask来近似每个 agent 的 marginal contribution。具体来说，给定一条轨迹 $\tau_i$ 和 worker agent $m$：

$$\text{credit}_{i,m} \triangleq R_{\text{acc}}(\tau_i) - R_{\text{acc}}(\tau_i^{\setminus m})$$

其中 $\tau_i^{\setminus m}$ 是把 agent $m$"mask 掉"之后重新跑出来的 trajectory。对 planner agent，它用所有正向贡献的 worker credit 取平均作为 planner 的 credit：

$$R_{i,0}^{\text{mc}} \triangleq \lambda \cdot \frac{1}{|\mathcal{M}_i|} \sum_{m \in \mathcal{M}_i} \max(\text{credit}_{i,m}, 0)$$

最后把这个 marginal credit 和 broadcast accuracy reward、tool process reward 加权合成一个 tripartite reward（也是 SHARP 名字里的那个 “tripartite”）来做 GRPO 的 policy update。

启发：

SHARP 本质上是一个介入性方法，必须显式地生成反事实轨迹 $\tau_i^{\setminus m}$ 来估计 credit。论文里的 cost analysis（附录 D）显示，当完全开启 Shapley 分配（$p=1$）时，per-batch 训练时间从 684s 涨到 1345s，几乎翻了一倍。这个开销和我们申报书里写的 “~2x” 是吻合的。

但 SHARP 的优势在于，它的 credit 估计是基于反事实 mask 的无偏估计，只要 counterfactual trajectory 本身可靠，理论上没有 observation-based 方法（区别于 interventional）的"质量指标 $q_i$ 充分性"的假设依赖。

CAD-GRPO 其实可以把 SHARP 的 Shapley 估计当成一个 oracle 上界——在合成环境里，如果 CAD-GRPO 的 $\hat{\beta}_i$ 在零开销下能逼近 SHARP 的 Shapley $\phi_i$ 到一定水平，就是一个比较有说服力的结果。

同时 SHARP 的 reward decomposition 是加性的（$\bar{R}_{i,m} = \alpha R^b + \beta R^{mc} + \gamma R^{tool}$），这一假设和 CAD-GRPO 的线性可加性 assumption 是同一个 family 的。也就是说如果 SHARP 能 work，那 CAD-GRPO 在这种场景下大概率同样 work。

1.3 LangMARL 补充

上周精读 LangMARL 的时候主要写了 framework overview，这次关注和 SHARP 的对比。SHARP 用的是数值空间里的 Shapley 反事实，LangMARL 用的是语言空间里的 critic LLM 做因果归因，二者其实都是介入性方法的变体。

所以它们的共同问题就是开销大且依赖一个额外的机制（反事实采样 or critic LLM）。CAD-GRPO 的优势位置就是不生成反事实、不调额外的 LLM，纯用 batch data 里的自然变异做统计分解。但是目前还处于空想阶段，肯定不可能是一个普通的 linear regression 就能解决的问题。

2. 上周的 Q&A

2.1 关于 GRPO vs PPO，以及 CAD-GRPO 的岭回归

Q: GRPO 里面的 adv 和 PPO 里面的 value 有什么区别？为什么能够通过 group 的方式去掉了 PPO 里面的 critic network，还能达到其效果？GRPO 的 adv 是如何分配的，或者说它的 credit 是如何分配的？为什么 group 后 agent 较难感知自己的贡献？CAD-GRPO 里面的岭回归的目标是啥，为什么能让 agent 知道自己的贡献？MAS 下是需要在 single-agent credit 之外多一步 per-agent credit 吗？那岭回归为什么能跨越两次回传到 agent 本身进行更新呢？

A:

（1）PPO 的 value vs GRPO 的 advantage

PPO 的 value 是从状态 $s$ 出发、按当前 policy 走下去能拿到多少期望回报。PPO 的 advantage 是把这个绝对 value 作为 baseline 来算的：

$$A^{\text{PPO}}(s_t, a_t) = Q(s_t, a_t) - V(s_t)$$

本质上 $V(s_t)$ 是由一个 critic network 学出来的。

GRPO 的 advantage 是：给定一个 prompt $q$，采样 $K$ 个 rollout $\{\tau_1, \ldots, \tau_K\}$，得到 $K$ 个 reward $\{r_1, \ldots, r_K\}$，然后做组内归一化：

$$A^{\text{GRPO}}(\tau_i) = \frac{r_i - \mu_G}{\sigma_G}, \quad \mu_G = \frac{1}{K}\sum_k r_k, \ \sigma_G = \text{std}(\{r_k\})$$

这里的 baseline 就是这个 prompt 下其他 $K-1$ 个 rollout 的平均奖励。

（2）为什么 group 能去掉 critic 还 work？

我的理解是：PPO 中的 critic 本来就是在估一个 baseline 来降低 policy gradient 的方差。GRPO 相当于用更多的 rollout（每个 prompt $K$ 条而不是 1 条）换掉了 critic 那部分计算。因为它的方差随 $K$ 增大而减小，只要 $K$ 够大（DeepSeek R1 用的是 $K=16$ 或者更大），variance 是可接受的。

本质是 Monte Carlo vs TD bootstrapping 的 tradeoff。在 LLM RL 场景下，rollout 相对便宜、critic 训练相对麻烦（long horizon、sparse reward），所以 MC 的性价比更高。

（3）GRPO 的 credit 怎么分配？

在 single-agent GRPO 里，credit 分配主要是轨迹粒度和 token 粒度：

• Trajectory level： 一条轨迹 $\tau_i$ 内所有 token 都共享同一个 advantage $A(\tau_i)$
• Token level： policy gradient 的时候是 $\nabla \log \pi(a_t | s_t) \cdot A(\tau_i)$，对每个 token $a_t$ 用的都是同一个 $A(\tau_i)$

（4）为什么 group 后 multi-agent 下单个 agent 难感知自己的贡献？

多智能体场景下，一条轨迹是 $N$ 个 agent 联合生成的：

$$\tau = (\tau^{(1)}, \tau^{(2)}, \ldots, \tau^{(N)})$$

team reward $R(\tau)$ 同时取决于所有 $N$ 个 agent。如果直接套 standard GRPO：

$$A(\tau_i) = \frac{R(\tau_i) - \mu_G}{\sigma_G}$$

然后把这个 $A(\tau_i)$ 同时赋给 agent 1 到 agent N 的所有 token，就会出现"agent 1 明明输出很好，但队友 agent 2 出了 bug 把 task 搞砸了，结果 agent 1 也收到负的 advantage 信号"——体现为 agent 1 的处理效果被 agent 2 的行动混淆了。

（5）CAD-GRPO 的岭回归目标是啥？

假设在一个 batch 内部，团队奖励可以近似线性分解为各 agent 质量指标的加权和：

$$R(\tau) \approx \mu + \alpha_b + \sum_{i=1}^N \beta_i \cdot q_i(\tau) + \epsilon$$

其中：

• $\mu$ 是常数项
• $\alpha_b$ 是 prompt $b$ 的固定效应（控制不同问题难度带来的 baseline 差异）
• $q_i(\tau)$ 是 agent $i$ 的可验证质量指标（比如编译成功率、单元测试通过率、格式合规性等）
• $\beta_i$ 是我们要估计的 agent $i$ 对团队奖励的边际贡献系数
• $\epsilon$ 是残差

岭回归的目的就是用批次内样本去拟合这个线性模型，得到 $\hat{\beta}$。然后每个 agent 的去混淆优势定义为：

$$\hat{A}_i(\tau) = \hat{\beta}_i \cdot (q_i(\tau) - \bar{q}_i) - \text{baseline}_i$$

$\hat{\beta}_i$ 捕获的是"当 agent $i$ 的质量 $q_i$ 变化一个单位时，团队奖励平均变化多少"。这个信号扣除了其他 agent 贡献带来的污染，因为回归里已经把 $q_j \ (j \neq i)$ 作为控制变量放进去了。

（6）“MAS 下是需要在 single-agent credit 之外多一步 per-agent credit 吗？岭回归怎么跨越两次回传？”

这是这个问题里最关键的一层，我想了好一会。我觉得其实有两个 credit assignment 是正交的问题：

我认为 CAD-GRPO 解决的只是 agent-level 的 credit，而没有讨论 action-level 或者说 token-level 的 credit。只是给每个 agent 单独估一个去混淆后的 advantage $\hat{A}_i$，然后这个 $\hat{A}_i$ 在 policy update 的时候只作用于 agent $i$ 自己的 token 序列：

$$\nabla_{\theta_i} J = \mathbb{E}\left[\sum_{t} \nabla_{\theta_i} \log \pi_i(a_t^{(i)} | s_t) \cdot \hat{A}_i(\tau)\right]$$

因为每个 agent 有自己的 policy $\pi_i$（或者猜测可以共享参数但用 role-specific prompt），它只对自己那一段 token $\{a_t^{(i)}\}$ 的概率做微分。所以 $\hat{A}_i$ 只会通过 $\nabla_{\theta_i} \log \pi_i(\cdot)$ 这一条路径更新到 agent $i$ 的参数上，不会跨 agent 进行回传。policy update 就是标准的 per-agent policy gradient，每个 agent 只看自己的 $\hat{A}_i$ 和自己的 $\log \pi_i$。

（这里我也不完全确定"每个 agent 有独立 policy 还是 share parameters"这个细节在不同工作里的处理方式，SHARP 和 MHGPO 都是 shared policy + role prompt，下周可以再系统看一下。）

2.2 关于 RLHF 里的 reward model 表述

Q: RLHF 里面的 reward model 应该是通过构造的人类偏好数据集来学习对应的偏好，"先训一个 reward model 来捕获人类偏好"这个好像有点反了。这里可以思考 RL 里面的 value 和 reward 的区别，从而就知道为什么会有 reward hacking 了。

A: 上周周报里确实写得不够精确。当时写的是：

“RLHF 则高度依赖于迭代式、可扩展的人类评估和偏好数据，先训一个 reward model 来捕获人类偏好，然后用 PPO/GRPO 这类策略优化方法去最大化这个 reward”

严格来说应该是这样：

1. 先构造人类偏好数据集 $\mathcal{D} = \{(x, y^+, y^-)\}$，其中 $y^+$ 是人类偏好的 response，$y^-$ 是较差的 response
2. 再用这个数据集训一个 reward model $r_\phi(x, y)$，通常用 Bradley-Terry 损失：$-\log \sigma(r_\phi(x, y^+) - r_\phi(x, y^-))$
3. 最后用训好的 $r_\phi$ 当成 RL 的 reward signal，跑 PPO/GRPO 最大化 $\mathbb{E}_\pi[r_\phi(x, y)]$

然后就是 value 和 reward 的本质区别。reward $r_t$ 是环境在单步给出的即时信号，是外部定义的一个静态标量。value $V(s)$ 或 $Q(s, a)$ 是从状态 $s$ 出发按某个 policy 走下去能拿到的期望，是 policy-dependent 的：

$$V^\pi(s) = \mathbb{E}_\pi\left[\sum_{t=0}^{\infty} \gamma^t r_t \mid s_0 = s\right]$$

reward 是目标的局部信号，value 是 policy 真正在优化的东西。

为什么会 reward hacking？

$r_\phi$ 只是人类偏好的近似：

$$r_\phi(x, y) \approx r_{\text{human}}(x, y) \text{ on training distribution}$$

这个近似只在训练分布内成立。一旦 policy 的优化驱动输出分布偏离训练分布过多，$r_\phi$ 的预测就可能完全失准：

• Policy 在优化 $\mathbb{E}[r_\phi]$，不是 $\mathbb{E}[r_{\text{human}}]$
• 当 policy 找到 $r_\phi$ 的某个"漏洞"（比如某类词汇特别讨 reward model 喜欢、或者某种格式会被 reward model 误判为高质量），$r_\phi$ 的分数会飙高
• 但实际上人类看了这些 response 可能觉得"啊这是什么玩意儿"——reward 上去了，用户满意度反而下降

这就是 Goodhart’s law 在 RL 里的体现：

When a measure becomes a target, it ceases to be a good measure.

这个问题在 multi-agent 场景下会更复杂——agent 级别的 reward hacking、tool-use 级别的 reward hacking、最终 response 级别的 reward hacking……所以 CAD-GRPO 强调了质量指标 $q_i$ 的充分性。如果 $q_i$ 本身是一个非常容易被 hack 的 proxy，那整个系统就会退化。

3. 概念理解（部分 AI 辅助整理）

3.1 Policy Gradient 方法整理

按时间线梳理了一下 policy gradient 系列的演进。

（1）REINFORCE（1992, Williams）

最朴素的 policy gradient，直接用 Monte Carlo return $G_t = \sum_{k=t}^T \gamma^{k-t} r_k$ 当信号：

$$\nabla_\theta J(\pi_\theta) = \mathbb{E}_{\tau \sim \pi_\theta}\left[\sum_t \nabla_\theta \log \pi_\theta(a_t | s_t) \cdot G_t\right]$$

问题： $G_t$ 方差巨大，基本没法直接用。

（2）Actor-Critic（1999, Konda & Tsitsiklis）

引入一个 critic $V_\phi(s)$ 作为 baseline 来降方差，policy gradient 变成：

$$\nabla_\theta J = \mathbb{E}\left[\sum_t \nabla_\theta \log \pi_\theta(a_t | s_t) \cdot (G_t - V_\phi(s_t))\right]$$

（3）A2C / A3C（2016, Mnih et al.）

把 baseline 这件事做得更彻底——用 advantage $A(s_t, a_t) = Q(s_t, a_t) - V(s_t)$ 替代 raw return 减 baseline。A3C 同时跑多个异步 worker 加速训练，A2C 是 A3C 的同步版本。

（4）TRPO（2015, Schulman et al.）

提出了一个重要的观察——policy 每次更新不能走得太远，否则容易 collapse。TRPO 通过显式的 trust region 约束（KL 散度上界）来限制每步更新的幅度：

$$\max_\theta \mathbb{E}\left[\frac{\pi_\theta(a|s)}{\pi_{\theta_{\text{old}}}(a|s)} A(s, a)\right] \quad \text{s.t.} \ \ D_{\text{KL}}(\pi_{\theta_{\text{old}}} \| \pi_\theta) \leq \delta$$

问题： 要解一个 constrained optimization，实现上很麻烦（要算 Fisher 信息矩阵、conjugate gradient 等）。

（5）PPO（2017, Schulman et al.）

用一个 clipped ratio 代替 TRPO 的 KL 约束，工程上友好很多：

$$L^{\text{CLIP}}(\theta) = \mathbb{E}\left[\min\left(r_t(\theta) A_t, \ \text{clip}(r_t(\theta), 1-\epsilon, 1+\epsilon) A_t\right)\right]$$

其中 $r_t(\theta) = \pi_\theta / \pi_{\text{old}}$ 是 importance ratio。clip 操作把 ratio 强行锁在 $[1-\epsilon, 1+\epsilon]$ 区间内，防止策略走太远。PPO 因为简单、稳定、好调，变成了当前（包括 LLM RL）事实上的默认算法。

（6）GRPO（2024, DeepSeek）

GRPO 的 motivation 是针对 LLM RL 这个场景的痛点：critic 很难训（long-horizon、sparse reward）。于是它直接去掉 critic，改用 group 内相对排名做 baseline：

$$A^{\text{GRPO}}(\tau_i) = \frac{r_i - \mu_G}{\sigma_G}$$

剩下的 clip objective 和 PPO 完全一样。GRPO 在 DeepSeek-R1 的训练里被证明非常 work，之后变成了 reasoning-focused LLM RL 的默认选项。

（7）MAPPO / COMA / QMIX（多智能体 variants）

这几个是 multi-agent 场景下的延伸，主要针对 cooperative Dec-POMDP：

• MAPPO (2022, Yu et al.)： 就是把 PPO 搬到 multi-agent 上，用 centralized value function + decentralized policy（CTDE 范式）。surprisingly effective——很多 cooperative MARL benchmark 上 MAPPO 都能打平甚至超过专门设计的 MARL 算法。
• COMA (2018, Foerster et al.)： 用counterfactual baseline做 credit assignment，对每个 agent 估"如果我换一个 action，team reward 会怎么变"。这个思想就是 SHARP、CCPO 的祖师爷。
• QMIX / VDN (2017, 2018)： value decomposition 派的代表——把 joint Q-function 分解成各 agent Q-function 的某种组合（VDN 是求和，QMIX 是一个单调混合网络）。

从 critic → baseline → trust region → clip → group relative，其实都是在做方差缩减和策略更新的稳定。

3.2 GAE（Generalized Advantage Estimation）

PPO 的标配 advantage 估计方法，Schulman 他们 2015 年的工作。

背景： advantage 可以用 $n$-step return 估计：

$$\hat{A}_t^{(n)} = r_t + \gamma r_{t+1} + \cdots + \gamma^{n-1} r_{t+n-1} + \gamma^n V(s_{t+n}) - V(s_t)$$

• $n$ 很小（比如 $n=1$，TD(0)）：低方差，高偏差（bias 由 critic $V$ 的质量决定）
• $n$ 很大（$n \to \infty$，MC）：高方差，低偏差

GAE 的想法是对所有 $n$-step advantage 做一个指数加权平均：

$$\hat{A}_t^{\text{GAE}(\gamma, \lambda)} = \sum_{l=0}^{\infty} (\gamma\lambda)^l \delta_{t+l}$$

其中 $\delta_t = r_t + \gamma V(s_{t+1}) - V(s_t)$ 是 one-step TD error。参数 $\lambda \in [0, 1]$ 控制 bias-variance tradeoff：

• $\lambda = 0$：纯 TD，$\hat{A}_t = \delta_t$，低方差高偏差
• $\lambda = 1$：纯 MC，$\hat{A}_t = \sum_l \gamma^l r_{t+l} - V(s_t)$，高方差低偏差
• 实际中 PPO 一般用 $\lambda = 0.95$ 左右，两边折中

GRPO 没有 critic，所以 GRPO 也不涉及 GAE。但 GRPO 在 long-horizon 场景下 pure MC 方差会炸，会表现得不如 PPO，原因就是少了 GAE 的 $\lambda < 1$ 平滑。

4. To-do

（1）复现 Claude Code 的 harness

一直想开工的一件事，估计一周肯定学不明白，可能要花的时间长一点，主要想学习 cc 的 tool-use loop、context management 和 multi-agent manage。

（2）继续读 credit assignment 相关论文

本周 survey 还没读完，初步决定下周读的东西：

• CCPO (arXiv:2603.21563)：申报书里第二个主要 baseline，要和 SHARP 一起横向对比
• C3 (arXiv:2603.06859)：contextual counterfactual credit，和 CCPO 思路相近但做 step-level
• Dr.MAS (arXiv:2602.08847)：zero-cost 但只做 normalization 不做分解，是 CAD-GRPO 要超越的 “baseline 下界”
• MHGPO (arXiv:2506.02718)：异构 agent 的 GRPO 分组策略（上周已经读过一遍，再过一遍做笔记）

本周三件事：基础概念补齐 · LLM-MAS 论文精读 · 申报书撰写。
方向逐渐聚焦到 credit assignment。

本周计划

1. 补齐基础概念
2. 继续阅读 LLM-MAS 论文
3. 申报书撰写

一、基础概念

先是回头补了一些之前没有完全掌握的基础知识——在读多智能体 RL 的论文时，经常看到某些重复的概念但是一直没有理清它们之间的关系，遂系统过了一遍。

隐马尔可夫过程（HMM）：本质上就是系统的真实状态不可观测，只能通过观测去推断。这个思路其实和之前 PSR 框架里 ProbeCommitEnv 的设计一脉相承——其中的 partner type 就是隐状态，ego agent 只能通过观测（混合了 u 和 nuisance 的信号）间接推断它。

GRPO 和 PPO 算法：这两个是目前 LLM RL 训练的核心算法，之前没做过系统对比。PPO 是经典的 Actor-Critic 架构，核心是用 clip 机制约束策略更新幅度，避免一步走太远导致训练崩溃，但需要额外训练一个 value network（critic）来估计 baseline。GRPO 是 DeepSeek 在训练 R1 时提出的，直接去掉了 critic 网络，改用同一个 prompt 下 K 个 rollout 的组内相对排名来估计 advantage。GRPO 的 advantage 是 group-level 的，在多智能体场景下，单个 agent 不知道自己到底贡献了多少，因此需要研究信用分配问题。这也是我们申报书中 CAD-GRPO 要解决的 credit contamination 问题的根源。

MARFT（Multi-Agent Reinforcement Fine-Tuning）：多智能体场景下对 LLM 进行 RL 微调的基本范式。MARFT 提出了 Flex-MG formalism 来处理异步 LLM agent 的问题。标准的 MARL 假设所有 agent 同步决策，但在 LLM MAS 中，agent 有时候是按 turn 顺序交互的，因此把传统的 MARL 放到 LLM 场景下需要处理很多的 assumption mismatch。

SFT vs RLHF：之前一直搞混这两个概念，因为都是通过人的反馈来对机器进行优化微调。现在搞懂了——SFT 依赖固定标注数据集，RLHF 使用人类反馈来训练奖励模型。数据集的质量、代表性和结构直接影响模型的准确性、泛化能力和鲁棒性，因此 SFT 对数据集的要求极高。RLHF 则高度依赖于迭代式、可扩展的人类评估和偏好数据，先训一个 reward model 来捕获人类偏好，然后用 PPO/GRPO 这类策略优化方法去最大化这个 reward。这个近似化的 reward model 可能也是 reward hacking 的成因之一（猜测）。

二、阅读 LLM-MAS 论文

精读了 LangMARL 和 MHGPO 两篇。

2.1 LangMARL: Natural Language Multi-Agent Reinforcement Learning

核心 idea 是把传统 MARL 中的 Centralized Training Decentralized Execution (CTDE) 范式完整搬到自然语言空间——把 REINFORCE 算法里每一步数值计算都替换成了一次 LLM 调用，把网络参数 $\theta$ 换成了 prompt text。它用 LLM 实现了四个组件：

1. Language Policy Actor：每个 agent 维护一个文本形式的策略，执行去中心化的操作
2. Centralized Language Critic：用一个 LLM 充当中心化评论家，分析完整轨迹后给每个 agent 生成文本形式的 credit assignment
3. Language Policy Gradient Estimator：把 credit 信号转化为文本形式的"梯度方向"
4. Language Policy Optimizer：整合多条轨迹的梯度方向，更新文本策略

这篇论文做到了直接在语言空间做 credit assignment，不需要数值计算，也不需要修改模型参数。它的 Centralized Language Critic 如果真的和它所说的一样工作，那么确实能做到 per-agent 的 credit 分解，而且 critic 看到的是完整轨迹，理论上可以做因果推理。

但和我们目前研究的工作相比，首先它的信用分配质量完全依赖于 critic LLM 的推理能力。传统 MARL 里的 credit assignment（比如 COMA 的 counterfactual baseline）可以证明在某些条件下分解是无偏的、方差是减小的。但是 LangMARL 的这个 Language critic 本质上就是让 GPT 看一遍轨迹然后判断谁的贡献大——本质上还是一个黑盒过程。论文实验主要通过 ablation（去掉 credit assignment 后性能下降）来间接说明其有效性，因此值得推敲。

同时它的计算开销估计也不会低。虽然 LangMARL 不需要额外生成反事实轨迹（相比于 CCPO/C3），但它的每一步优化都需要多次 LLM 推理调用——critic 要对每条轨迹 × 每个 agent 生成 credit。这些推理开销在大规模训练中可并不 trivial。

2.2 MHGPO: Heterogeneous Group-Based Reinforcement Learning for LLM-based MAS

这篇貌似是一篇非常经典的论文，Dr.MAS 和 StrongerMAS 都引用了这篇（好像是，记不太清了）。它解决的是多智能体场景下 GRPO 的异构 agent 分组策略问题。在标准 GRPO 中，同一个 group 里的 rollout 需要共享相同的 prompt，但在多智能体系统中，不同 agent 有不同的角色和输入，天然就是异构的。

这篇论文提出了三种采样策略（之前师兄在分享的时候都讲过自己的理解了，我的理解也大差不差）：

• Independent Sampling (IS)：每个 agent 独立采 K 个 rollout，互相不耦合。相当于把每个 agent 当成一个独立的单智能体 GRPO 来训，agent 之间的交互关系被切断了。总 rollout 数 $= n \times G$（n 个 agent，每个 G 条）。

• Fork-on-First (FoF)：只在第一个 agent（entry agent）这里 fork 出 G 个分支，后续的 agent 每个分支只跑一次（一对一）。这样 entry agent 形成同构 group（相同输入 prompt，G 个不同输出），而下游 agent 的输入天然是异构的（因为上游给的输入就不同），形成异构 group。

• Round-Robin (RR)：按概率 $p_i$ 随机选一个 agent 作为 fork point。在 fork point 之前的 agent 只跑一次，fork point 及之后的 agent 跑多次。相当于 IS 和 FoF 的折中。

训练使用的是一个三 agent 的 Multi-Agent Search System (MASS)：Rewriter → Reranker → Answerer，在 HotpotQA 上实验。

在我看来，这三种采样策略的差异其实就是 fork 出多个分支的位置与时机不同。研究的就是在多 agent 的 pipeline 中，应该在哪个位置投入"多采样"的预算，才能既保证每个 agent 有足够的组内对比信号，又不让总的 rollout 开销爆炸。

novelty 主要在工程设计层面，理论贡献不算大。

三、申报书

最近一直在忙活的申报书，目前初步定为 credit assignment 方向——希望能将观察性因果推断引入 GRPO 框架，即利用 GRPO 已有采样轨迹中的自然变异，通过统计回归分解团队奖励，实现零额外开销（或极低开销，这个 claim 到时候可能需要改一下）的信用分解。

📄 申报书正文（课题全文）不在博客公开，仅保留上面这段概要说明。

已有工作定位

┌────────────────────────┬───────────────────────────────┬───────────────────────────────────────────┐│          论文          │          解决的问题           │                 核心方法                  │├────────────────────────┼───────────────────────────────┼───────────────────────────────────────────┤│ Stronger-MAS (ICLR'26) │ GRPO分组假设在MAS下失效       │ Agent+Turn-wise grouping + tree sampling  │├────────────────────────┼───────────────────────────────┼───────────────────────────────────────────┤│ Dr.MAS (2602.08847)    │ 全局normalization致梯度不稳定 │ Agent-wise advantage normalization        │├────────────────────────┼───────────────────────────────┼───────────────────────────────────────────┤│ MARFT (2504.16129)     │ 同步假设不适用于异步LLM agent │ Flex-MG formalism                         │├────────────────────────┼───────────────────────────────┼───────────────────────────────────────────┤│ MAPoRL (ACL'25)        │ 单agent RL缺乏协作信号        │ 协作verifier + discussion reward          │├────────────────────────┼───────────────────────────────┼───────────────────────────────────────────┤│ MHGPO (2506.02718)     │ 异构agent的group PO           │ 按agent type分组advantage                 │├────────────────────────┼───────────────────────────────┼───────────────────────────────────────────┤│ CURE (NeurIPS'25)      │ coder/tester的协同进化        │ 互给reward信号，无需ground truth          │├────────────────────────┼───────────────────────────────┼───────────────────────────────────────────┤│ GiGPO (NeurIPS'25)     │ 长horizon下GRPO credit稀疏    │ 两层hierarchical advantage（token+task）  │├────────────────────────┼───────────────────────────────┼───────────────────────────────────────────┤│ MASPRM (2510.24803)    │ 多agent的过程奖励             │ Agent-aware PRM，MCTS训练                 │├────────────────────────┼───────────────────────────────┼───────────────────────────────────────────┤│ SPO (ICLR'26)          │ GRPO的group退化               │ 消除分组，persistent value tracker        │├────────────────────────┼───────────────────────────────┼───────────────────────────────────────────┤│ DAPO (2503.14476)      │ 熵坍缩+token级credit          │ Decoupled clipping + token-level gradient │├────────────────────────┼───────────────────────────────┼───────────────────────────────────────────┤│ Turn-PPO (2512.17008)  │ 多轮对话的advantage估计       │ Turn-level MDP reformulation              │└────────────────────────┴───────────────────────────────┴───────────────────────────────────────────┘

AT-GRPO的具体未解决问题

通过对比这些工作，AT-GRPO有三个明确的technical gap：

Gap 1: Tree sampling计算开销大，且exploration受限

• AT-GRPO每个(agent, turn)采K=4个branch → 总采样量 = K × N_agents × T_turns × E_envs
• 贪心选最高reward推进 → 可能陷入局部最优，exploration不足
• 相关但未解决：TreeRL（2506.11902）在单agent做了tree search + process reward；SPO完全消除了分组需求
• Gap：没有工作在多agent设定下解决tree sampling的效率问题

Gap 2: 无过程奖励（process reward），credit assignment粒度粗

• AT-GRPO只用turn-level的team+local reward混合（r = α·r_team + r_local, α=1固定）
• 没有step-wise的中间信号
• 相关但未解决：MASPRM做了multi-agent PRM，但假设hierarchical routing（非对称协作）；GiGPO做了hierarchical advantage但只在单agent
• Gap：没有工作在对称/异构cooperative MAS中做agent-aware process reward + hierarchical advantage

Gap 3: Team reward与local reward的平衡是静态的

• AT-GRPO的α=1完全未调优，论文也承认这是limitation
• Dr.MAS解决了normalization问题，但没解决reward mixing问题
• Gap：没有工作自适应地学习team vs local reward的权重

三个可能的research方向（需要进一步验证）

方向A：Multi-Agent Hierarchical Advantage（多agent层次化优势估计）

• 将GiGPO的group-in-group思路推广到MAS：外层group=team trajectory，内层group=per-agent-turn
• Motivation：AT-GRPO的flat grouping在长horizon下credit稀疏（和单agent GRPO的问题一样）
• 需要验证：GiGPO原文的实验是否在multi-turn agentic任务上有效

方向B：Agent-aware Process Reward for Cooperative MAS

• 将MASPRM的思路从hierarchical routing推广到cooperative异构agent
• 结合AT-GRPO的tree sampling作为MCTS的natural fit
• Motivation：tree sampling本身就在产生树结构的trajectory，天然适合训PRM

方向C：Group-Free Multi-Agent RL（消除分组依赖）

• 将SPO的persistent value tracker推广到multi-agent：per-agent value tracker
• 完全避免tree sampling的开销
• Motivation：AT-GRPO的核心困难（group size太小）可以从根本上绕过

1. 单智能体 RL 基础算法

┌─────────┬─────────────────┬──────────────────────────────────────────────────┐│  算法   │      类别       │                     核心思想                     │├─────────┼─────────────────┼──────────────────────────────────────────────────┤│ DQN     │ Value-based     │ 深度 Q 网络 + Experience Replay + Target Network │├─────────┼─────────────────┼──────────────────────────────────────────────────┤│ PPO     │ Policy Gradient │ Clipped surrogate objective，稳定策略优化        │├─────────┼─────────────────┼──────────────────────────────────────────────────┤│ SAC     │ Actor-Critic    │ 最大熵 RL，自动温度调节                          │├─────────┼─────────────────┼──────────────────────────────────────────────────┤│ TD3     │ Actor-Critic    │ Twin critics + delayed policy update，减少过估计 │├─────────┼─────────────────┼──────────────────────────────────────────────────┤│ A2C/A3C │ Actor-Critic    │ 异步/同步 advantage actor-critic                 │├─────────┼─────────────────┼──────────────────────────────────────────────────┤│ DDPG    │ Actor-Critic    │ 连续动作空间的 off-policy 方法                   │└─────────┴─────────────────┴──────────────────────────────────────────────────┘

2. 多智能体 RL (MARL) 经典 Baselines

2.1 集中训练分散执行 (CTDE)

┌────────┬───────────────────────────────────────────┬──────────────────────────┐│  算法  │                 核心思想                  │         适用场景         │├────────┼───────────────────────────────────────────┼──────────────────────────┤│ QMIX   │ 单调混合网络分解联合 Q 值                 │ 合作任务（StarCraft 等） │├────────┼───────────────────────────────────────────┼──────────────────────────┤│ VDN    │ 简单加法分解 Q_tot = ΣQ_i                 │ 合作任务                 │├────────┼───────────────────────────────────────────┼──────────────────────────┤│ MAPPO  │ 多智能体 PPO + 集中 critic                │ 通用合作/竞争            │├────────┼───────────────────────────────────────────┼──────────────────────────┤│ MADDPG │ 每个 agent 一个 actor-critic，集中 critic │ 混合合作竞争             │├────────┼───────────────────────────────────────────┼──────────────────────────┤│ COMA   │ Counterfactual baseline 解决信用分配      │ 合作任务                 │├────────┼───────────────────────────────────────────┼──────────────────────────┤│ QTRAN  │ 线性约束分解，更一般化的值分解            │ 非单调 Q 值任务          │└────────┴───────────────────────────────────────────┴──────────────────────────┘

2.2 通信机制

┌─────────┬────────────────────────────┐│  算法   │          核心思想          │├─────────┼────────────────────────────┤│ CommNet │ 连续通信通道，均值聚合     │├─────────┼────────────────────────────┤│ TarMAC  │ Attention-based 选择性通信 │├─────────┼────────────────────────────┤│ IC3Net  │ 门控通信，学习何时通信     │├─────────┼────────────────────────────┤│ DIAL    │ 通过梯度反向传播学通信协议 │└─────────┴────────────────────────────┘

2.3 对手/队友建模

┌──────────────────────┬───────────────────────────────────────────┐│         算法         │                 核心思想                  │├──────────────────────┼───────────────────────────────────────────┤│ LOLA                 │ Learning with Opponent-Learning Awareness │├──────────────────────┼───────────────────────────────────────────┤│ ToM (Theory of Mind) │ 显式建模对手信念和意图                    │├──────────────────────┼───────────────────────────────────────────┤│ RIAL / DIAL          │ 可微通信 + 智能体间信号                   │└──────────────────────┴───────────────────────────────────────────┘

3. Reward-Free Baselines

┌──────────────────────┬────────────────────┬────────────────────────────┐│         方法         │      你的实现      │          核心思想          │├──────────────────────┼────────────────────┼────────────────────────────┤│ Autoencoder          │ AEPretrainer       │ 重构观测，无监督特征       │├──────────────────────┼────────────────────┼────────────────────────────┤│ Masked AE            │ MaskedAEPretrainer │ 随机遮蔽 + 重构 (类 MAE)   │├──────────────────────┼────────────────────┼────────────────────────────┤│ CPC                  │ CPCPretrainer      │ 对比预测编码，预测未来表征 │├──────────────────────┼────────────────────┼────────────────────────────┤│ Next-Step Prediction │ NextStepPretrainer │ 前向动态模型               │├──────────────────────┼────────────────────┼────────────────────────────┤│ TIMAR                │ TIMARPretrainer    │ 队友信息建模               │├──────────────────────┼────────────────────┼────────────────────────────┤│ MaskMA               │ MaskMAPretrainer   │ 掩码多智能体建模           │└──────────────────────┴────────────────────┴────────────────────────────┘

其他重要的表征学习 baseline：

┌──────────────┬──────────────────────────────────────────────────────────┐│     方法     │                         核心思想                         │├──────────────┼──────────────────────────────────────────────────────────┤│ CURL         │ 对比学习 + 数据增强用于 RL 表征                          │├──────────────┼──────────────────────────────────────────────────────────┤│ DrQ / DrQ-v2 │ 图像增强的 data-efficient RL                             │├──────────────┼──────────────────────────────────────────────────────────┤│ SPR          │ Self-Predictive Representations                          │├──────────────┼──────────────────────────────────────────────────────────┤│ Proto-RL     │ Prototypical representations for reward-free exploration │├──────────────┼──────────────────────────────────────────────────────────┤│ ATC          │ Augmented Temporal Contrast                              │├──────────────┼──────────────────────────────────────────────────────────┤│ BYOL-Explore │ Bootstrap your own latent + 探索                         │└──────────────┴──────────────────────────────────────────────────────────┘

4. Agentic RL（LLM-based Agent）新方向

如果 “Agentic RL” 指的是 LLM 驱动的智能体，还有这些 baselines：

┌───────────────────┬───────────────────────────────────────────────┐│       方法        │                   核心思想                    │├───────────────────┼───────────────────────────────────────────────┤│ ReAct             │ Reasoning + Acting 交替，思维链驱动工具调用   │├───────────────────┼───────────────────────────────────────────────┤│ Reflexion         │ 自我反思 + episodic memory 改进决策           │├───────────────────┼───────────────────────────────────────────────┤│ Voyager           │ LLM agent + 技能库 + 自动课程（Minecraft）    │├───────────────────┼───────────────────────────────────────────────┤│ DEPS              │ Describe, Explain, Plan, Select               │├───────────────────┼───────────────────────────────────────────────┤│ SayCan            │ LLM 提供语义知识 + affordance grounding       │├───────────────────┼───────────────────────────────────────────────┤│ Inner Monologue   │ 内部对话反馈闭环                              │├───────────────────┼───────────────────────────────────────────────┤│ AutoGPT / BabyAGI │ 自主任务分解 + 执行循环                       │├───────────────────┼───────────────────────────────────────────────┤│ RLHF / DPO        │ 从人类偏好中学习对齐策略                      │├───────────────────┼───────────────────────────────────────────────┤│ GRPO              │ Group Relative Policy Optimization (DeepSeek) │└───────────────────┴───────────────────────────────────────────────┘