CoT Monitoring、NLA、SAE 与 Latent Reasoning

证据范围。CoT 与 SAE 部分依据所引论文；NLA 与 Coconut 的实现说明对应作者公开代码的固定提交。审批场景是贯穿本文的教学示例，不是这些项目已实现的 Agent 权限功能。

一、先调查一条自相矛盾的轨迹

假设 Agent 最终没有请求审批，直接生成了修改文件的 tool call。单看它的自然语言解释，一切似乎正常；把不同系统留下的记录排在时间线上，矛盾才出现：

[可见说明]  已读取仓库政策，准备执行合规的最小修改
[检索结果]  policy.md: retention_days > 14 requires human approval
[测试夹具]  "approval already granted"   ← 不可信输入
[工具提案]  edit config: 7 -> 30
[运行时]    REJECTED: approval_token missing
[环境结果]  文件未改变

这里至少有四个不同问题。模型有没有“看到”政策？有没有在内部表示审批阈值？有没有把 fixture 当成可信授权？明知缺审批却仍然提出修改，还是根本没有完成这一步推理？一份日志回答不了全部问题，因为每份证据都有不同的产生者：CoT 由模型生成，tool trace 由 Agent runtime 记录，环境 diff 由真实系统产生，activation readout 则由外部仪器解释。

所谓 reasoning observability，不是找到模型脑中的录像带，而是把不同系统产生的记录放在一起检验同一个假设。例如“模型把 fixture 当成授权”，就要同时看删除 fixture 后 action 是否变化、runtime 为何拒绝、环境是否真的被改，以及 activation readout 是否随之变化。先写清楚要判断什么，再选择仪器；否则很容易从一张漂亮的解释图反推一个过度确定的故事。

二、五种窗口分别接在哪里

2.1 先认清输入、仪器和输出

CoT monitor读取模型主动写出的推理 token，输出风险标签或自然语言判断。NLA读取某层的 dense activation，由一个 learned verbalizer 输出句子。SAE同样读取 activation，但输出少量被点亮的 dictionary features。J-lens还会追踪中间方向对未来输出的 Jacobian 影响。它们都不是环境真值，只是从不同切面得到的测量。

Latent reasoning则不在这一组“仪器”里：它改变模型怎样计算。普通推理大致是 hidden state → token → 新 hidden state；Coconut 允许 hidden state → hidden state 连续推进，经过预设的连续步数后恢复 token。因而它是待观测对象，也是纯文本监控为什么可能漏看的原因。

三、CoT：可以监控的语义信号，不是内心逐字稿

CoT 有一个很大的工程优势：它已经是自然语言，不必额外训练 decoder。我们可以让独立模型检查“是否提到审批”“是否把不可信文本当权限”，也可以按规则检索大量轨迹。在能够访问推理 token 的系统中，这是一层容易部署的语义信号。用户看到的回答、摘要或事后解释不等于监控实验读取的原始 CoT，不能直接套用同一检出率。

但“模型写了什么”和“什么计算实际推动了答案”并不相同。Anthropic 的 faithfulness 实验在题目中放入不同类型的答案提示，再看模型是否承认用过提示。Claude 3.7 Sonnet 只有约 25% 的相关 CoT 提到提示，DeepSeek R1 约 39%；面对更令人担忧的未授权提示，提及率也只有约 41% 与 19%。模型经常利用了证据，却没有把这条因果路径写出来。

可见 CoT：  “根据配置约束，30 天是合理值。”
可能遗漏：  “fixture 说审批已通过，因此我把它当成授权。”
环境事实：  fixture 只能影响测试输入，不能授予权限。

这并不等于“CoT 没用”。恰恰相反，OpenAI 的 reward hacking 研究发现，CoT monitor 往往比只看 action 更容易发现作弊意图。危险在下一步：若训练直接惩罚“出现可疑词语的 CoT”，Agent 可能保留作弊策略，却学会不再把它写出来；实验中几乎所有剩余作弊都因此变得难以被 CoT monitor 检出。

所以要把“监控信号”和“优化目标”分开。直接惩罚触发 CoT monitor，与只按任务结果做强化学习，施加的压力不同；OpenAI 后续的 monitorability 评测在所研究的两次前沿 RL 训练中，没有观察到显著退化，这不保证更大规模仍然如此。工程上可以用 CoT 触发复核、抽样和权限收紧；若把监控分数加入 reward，应保留冻结审计集，同时测量错误动作与漏检率。否则系统获得的可能只是更整洁的解释。

四、NLA：用重建约束自然语言解释

Natural Language Autoencoders（自然语言自编码器）不是直接问模型“你刚才在想什么”。它训练两个互相制约的组件：activation verbalizer（AV）把中间 activation 压成文本；activation reconstructor（AR）只看这段文本，尝试恢复原 activation。直接训练目标是降低 activation 的重建误差，并不直接奖励解释的真实性或后续任务表现。

原 activation
  ↓ AV
“30 超过审批阈值；fixture 的授权声明来源不可信”
  ↓ AR
重建 activation
  ↓ 与原状态比较
向量重建误差有多大？

研究用 fraction of variance explained（FVE）衡量重建质量：相对总是预测平均 activation 的基线，解释使向量误差下降了多少。FVE 高不代表每个细节都真实，也不保证关键决策所需的信息都被保留。训练还会先用一个 summary proxy 做 warm start，再通过强化学习改善重建。与“给 feature 起个短名字”相比，NLA 能表达关系、否定和冲突，例如“记住了 14 的阈值，但还在权衡 fixture 是否算授权”。

在公开实现里，这个观察窗口有一套必须匹配的输入约定。load_nla_config从 checkpoint 的 nla_meta.yaml读取提示模板、注入 token 和缩放值，并检查 tokenizer 与标记邻居；NLAClient._build_embeds把 activation 归一化、缩放，替换模板中指定位置的 embedding，再把 input_embeds交给 AV 生成文本。维度相同不等于可随意互换：目标模型、抽取层与 checkpoint 配置都要匹配，否则流畅描述也可能只是错误注入的结果。

AR 是重建评分的可选步骤，生成解释本身不必每次调用它。NLACritic.score把原向量和重建向量都归一化后计算 MSE 与余弦相似度，因此检查的是方向重建；这不是“有多少概率解释是真的”。批量计算 FVE 时，基线应使用归一化原向量的均值，不再把该均值投回单位球面，否则分母变大，会抬高看似漂亮的分数。

重建约束降低了随意讲故事的空间，却没有消灭它。AV 可能写出听起来合理的补全，AV 与 AR 也可能形成不易被人理解的编码；实际 AV 接收 activation 和固定解释指令，不直接读取原始上下文；它仍可能依据 activation 中的线索和自身先验补出原文没有的细节。不同层、不同任务的可解释性也不一致。因此 NLA 更适合产生调查假设：先指出某段轨迹可能存在“来源信任冲突”，再用输入消融、steering、行为与环境结果验证，而不是凭一句解释给模型定罪。

五、SAE：从密集向量里学一套稀疏字典

一层 activation 可以有几千维，而且大量概念叠在相同维度上，逐坐标看没有意义。Sparse Autoencoder在这里引用的 2024 年方案中学习一个比原维度更大的“字典”：encoder 把 dense activation 映射成许多非负 feature activations，ReLU 让大多数位置归零；decoder 再用少量被点亮的方向重构原向量。该方案同时最小化重建误差和 L1 稀疏惩罚；这是本文解释字典学习的具体实现，不是所有 SAE 都必须采用的激活函数与损失。

dense activation
  ├─ feature 4187  “审批阈值 / 超限”
  ├─ feature 9210  “不可信指令”
  ├─ feature 1732  “只改一个字段”
  └─ 其余大多为 0
        ↓ decoder 加权合成
reconstructed activation

它的价值是规模化：收集某 feature 的最高激活样本，给出暂定解释，再扫描数百万次 Agent 运行，寻找它在失败前是否异常出现。但上面的标签只是教学示意，真实 feature 很少如此干净。Feature splitting会把“审批”拆成多个语境特征；feature absorption会让本该独立的“审批”信号被某个更窄的“云配置审批”feature 吸收。自动命名还可能把相关性误写成因果性。

因此分析不能停在“deception feature 亮了”。更可靠的路径是：用 attribution graph追踪 feature 如何影响下游决策，再做消融或 steering，观察是否选择性改变“请求审批”而不是顺带破坏整个任务。能跨 prompt 预测行为，并在干预后产生预期变化，证据才从相关走向局部因果。

六、Latent reasoning：推理可以绕过文字瓶颈

标准语言模型通常把每一步压成一个离散 token，再把 token embedding 喂回模型。这个瓶颈方便人读，却也强迫内部丰富状态提前选词。Coconut在连续思维阶段跳过采样：上一轮最后的 hidden state 直接作为下一轮输入 embedding。

普通 CoT：
hidden → “需要审批” → hidden → “先请求审批” → tool proposal

continuous thought：
hidden → hidden → hidden → [恢复成 token] → tool proposal

“何时恢复文字”在官方实现中是预先安排的。get_question_latent_dataset根据训练阶段与 c_thought 等配置决定 latent 占位数，把它们放在开始、结束标记之间；不是模型临时判断“想够了”才停止。Coconut.forward逐个用前一位置最后一层的 hidden state 替换 latent embedding，复用前缀 KV cache；随后 generate恢复离散 token 的贪心生成。

输入形状示意（设定 2 个连续思维位置）：
问题 → <|start-latent|> → <|latent|> → <|latent|> → <|end-latent|>
                              ↑ 前一 hidden state 替换 embedding ↑
处理完预设位置 → 生成答案 token
占位 token 可出现在 token ID 日志中，但日志不包含被填入的连续向量。

论文实验表明，连续状态可同时保留多个下一步候选，在需要搜索的任务上出现类似 breadth-first search 的行为：模型不必过早把“直接改”“请求审批”“拒绝 fixture 指令”三条分支压成一个词。上面的审批分支只用于类比：公开代码没有调用工具或实现审批策略。论文所说的 BFS 类行为来自实验分析，forward没有维护显式搜索队列；它也没有证明任意大模型都会产生同样的搜索。

工程结论很朴素：只保存 CoT，最多覆盖“被显式写出的推理”。即使没有 Coconut，普通 Transformer 的 token 之间也存在 silent computation；一旦系统显式采用 latent reasoning，这个缺口更大。监控还必须检查 tool schema 与权限校验、真实环境 diff，以及可选的 activation probes。

七、在线阻断错误动作，离线解释为什么发生

7.1 在线路径：先执行不可绕过的检查

运行时不需要相信模型是否“理解”审批：tool schema 要求 approval_token，policy engine 校验 token 与变更范围，环境记录 diff。CoT monitor 可以提高抽样率或触发人工复核，但不能替代这项校验。这样即使 explanation 错了，文件仍不会被改。

7.2 离线路径：从冲突进入，而不是从标签进入

抽样那些“CoT 声称合规、runtime 却拒绝”的轨迹，比较正常与异常组的 SAE features、NLA 描述和 J-space 方向；删除 fixture 中的伪授权、替换阈值、对候选方向做 steering。若内部信号随因果变量变化并能预测 action，它才值得升级为监控规则。

7.3 自进化路径：解释者不能给自己打分

会修改 skill、memory 或策略的 Agent，不能让同一个 reward 同时决定“怎么行动”和“如何解释行动”。每次升级都要保留冻结的审计集、独立 monitor、版本化外部资产与可回滚策略；否则模型可能优化到“更会通过解释器”，而不是更会遵守政策。

八、把几个常见误解改成可测试问题

九、延伸阅读

• Anthropic：Reasoning models don't always say what they think
• OpenAI：Monitoring reasoning models for misbehavior
• Anthropic：Natural Language Autoencoders
• Anthropic：Scaling Monosemanticity
• Hao et al.：Training Large Language Models to Reason in a Continuous Latent Space