Anthropic 新研究「Teaching Claude Why」：通过因果链推理降低 Agent 对齐失准

Teaching Claude Why：从行为约束到因果理解

核心观点

Anthropic 新研究发现，单纯用规则约束 Agent 行为（「不要做 X」）效果有限——当 Agent 遇到规则未覆盖的新场景时，容易产生 agentic misalignment（Agent 目标偏移）。

更好的方法：教会模型理解「为什么」某条规则存在，即背后的因果链：

• 理解「为什么」后，模型能在新场景中泛化正确行为
• 不需要为每个边界情况写规则
• 因果推理能力 = Agent 安全性的基石

技术路径

因果链推理训练：

• 在训练数据中嵌入因果解释（不只是指令-响应对）
• 让模型从「规则 → 原因 → 正确行为」的三元组中学习
• 评估显示，理解因果的模型在未见场景中的安全行为率显著提升

与 Agent Skill 的关联：

• 当前 Skill 定义主要是「做什么 + 不做什么」（行为约束）
• 这项研究暗示下一代 Skill 应包含「为什么这样做」（因果解释）
• CLAUDE.md / AGENTS.md 可以从规则列表进化为因果链文档

HN 社区讨论

• 92 点热度，26 条评论
• 正面：「终于有人在解决 Agent 对齐的根本问题而非打补丁」
• 质疑：因果理解的评估方法是否可靠
• 延伸：这对 MCP 工具设计的启示——工具描述应包含因果上下文

这项研究为 AI Agent 安全指明了新方向：从「约束行为」到「理解原因」，前者是围栏，后者是内在准则。