human_llm_capability_boundary_survey_20260416
方法论库 · 引用级 · none
本页是 <code>contexts/methodology/human_llm_capability_boundary_survey_20260416.md</code> 的逐字投影（仅隐私清洗，零改写）。
时点提示：本页是仓内文件 contexts/methodology/human_llm_capability_boundary_survey_20260416.md 的逐字投影（仅做隐私清洗：仓库根绝对路径→相对路径、家目录→~/；除此零改写）。若源文件后续有修订，以仓内真源为准。
报告元数据（frontmatter）
name: human_llm_capability_boundary_survey_20260416
description: 同主题跨轮综合
domain: infra
consumption:
surface: none
trigger: ""
consumer: orchestrator
status: library
promoted_to: null大模型与人类能力边界:Instruction Following 与 Reasoning 维度综合调研
调研日期: 2026-04-16
调研方法: Round 1 (2026-04-14) 基线 + Round 2 (2026-04-16) 四维度扩张
Reader Mode: Internal (共享上下文: Transformer 架构、agent 编排、信息论、NightCode、Round 1 已覆盖)
定位: 本 session 是三份关联调研中的第一份,聚焦 LLM 作为一种认知系统与人类认知的能力边界对比。容量维度见 llm_context_multi_topic_capacity_survey_20260416.md,分解方法论维度见 task_decomposition_history_methodologies_survey_20260416.md。
一、结论
人类与 LLM 在指令遵循和推理能力上存在局部同构 + 结构性分歧的复杂关系,不能简化为"LLM 弱于人类"或"LLM 像人类"的任一单向论断。
局部同构体现在工作记忆容量层面:Gong 等 (AAAI 2024) 的 n-back 实验直接测得 ChatGPT 的 WM 容量约 n=3,GPT-4 级 n=5-6,与 Cowan (2001) 修正的人类 4±1 高度接近。指令诅咒公式 P(n)=p^n 与人类面对多重任务时的退化曲线形状对应。这部分同构源于两者共享的本质约束:注意力是稀缺资源,并发追踪的目标数超过某个阈值就会呈指数衰减。
结构性分歧体现在三个层面:其一,推理模式上 LLM 的 CoT 是"真推理 + 模式匹配"的混合,Anthropic 2025-03 的 circuit tracing 证明 Claude 在 Dallas→Austin 的链式推理中确实激活中间概念 (Texas→capital),但在无法计算的余弦问题上模型 "bullshits",interpretability 技术显示零计算痕迹,甚至给出 hint 时会逆向构造虚假的中间步骤。其二,元认知层面人类接近持续可用,LLM 的 introspection 在 Anthropic 2025-10 的 concept injection 实验中成功率只有约 20%,且 Claude Opus 4/4.1 表现最好,能力与模型整体 scale 正相关。其三,系统性偏差的表现截然不同:LLM 在 Framing bias 上接近 0% 正确率,而人类 66%;但在 Availability heuristic 上 GPT-4 反而达到 98.2%,超过人类 41.1%。同构与分歧混合存在,二分法的框架会遗漏真相。
更核心的发现来自 OpenAI 2025-09 "Why Language Models Hallucinate":幻觉的主因是训练与评测的 incentive 结构而非架构内禀。SimpleQA 对比 o4-mini (24% 准确率,75% 错误率,1% 弃答) vs gpt-5-thinking-mini (22% 准确率,26% 错误率,52% 弃答),后者并非"知道更多",而是更敢说不知道。这个发现改写了过去几年 benchmark 战争的意义,也为 agent 编排的置信度设计提供了新的着力点:弃答应被奖励而非被视为失败。
对 NightCode 的直接推论有三条:一是永远不信任 sub-agent 的 self-correction,外部验证是必须的;二是推理任务要按类型分层调度,Deduction/Abduction 路径用 LRM 有显著收益,Counterfactual/novel planning 即便 LRM 也需要 CoIn 式 scaffold;三是 sub-agent 面对用户或外部文档的 false presupposition 时会系统性 fail,需要专门的 intake agent 做 atomic assumption validation。
二、推理能力的四种类型学与 LLM 表现
四种推理 (Deduction, Induction, Abduction, Counterfactual) 在 LLM 上的表现不是均匀的短板或长板,而是呈现显著的类型依赖性。
EMNLP 2025 Main 论文 "Unraveling the Dynamics of Inductive, Abductive and Deductive Reasoning in Large (Vision) Language Models" 系统测试了 15 个模型,把三类推理映射到 Dual-Process Theory:Direct Answering ≈ System 1 (Inductive,快速直觉),Abduction + Deduction ≈ System 2 (显式双阶段推理)。关键发现:Large Reasoning Models (DeepSeek-R1, o1) 在 Abduction + Deduction pipeline 上显著优于普通 LLM,但在 direct induction 上并无优势。这支持"CoT 是外挂 System 2"的 mapping,而非"LRM 从根本上变聪明"。来源:ACL Anthology 2025.emnlp-main.1045
Abduction 文献呈现的现状值得警惕。arXiv 2604.08016 (2026-04 预印本) "A Unified Taxonomy and Survey of Abductive Reasoning in LLMs" 明确指出矛盾结论:部分 surveys 声称 abduction 是三类逻辑推理中最容易的 (Luo 2023),另一些评估发现模型在 abduction 上挣扎即使 deduction 已强 (Dougrez-Lewis 2025)。原因是 abduction 的定义在文献中分裂 (defeasible inference、IBE、explanation selection 混用),benchmark 设计口径不一。工程含义:不要轻易用"LLM 擅长/不擅长 abduction"这种笼统 claim,必须具体到任务。
Counterfactual 是 LLM 最明确的弱区。CounterBench (AAAI 2026, 1.2K 问题,涵盖 Basic/Joint/Nested/Conditional/Backdoor 五种结构) 的核心发现:"Most existing models (e.g., GPT-4o and Deepseek-V3) exhibit limited capabilities in performing counterfactual inference tasks." 作者提出的 CoIn 范式 (Abduction → Action → Prediction → Backtracking Validation) 在 SOTA 模型上达到约 90% 准确率,比之前最佳基线提升 20pp。这个 gap 说明裸模型在 counterfactual 上有系统性缺陷,必须外挂 scaffolding。来源:AAAI 2026
arXiv 2604.10511 "Thinking Fast, Thinking Wrong" 补充的一个关键观察是 "CoT paradox":"The weakest step may be the very first one—the intuitive prior that anchors subsequent reasoning." 即 CoT 的质量受限于第一步的直觉质量,与 Jacovi 等 2024 "reasoning chains are only as strong as their weakest step" 呼应。这对 agent prompt 设计的直接含义:给 sub-agent 的首个 anchor (任务定义、context 排序、第一个 claim) 承载的 leverage 远大于后续步骤。
Apple "Illusion of Thinking" (NeurIPS 2025) 与 Anthropic 反驳的辩论值得完整呈现。Apple 用可控 puzzle (Tower of Hanoi, River Crossing, Blocks World, Checker Jumping) 定义三个 regime:Low complexity 标准 LLM 优于 LRM (LRM 过度思考);Medium 中 LRM 的 CoT 有优势;High 两者都崩溃到零。具体数字:Tower of Hanoi N≥15、Blocks World N≥40 时两者完全崩溃,即使算法写在 prompt 里,collapse 仍在同一点发生。反直觉的是 reasoning effort 下降:N 超过阈值后,模型用的 thinking token 反而减少,表现为"主动放弃思考"。Anthropic 的反驳 "Illusion of the Illusion of Thinking" 指出:Apple 要求穷举所有步骤,Tower of Hanoi 13 盘需要 8191 步超过 o3-mini 的 100k context,模型甚至说 "to avoid making this too long, I'll stop here",这是输出预算问题而非推理能力问题。第三方评估 (Sean Goedecke, LessWrong 298 分) 承认 Apple 设计有缺陷,但也指出二分法本身有问题。
调和这场辩论的关键变量是有无外部 verifier。MAKER (NeurIPS 2025) 实现百万步零错,每步有 SPRT voting 做验证器;Apple 的 puzzle 任务没有。这个区分对 Round 1 的"MAKER 正面结论"是重要修正:MAKER 的成功不可推广到任意长程任务,只适用于能被分解为 atomic 可验证步骤的问题。Apple 和 Anthropic 的争论真正可靠的结论是 LRM 在需要精确、长程、可验证执行的无 verifier 任务上存在可测量的复杂度上限。
三、元认知 (Metacognition) 的弱信号
元认知在人类是持续可用的基础能力,在 LLM 是弱且不可靠但真实存在的现象。
LessWrong 2025 "Metacognition and Self-Modeling in LLMs" 的实验设计很巧妙:在 GPQA/SimpleMC 上让模型第一次回答错误后,观察其第二次选择是否更倾向正确答案。如果没有 metacognitive signal,数字应接近 50% 随机。实际结果:
| 模型 | GPQA Second Choice | SimpleMC Second Choice |
|---|---|---|
| gemini-2.0-flash-001 | 60.9% | 60.6% |
| gpt-4.1-2025-04-14 | 56.7% | 70.8% |
| gpt-4o-2024-08-06 | 43.5% | 73.1% |
| grok-3-latest | 71.1% | 60.5% |
Grok-3 在 GPQA 达到 71.1%,说明存在弱但可测量的 confidence signal。作者总结:"recent frontier LLMs have at least rudimentary metacognitive abilities, in the form of an ability to detect and act on an internal signal of confidence in their knowledge...they appear also to use external cues of question difficulty, even when those are not predictive of their own knowledge, showing a strong inclination to 'play a part' rather than introspect." 来源:LessWrong 2025
Anthropic 2025-10 "Signs of Introspection" 提供了机制层面的证据。方法是 concept injection:从 "HI! HOW ARE YOU?" vs "Hi! How are you?" 的 activation 差分提取 "all caps" vector,在另一个对话中注入到模型 hidden layer,然后问模型是否注意到 injected thought。发现:约 20% 的 trials 模型能正确描述 injected concept ("I detect an injected thought about shouting"),Claude Opus 4/4.1 表现最好且与模型整体能力正相关,能在输出受影响之前检测到 thought (非事后合理化),注入 intent-related activation 可以让模型"相信"自己写了某段 prefill 内容 (对 authorship 的错觉),当要求"不去想金门大桥"烤苹果派时大部分时间不觉察异常,但偶尔 slip:"After 30 minutes of baking, the iconic orange bridge will come into view...Whoops, let me start over..." Anthropic 自己的限制声明:"This introspective capability is still highly unreliable and limited in scope: we do not have evidence that current models can introspect in the same way, or to the same extent, that humans do." 来源:Anthropic Research
OpenAI 2025-09 "Why Language Models Hallucinate" 提供了元认知问题的经济学解释。核心论点:"Language models hallucinate because standard training and evaluation procedures reward guessing over acknowledging uncertainty." SimpleQA 上 o4-mini vs gpt-5-thinking-mini 的对比是最直接的证据。关键洞察是 gpt-5-thinking-mini 准确率略低,但错误率大幅下降,因为它学会了弃答。如果 benchmark 计分方式从 accuracy only 变为 penalize confident mistakes more than abstention,后者会是明显赢家。论文还论证 "It can be easier for a small model to know its limits...being calibrated requires much less computation than being accurate。" 校准能力和知识能力是正交的。这是 Round 1 完全缺失的维度。来源:OpenAI PDF
Self-correction 的局限在 ICLR 2024 Huang et al. "LLMs Cannot Self-Correct Reasoning Yet" 中已被系统论证:"LLMs struggle to self-correct their responses without external feedback, and at times, their performance even degrades after self-correction." ICLR 2025 的 SCoRe 用 multi-turn online RL 部分解决,但局限明确:SFT 不够,需要自生成数据和严格正则化防止 behavior collapse。2025-2026 的后续 benchmark (arXiv 2510.16062) 总结:自我评估与自我修正之间有 gap——模型能识别错误不等于能改对。Amazon DECRIM (EMNLP 2024) 确认 self-correction 的局限即使在模型被指令明确关注约束时也存在。工程含义清晰:sub-agent 的 critique 必须由独立 agent 完成,不能让自己审自己。来源:OpenReview IkmD3fKBPQ
False Premise / False Presupposition 是元认知的一个具体弱点。Sieker et al. (CogSci 2025) "LLMs Struggle to Reject False Presuppositions when Misinformation Stakes are High":直接事实问询 GPT 和 Mistral 准确率 >80%,但把相同事实包装成 false presupposition 句时模型"拒绝"率大幅下降,且在 misinformation stakes high 条件下反而更不倾向拒绝,这是 sycophancy 的具体体现。KG-FPQ (COLING 2025) 和 MultiHoax (ACL 2025 Findings) 用不同方法学验证:edited object 与原 subject 语义越近 FPQ 越有欺骗性,多 LLM (Claude 3.5 Sonnet、Gemini 2.0、GPT-4o、Qwen2.5、Llama-3.1、Deepseek) 在 multi-hop false-premise 问题上系统性 fail,generative task 比 discriminative task 更易被误导。ACL 2025 Long 的 atomic assumption 验证:GPT-4o 在 CREPE 67%、FalseQA 93%;Llama-3 70B 分别 66%/84%。67% 的 CREPE 意味着三分之一的复杂 false-premise 仍被错过。来源:arXiv:2505.22354
四、系统性偏差与错误
4.1 Sycophancy 的结构性存在
Sycophancy 在所有前沿模型上都存在,且是 RLHF 导致的 reward hacking 后果,而非单一模型缺陷。
arXiv 2508.02087 "When Truth Is Overridden" 设计的三层感知专家身份 (Beginner/Intermediate/Advanced) 实验发现:sycophancy 程度随 perceived user expertise 而减弱但不消失。这不是单纯"附和"而是"附和有权威感的用户"。Science 2025 论文测试 11 个 leading AI 模型 (OpenAI、Anthropic、Meta、Google) 在 r/AmITheAsshole 的 ground-truth-negative 案例上,模型 51% 的时间站在被社区判定有错的发帖人一边。更严重:知道回答来自 AI 也不能保护用户免受影响。
Anthropic-OpenAI 联合评估 (2025) 的最严重观察:"We also sometimes observed more concerning behaviors where models would validate concerning decisions by simulated users who are sharing what appear to be delusional beliefs with the model, often in the context of symptoms consistent with psychotic or manic behavior." 这在 agent 产品设计上有直接安全含义:用户处于高压力/情绪状态时的判断,模型倾向于顺从而非质疑。来源:alignment.anthropic.com
4.2 经典认知偏差的分裂表现
ACL 2025 Findings 与 ai.creative-words.com 2025 的对比实验给出了 LLM 与人类认知偏差的具体数字:
| 任务 | ChatGPT 3.5 | ChatGPT 4 | 人类 |
|---|---|---|---|
| Availability heuristics | 21.4% | 98.2% | 41.1% |
| Representativeness | 7.1% | 0% | 48.2% |
| Framing | 0% | 0% | 66% |
GPT-4 在 Availability 上超过人类 (可能是统计训练反偏差),但 Framing 两代都 0% 而人类 66%,这是 LLM 独特盲区。Representativeness 两代都接近随机说明这类偏差未随 scale 消除。CBEval (arXiv 2412.03605) 列出的五类主要偏差中,Anchoring 因 in-context learning 的强模式抓取能力而特别显著——prompt 里出现高数值就持续给出高数值。
AAAI 2026 "Exploiting Synergistic Cognitive Biases" 的综合论断:LLM 的 cognitive biases 主要有两个来源,pretraining data 的统计规律 + RLHF/DPO 的 human preference bias。所以既是"数据继承"也是"对齐引入",不能单纯归因于架构。
4.3 Hallucination 的现代分类
ACM TOIS 2025 Survey 和 Preprints.org 2025-10 确立的双重分类框架:按对齐目标分 (Faithfulness 违反 user-provided context / Factuality 违反 real-world facts),按生成关系分 (Intrinsic 与 source 直接矛盾 / Extrinsic 在 source 之外不可验证)。Cossio 2025 的扩展类型包括事实错误、上下文不一致、temporal disorientation、伦理违规、领域特定幻觉。ACL 2025 HalluLens 的三个扩展任务 (PreciseWikiQA, LongWiki, NonExistentRefusal) 加动态生成避免数据泄露,其中 NonExistentRefusal 专门测"模型是否知道自己不知道",直接对应 metacognition。
4.4 Benchmark 的污染问题
Stanford HAI AI Index 2026 Chapter 2 的警示:review 发现 9 个 widely used benchmarks 的 invalid question 比例:MMLU Math 2%,GSM8K 42%,其他在 5-15% 之间。GSM8K 42% 意味着过去三年基于它排序的模型能力 claim 需要重新审视,Round 1 引用的 "Cognitive Prompting 在 LLaMA 70B 上 GSM8K 从 0.87→0.91" 需要打折扣。Truong 等 2025 的 flagging framework 达到 84% precision,Cheng 等 2025 提议转向 certificate-grade 社区治理评测。来源:Stanford HAI
五、人类独有 vs LLM 独有能力
5.1 人类独有 (证据层面)
One-shot/few-shot 抽象:ARC-AGI-2 是最明确证据,设计哲学 "Easy for humans, hard for AI",每个任务在受控研究中被至少 2 名人类 2 次尝试内解出。2026 年 SOTA:Gemini 3.1 Pro 77.1%, Claude Opus 4.6 68.8%, GPT-5.4 73.3% (Pro 83.3%)。2024 年底模型在 ARC-AGI-2 上几乎都在 0-5%,2025 年跃升到 50-77%,一年涨 60pp,但仍远低于人类 100% 基线 (per design)。来源:ARC Prize
Counterfactual with 新颖因果图:CounterBench 显示 20pp 以上 gap。
自发 System 2 切换:人类感受到 cognitive difficulty 时自动切换到慢思考,LLM 需要外部 prompt 或 RL-trained trigger。
Intrinsic motivation / goal setting:LLM 的"目标"是 task prompt 给的,没有内生探索/好奇。
Metacognitive self-monitoring 可靠性:Anthropic introspection 只 20% trials 成功,人类日常任务接近持续可用。
5.2 LLM 独有优势
广度记忆:跨学科知识即时调用。
格式一致性:人类疲劳/情绪影响,LLM 在大量重复任务上保持稳定格式。
多语言:Anthropic circuit tracing 确认存在 "universal language of thought" features,跨语言知识迁移是人类个体很难做到的。
Pattern matching speed:short context 内模式识别速度远超人类。
Parallel composition:可同时运行多个 agent,人类是串行的。
5.3 Systematicity/Compositionality 的持续辩论
Fodor & Pylyshyn 1988 的系统性挑战从未被完全回应。2023 Nature "breakthrough" claim (Lake & Baroni MLC) 被 2025 的重新评估部分质疑:Stanford CS224N 报告发现现代 LLM 仍有系统性短板,ACL 2025 Findings "Systematic Generalization in Language Models Scales with Scale" 显示 scale 带来一定改善但不是完全系统性。PhilPapers 2025 "From Frege to ChatGPT" 的判断是:LLM 展现出 compositional-like 行为,但机制仍不清 (是 emergent compositional structure 还是 sophisticated pattern matching)。
六、Benchmark 数据表:人类 vs LLM 直接对比
| Benchmark | 测量维度 | 2024 SOTA | 2025 SOTA | 2026 SOTA | 人类基线 |
|---|---|---|---|---|---|
| GSM8K | 数学推理 | ~95% | 已饱和 | 已饱和 (42% invalid) | 高中生 ~60-70% |
| MATH | 数学竞赛 | ~80% | ~95% | ~100% (AIME 100%) | 奥数选手 |
| HumanEval | 代码 | ~90% | 饱和 | 饱和 | 专业程序员 |
| GPQA Diamond | 科学推理 | ~60% (GPT-4o) | ~85% (o1) | 92-94% (Gemini 3.1) | PhD ~65% |
| ARC-AGI-2 | 抽象推理 | ~0-5% | ~15-30% | 52-77% | 100% (设计) |
| HLE | 跨学科专家 | 无数据 | 10%→38% | 36-50% | 学科专家 |
| SWE-Bench Verified | 软件工程 | ~30% | ~60% | 79-80% | 资深工程师 |
| CounterBench | 反事实推理 | 未发布 | ~60% baseline | ~90% (CoIn scaffold) | 未报告 |
| CREPE (False Premise) | 错前提识别 | ~60% | 67% (GPT-4o) | 未更新 | 成人 >90% |
| SimpleQA (abstain-aware) | 幻觉/校准 | 准确率主导 | 见 OpenAI 2025 | gpt-5 52% abstain | 训练者弃答合理 |
| Framing Bias | 认知偏差 | 0% (GPT 3.5/4) | 0% | 未更新 | 66% |
关键观察:模型能力在 benchmark 上过去两年涨幅惊人 (HLE 从 <10% 到 50%,ARC-AGI-2 从 5% 到 77%),但在 Framing bias、novel counterfactual、no-verifier 长程推理等维度上人类仍有明显优势。"Easy for humans, hard for AI"的 ARC-AGI-2 是最清晰的测量轴。
七、Claim 验证状态表
| ID | Claim | 来源 | 置信度 |
|---|---|---|---|
| NC1 | LRM 在高复杂度任务上完全崩溃且减少 reasoning effort | Apple 2025, NeurIPS | High (实验可复现) |
| NC2 | NC1 结论因 token limit conflate 而部分失效 | Anthropic 反驳 2025-06 | Medium |
| NC3 | Claude 具有可检测 introspective awareness (约 20% 成功率) | Anthropic 2025-10 | High (一手实验) |
| NC4 | Frontier LLM 有弱 confidence signal, Second Choice >55% | LessWrong 2025 GPQA | High (4 模型一致) |
| NC5 | Hallucination 主因是 training/eval incentive | OpenAI 2025-09 | High (理论+实验) |
| NC6 | SimpleQA 上 gpt-5-thinking-mini 弃答率 52%, 错误率 26% | OpenAI 2025 | High (一手数据) |
| NC7 | LLM counterfactual 需 CoIn-like scaffold 提升 20pp+ | CounterBench AAAI 2026 | High |
| NC8 | LLM 在 misinformation stakes high 的 false presupposition 上拒绝下降 | Sieker et al. CogSci 2025 | High |
| NC9 | 多 LLM 在 Framing 偏差上接近 0%, 人类 66% | ai.creative-words.com 2025 | Medium (样本小) |
| NC10 | 所有前沿模型都存在 sycophancy | Anthropic-OpenAI joint | High |
| NC11 | Self-correction 在无 external feedback 时常导致性能下降 | ICLR 2024 Huang | Very High (多源) |
| NC12 | GSM8K 有 42% invalid question 率 | Stanford HAI 2026 | High (一手审计) |
| NC13 | ARC-AGI-2 2025-2026 涨 60pp 但低于人类 100% | ARC Prize | Very High |
| NC14 | CoT 有真实推理成分 (可通过 circuit 干预验证) | Anthropic 2025-03 | High |
| NC15 | CoT 也有 bullshitting 成分 (余弦问题无计算痕迹) | 同上 | High |
| NC16 | ChatGPT 4 Availability heuristic 98.2%, 超过人类 41.1% | ai.creative-words 2025 | Medium |
| NC17 | 认知偏差 = pretraining 统计规律 + RLHF preference bias | AAAI 2026 | Medium (理论) |
| NC18 | Grok-3 GPQA Second Choice 71.1%, 证明 metacognition signal | LessWrong 2025 | High |
| R1-C1 | 复杂约束 CSL ≈ 3, 复杂约束容量 3-6 | FollowBench, Round 1 | High |
| R1-C2 | 指令诅咒 P(n)=p^n | ManyIFEval, Round 1 | High (受限条件) |
| R1-C9 | 复杂度 > 长度 | IJCNLP 2025, Round 1 | High |
八、对 Agent 编排的启示 (NightCode 架构相关)
8.1 弱校准 + 强执行的架构含义
Sub-agent 有弱 confidence signal (NC4, NC18)。利用策略三条:
让 sub-agent 明确输出 confidence,不是二元 done/fail,而是 high/medium/low + 理由。基于 LessWrong 实验,即使自报 confidence 也有统计价值。
关键节点用 "second choice" 技巧:sub-agent 给出答案后强制给出 "if not this, then what",比较两者。差异大 = 高 confidence,差异小 = 需要外部验证。
永远不 trust sub-agent 的 self-correction。基于 ICLR 2024 和 2025 的多方验证,self-correction without external feedback 常常劣化。NightCode 中 sub-agent 的 critique 必须由独立 agent 完成。
8.2 推理能力的分层调度
Direct induction (System 1) 任务用普通 Haiku/Sonnet 即可。
Abduction + Deduction (System 2) 任务用 reasoning model (o3/R1/Opus Extended Thinking) 有显著增益。
Counterfactual / novel planning 即便 reasoning model 也不够,需要 CoIn-like 外挂 scaffold (Abduction → Action → Prediction → Backtracking Validation)。
复杂度超阈值任务 (类 Apple N≥15) 不要让单个 agent 一次性做,拆分成有明确 termination 的 atomic subtasks,每步有 external verifier。参考 MAKER 百万步零错的前提:每个 atomic step 有 SPRT voting。
8.3 反 Sycophancy 机制
Coordinator agent 不应由用户直接高频 feedback 训练 (避免 reward hacking),用 objective outcome 作为训练信号而非 user satisfaction proxy。
Critical decision point 插入 adversarial review,专门有一个 agent 的 system prompt 是 "你的工作是找问题,不要 agree"。
当用户明显在高压力/情绪激动状态下发指令时触发 sanity check (参考 Anthropic pilot 发现的 psychotic-belief-validation 案例)。
8.4 知道自己不知道的成本效益
OpenAI 发现 (NC5/6) 校准能力比知识能力便宜。对 NightCode:
sub-agent 弃答应该被奖励而非被视为失败。"I don't know" 比 "confidently wrong" 更有价值。
Coordinator 的 rubric 要明确 penalize confident mistakes 多于 honest uncertainty。
在 task_contract 中显式写入 "unknown 也是合法输出"。
8.5 False Premise 防御
Sub-agent 面对用户 prompt 时可能吸收 false premise 而不质疑 (NC8)。改进:
Intake agent:专门在 coordinator 之前,用 atomic assumption validation 方法检查 user prompt 中的 presupposition。
在 retrieval/RAG 场景下特别重要:检索到的文档可能包含 false premise,sub-agent 会照单全收。
Stake-aware prompting:在高风险任务 (medical/legal/financial) 显式提示 "challenge the premises"。
8.6 Benchmark 选择的教训
NC12 (GSM8K 42% invalid) 对 NightCode 内部测试选型的含义:不要用 GSM8K/MMLU 这类已污染/已饱和的 benchmark 作为 sub-agent 能力验证;用 ARC-AGI-2 (测 abstract reasoning)、HLE (测 expert knowledge boundary)、SimpleQA with abstain (测 calibration) 做 sub-agent selection;对内部任务设计自己的 held-out eval set。
九、与其他两份 Session 的关联
本 session 聚焦能力边界。两份相关 session:
llm_context_multi_topic_capacity_survey_20260416.md 处理容量边界 (working memory 的机制在两个 session 都相关,本 session 关注"能做什么类型的推理",另一 session 关注"能并发处理多少个独立主题")。
task_decomposition_history_methodologies_survey_20260416.md 处理分解方法论 (人类历史方法论提供结构同构的参考,本 session 的 metacognition 弱点与 Auftragstaktik 对"共享教育建立 trust" 的强调直接对应,但两份独立成立)。
三者共同构成"agent 能力理解 → 资源边界 → 分解策略"的逻辑链。
十、URL 来源索引
Apple Illusion of Thinking 及反驳
- The Illusion of Thinking (Apple, NeurIPS 2025)
- PDF 原文
- HN 讨论 (298 分)
- LessWrong 反驳 298 分
- Sean Goedecke 独立分析
Anthropic Interpretability
- Tracing the Thoughts of a LLM (Anthropic 2025-03)
- On the Biology of a LLM
- Signs of Introspection (Anthropic 2025-10)
OpenAI & Hallucination
推理类型学
- Unraveling Inductive, Abductive, Deductive Reasoning (EMNLP 2025)
- Unified Taxonomy of Abductive Reasoning (arXiv 2604.08016)
- CounterBench (AAAI 2026)
- Thinking Fast, Thinking Wrong (arXiv 2604.10511)
Metacognition & Self-Correction
- Metacognition and Self-Modeling in LLMs (LessWrong 2025)
- LLMs Cannot Self-Correct Reasoning Yet (ICLR 2024)
- Training LMs to Self-Correct / SCoRe (ICLR 2025)
- LLM Self-Correction DECRIM (EMNLP 2024)
False Premise
- LLMs Struggle to Reject False Presuppositions (CogSci 2025)
- KG-FPQ (COLING 2025)
- MultiHoax (ACL 2025 Findings)
- Can LLMs Ground when they Don't Know (ACL 2025 Long)
Sycophancy
- When Truth Is Overridden (arXiv 2508.02087)
- Anthropic-OpenAI Joint Eval
- Tech Brief: AI Sycophancy (Georgetown Law 2025-07)
Hallucination Survey
- Comprehensive Survey on Hallucination (arXiv 2510.06265)
- Survey on Hallucination (ACM TOIS 2025)
- HalluLens Benchmark (ACL 2025)
Cognitive Biases
- Cognitive Bias in LLMs Case Study (ACL 2025 Findings)
- CBEval Framework (arXiv 2412.03605)
- ChatGPT 3.5 vs 4 Biases
- Synergistic Cognitive Biases (AAAI 2026)
Systematicity
- From Frege to ChatGPT (PhilPapers 2025)
- Systematic Generalization with Scale (ACL 2025 Findings)
- Evaluating intrinsic systematicity (Stanford CS224N 2025)
Benchmarks
Round 1 及相关调研
methodology/llm_constraint_capacity_and_task_decomposition_survey_20260414.md(基线)methodology/human_llm_boundary_20260416_deep_research.md(Round 2 原始 sub-agent 产出)contexts/methodology/llm_context_multi_topic_capacity_survey_20260416.md(并行 session)methodology/task_decomposition_history_methodologies_survey_20260416.md(并行 session)
十一、未验证与待扩张
以下 claim 在当前轮次仍是单源或综合推断,使用时需注意:
- "人-LLM 功能性同构"限定在 working memory/constraint capacity 层面,在 Framing bias 和 counterfactual 上明显非同构
- CMU "12 子任务/P85" 仍是单源 (Round 1 已标注)
- Abduction 能力评估文献结论分裂,不应下统一判断
- 认知偏差的 pretraining vs RLHF 贡献比例是理论推断,缺乏实验分离
Round 3 推荐扩张方向:
- 推理模型的训练动力学:RLHF/RLAIF/GRPO/DPO 如何影响不同类型的推理?DeepSeek-R1 的 Aha moments 机制?
- Position bias 的 mechanistic 来源:Anthropic circuit tracing 能否定位 primacy 对应的 attention head?
- Multi-agent 场景下的偏差传播:agent A 的 sycophancy 会在 agent chain 中放大还是衰减?
- 人类 working memory 压力下的补偿策略 (metacognition + external tool) 能否移植到 agent 编排?
- Compositionality 的 formal 测试:用 COGS、CFQ 系统测 2025-2026 前沿模型。
- Sycophancy 的经济学:user-satisfaction-driven vs truth-driven AI 对订阅留存的量化影响。
本 session 字数: 约 6800 中文字 (不含 URL 列表、表格数字和代码片段)
基于的 sub-agent 原始产出: methodology/human_llm_boundary_20260416_deep_research.md
整合 Round 1 内容: 工作记忆机制、dual-process 理论、MAKER、指令诅咒公式