系统与北极星
Harness 是什么、五段闭环、Base Tooling 与 Skill 体系
北极星:我们在建什么
Harness(驾驭具)是什么:context-infra 是套在 LLM 执行者外面的一层装备。大模型自己缺两样东西:一是干净充分的输入(它不知道此刻该看什么、该用什么工具),二是不可自评的输出误差信号(它判断不了自己做没做完、对不对)。Harness 用确定层(脚本、cron、hook、账本这些零熵机械件)和独立核验者(另一个不带立场的 agent)把这两样补出来。
一句更朴素的翻译:Harness 的意义是把用户从三个人肉角色里解放出来。系统缺哪段,用户就在人肉充当哪段:缺使用时刻的误差信号,用户当传感器(得自己盯着哪里不对);缺完成判定,用户当裁决者(得自己判断做完了没);缺队列消费机制,用户当调度器(得自己敲 prompt 开工)。北极星就是把这三个角色逐一交还给系统,让人只留在方向层:给方向,以及回答「确实不确定且细节非常关键」的问题。
目标态:一次任务执行的五段闭环
| 段 | 目标态 | 今天的反例(实测) |
|---|---|---|
| 进(输入侧) | 正确时刻注入最小充分引导:及时(决策那一刻出现)、显著(不被噪声淹没)、可操作(下一步明确)。 | 今天的反例:一次 prompt 注入 18 个道 skill,引导信号淹死在自己的洪泛里。 |
| 做(执行侧) | 一切可机械化的负担由确定层承接(记录、对账、状态刷新、超时守护),agent 的注意力预算全部留给任务本身。 | 今天的反例:逐字台账靠 agent 手动 append,session 尾部注意力衰减后漏录用户消息。 |
| 判(输出侧) | 完成由外部误差信号判定:确定层判结构、独立第二 agent 判语义、给可定位反例;禁止自报。 | 今天的反例:description 追加文字冒充状态变更;记分牌打勾只看文件存在不读 verdict。 |
| 记(记录侧) | 需求、问题、残差自动进台账:逐字、带锚、可机械对账;收尾注册是机制不是自觉。 | 今天的反例:收尾注册合规率约 40%,整轮 campaign 零自主注册全靠用户追问。 |
| 转(闭环侧) | 台账有消费者:队列有启动机制(谁开工、何时开工、开工证据)、修复有回写面(做完的事在权威文档上可见)、方法论接注入面。 | 今天的反例:19 项已批 17 项零开工;修好的工具困在 session-ref 不进 main;scoreboard 快照停在所有修复之前。 |
判断任何一个新设计好不好,问一句就够:它让哪一段闭环更硬了?五段都不沾的设计,默认不做。
「可用且好用」判据
可用=landed 四条件(真实运行证据/可路由入口注册/进 git HEAD/被下游真实消费)+确定层触发正确性五条(注册在位/真实触发/行为正确/异常不静默/不在错误对象上触发)。
| 判据 | 一句话 | 探针位(可机械测) |
|---|---|---|
| U1 减负 | 能机械化的事不占 agent 注意力预算 | hook 延迟 SLO(单 hook P95<1s);agent 手动履行的「本应确定层」义务清单收敛到零 |
| U2 清晰 | 引导信号三属性:及时/显著/可操作 | 每 prompt 注入 skill 数封顶;FLAG 必带可定位反例 |
| U3 聚焦 | 一次只给相关的,防洪泛 | 单次注入字符量上限;与当前任务无关的注入计为缺陷 |
| U4 免记忆 | agent 不需要记得系统状态,系统在正确时刻告诉它 | 跨 phase/跨 session 状态由确定层重放;同一文件被迫重读次数→0 |
七条元原则(MP1–MP7,设计哲学提炼 campaign 产出)
这七条是对 60,363 个用户轮全量提炼后收敛出的元原则,是上面五段闭环与判据背后的更深一层依据。总纲本身尚未 commit 进 git、未回写北极星文件(见「决策台账」页哲学产物落地卡),这里先把内容本身正文化上站。
| 原则 | 一句话 |
|---|---|
| MP1 信任条件公理(生成根) | Harness 的存在就是制造并维持两个信任条件——目标清晰 + context 不饱和。这是全部语料里用户唯一明确称为「核心假设」的原则。 |
| MP2 判定权外移 | 执行者对自己的产出好/做完/完整没有裁决权;每个语义需求必须绑定确定层误差信号或独立第二核验者。 |
| MP3 需求原文是根锚 | 用户 prompt 逐字是全链根锚;转录/蒸馏/投影是派生物,不能反向充当源。 |
| MP4 熵控在源头 | 熵增长是 LLM 系统的运行常态;控制必须结构化、装在写入源头,不是下游打补丁。 |
| MP5 确定层 vs 语义层分工 | 可机械化的沉入确定层;语义判断永不冻结成确定工具。边界用比较性的三问测试判,双向越界都是缺陷。 |
| MP6 完成 = 真实效果被真实消费 | 实践是检验的最终标准:设计存在、流程走过、指标好看,都不构成完成。 |
| MP7 人只在方向层与关键不确定点 | 人的时间与认知带宽是系统的终局约束;整个闭环的输出面向方向判断与最小带宽收敛。 |
七条不是平列清单,是一个闭环:以需求原文为锚(MP3),在源头用结构控熵(MP4),由确定层制造可信任条件(MP1、MP5),条件之外一律外部核验(MP2),以真实消费定完成(MP6),最终只消耗人的方向判断与最小带宽(MP7)。
provenance:rules/HARNESS_NORTH_STAR.md(§1–§5,2026-07-05 首版) adhoc_jobs/design_philosophy_distillation_20260716/synthesis/HARNESS_DESIGN_PHILOSOPHY.md(第 1 章,601 行 v1.0)
Base Tooling:14 个域
Base Tooling 是支撑全部机制的工具集,按知识边界分 14 个域(tools/INDEX.md 注册 235 个工具)。每域一句话:
| 域 | 一句话介绍 |
|---|---|
| git_tooling | Git 安全与自动提交体系:三档危险操作守卫(记录/safety tag/HUMAN_GATE)、session-ref 层隔离(不建物理 worktree)、事故取证与 BUG_TRACKER 链。 |
| todo_system | 任务系统:todo intake 需求入口(逐字原文+执行序+requirement record 同一条脊柱)、todo add 一次性杂务、双向同步。 |
| ddp_design_doc_protocol | 需求-设计文档协议:需求↔意义↔设计↔状态四环链,报告必须锚设计需求。 |
| runtime_phase_skill_trace | phase 运行时+skill 注入+trace 三层统一机制:phase 驱动器续命推进、skill 声明随派发注入 worker、执行留痕。 |
| provider_routing_self_invocation | LLM 单一出口与 fallback:11 档家族-通道降级链、自调用引擎(同一二进制经环境变量指向不同订阅)、额度 scope 记账与恢复探测。 |
| orchestrator_dispatch_mode | 编排者派发模式:session_dispatch 确定层派发、worker 纪律(anti-slack 六条)、通道对账防静默降级。 |
| quality_gate_framework | 质量门框架:55 个 gate 注册的清单与挂载点,unified_gate 统一入口。 |
| final_report | 终报规范:收口三件套、诚实边界声明、claim 上限词表(bounded/validated)。 |
| guardian_daemon | 守护体系:guardian_health 监控 cron missed-run、scoreboard 计数、mismatch 落账。 |
| evolvable_workflow | 可演进工作流:版本演进 SOP(何时打版、打什么版)、skill 更新机制。 |
| cross_platform_hook_bridge | 跨平台 hook 桥:Claude Code 全套 hook 迁移到 Codex 与 OpenCode 并 live。 |
| cross_cutting | 跨切关注点:错误追踪、回执互认等被多域共享的底层机制。 |
| error_trace_feedback | 错误追踪反馈:error_ledger 到 requirement 的硬闸,失败必须入账。 |
| file_system_architecture | 文件系统架构:单一文件原则(一类信息一个真源)、WORKSPACE 路由表、fa-3 schema。 |
本站内容里反复出现的工具面
| 工具面 | 职责 |
|---|---|
| tools/llm_runtime/ | provider 控制面:providers.conf(链真源)、provider_info.py(llm info 查询)、provider_docs_render.py(GENERATED 渲染)、check_provider_docs_sync.py(防漂移 gate)、健康巡检。 |
| tools/git/ | git 工具族:git_guard.sh(危险操作守卫)、commit_wrapper/stop_hook(自动提交)、BUG_TRACKER.md(三条 FIXED 登记)、main_index_reconcile.sh(幽灵 staged 回收器,cron 待恢复)。 |
| tools/state_mechanism/ | State 机制 v0:parse_providers.py(链解析+语义指纹,D1/D3 共享)、gen_provider_chain.py、staleness_probe.py(探针)。 |
| tools/skill_router_hook/ | 注入路由:route_on_prompt.py(deliver-then-persist 修复对象)、route_hint.py(新根 Layer A)。 |
| tools/session_dispatch/ | 确定层派发:worker 纪律注入、通道钉链、receipt 对账。 |
Skill 体系(103 个,道/术分层)
Skill 是 agent 可复用的流程与最佳实践,当前共 103 个,按两个正交维度组织。类型维度:API(工具用法)/Workflow(多步流程)/BestPractice(最佳实践)/Draft(草稿)。道术维度:道=方法引导层(55 个),产出是判断、方法、纪律,告诉系统怎么顶层思考;术=技术实现层(48 个),产出是具体产物与操作结果,限定场景怎么做。
路由机制:每次 session 启动时注入路由纪律(_DAO_ROUTING.md),按任务特征匹配该读的道 skill;运行时 route_on_prompt hook 按 prompt 内容做精准匹配注入(r012 注入 v3 终裁:树状 INDEX 全量可见保全面性,道级正文按协调+判断精准注入保洁净,永禁 top-K 兜底,术级只注入 description)。注入 v3 实测载荷 1340B,是旧全文制的约 1%。
Provider 降级链(11 档自动级联)
LLM 调用的单一出口是 router,按 11 档降级链自动级联:上一档失败(额度尽/限流/错误)自动尝试下一档,无需人工介入。链序本身也是决策产物(Kimi 经用户指示降级到 GLM 与 Cursor 之后)。当前链(与仓根 STATE.md GENERATED 区同指纹):
1. codex-oc:high2. glm-oc:high3. claude-zai:high4. grok-cursor:high5. composer-cursor:medium6. kimi-oc:medium7. claude-kimi:medium8. glm-ollama:high9. kimi-ollama:medium10. codex:xhigh11. claude:high
- 额度识别自动(rate limit 正则);恢复检测半自动(被动记账,真实流量触发才推进)
- 健康巡检 cron 已装:raw 模式每 2 天一次、零生成 token;全链真实派发验证保持手动
- 查任意一档的模型/context/额度实况:llm info <tier>(D1 S1 已落地)
provenance:tools/INDEX.md rules/skills/INDEX.md tools/llm_runtime/providers.conf STATE.md(仓根)
dashboard data: generated 2026-07-19T14:05:10.073Z from 5 SSOT files