workflow_buildout_real_session_eval

Z3 全文↑ Z2 条目

道-方法 · 道层 skill 全文

本页是 <code>rules/skills/drafts/workflow_buildout_real_session_eval.md</code> 的逐字投影（仅隐私清洗，零改写）。

时点提示：本页是仓内文件 rules/skills/drafts/workflow_buildout_real_session_eval.md 的逐字投影（仅做隐私清洗：仓库根绝对路径→相对路径、家目录→~/；除此零改写）。若源文件后续有修订，以仓内真源为准。

报告元数据（frontmatter）

name: workflow_buildout_real_session_eval
description: 基于真实 Session 的 buildout 工具效果评估方法论（道）。给一个测试 agent 指明怎么验证 Context Infra Base Tooling Buildout 的某个功能（强制 skill 读取 / phase 安排 / gates / Codex 侧 parity）在真实使用场景下是否产出预期内容——取真实历史 prompt → 喂回 buildout 管线（派独立 worker session 跑）→ 捕获真实产出 → 过两层 oracle（确定层 + 强制语义层）→ 产物隔离不污染原环境。反对只测代码不验结果的自证 fixture。配套确定层工具 tools/eval_harness/。
type: Workflow（道层 / 评估方法论）
status: draft (Beta) — 晋级前需在 ≥1 次真实 buildout 功能评估上按本 skill 跑通 dogfood 并过两层 oracle，证据到 bounded 以上
created: 2026-06-30
version: 0.1.0 (draft)

真实 Session buildout 评估：测产出不测代码

一句话

buildout 的工具本质是大模型交互过程中的辅助处理逻辑（记录 / 确定层 / 语义层）。验证它「有没有效果」不能靠测试代码自证（14 个 gate 全是作者写 fixture 自证 = 表演式勤奋），必须取一个真实历史 prompt 喂回系统、派一个独立 worker session 跑、捕获真实产出、再由独立 oracle 判是否符合预期。「符合预期」不是被测系统自报，是第二独立 agent 读 worker 的真实产出（rollout / receipt / 文件）给出的可定位判决。

何时用

要验证 buildout 某个 live 功能在真实场景下是否产出预期内容：强制 skill 读取（读没读对 skill）、phase 安排（排没排对 phase）、gates（判得对不对）、Codex 侧 parity（合规还是只 delivered）。
要给一个专门的测试 session 一套操作指南，让它独立完成评估。
判一份评估 run 是否良构（取了真实 prompt？产物隔离了？两层 oracle 都跑了？）。

不用于：测 designed-not-built 的组件（P8 未授权的 S0-S13 不可测，只测 live runtime 面）；纯代码单元正确性（那归 pytest，不是本 skill 的真实场景评估）。

核心原则（理论地基）

理论母体 contexts/survey_sessions/requirement_anchored_context_sufficiency_architecture_20260531_manual.md：agent 不能自闭环，判「我合规了吗」与原任务同等代价且内部不可见。所以三条不可让渡：

真实输入，非合成。测试 prompt 取自真实历史（adhoc_jobs/git_baseline_completeness_20260424/out/extracted_prompts.jsonl，184 真实 prompt），不是为测试编的。合成 fixture 测不出真实场景的不确定性和边界。
绝不问被测系统「你做了吗」。oracle 只读 worker 的客观产出（rollout.jsonl / receipt ledger / 产出文件），机械抽取它真实读了哪些 skill、跑了哪些 phase（guidance_skill_trigger_test DESIGN.md:19-23 范式）。canary「delivered」不等于「compliance」——一个从不打开 skill 的 worker 也会让 canary=True（codex_trace_bridge.py:18-20），所以必须有独立 effect-verifier。
两层 oracle，语义层检查强制。确定层检查（机械检查 capture 信号）+ 语义层检查（独立 regulator 判产出真满足需求，给可定位反例非 1-bit）。硬纪律：现有 gate 的 regulator 默认 opt-out，本评估在 pass 决策处必须强制 regulator（reps≥1 真 provider，任何 skip 当 FLAG 不当 PASS），否则「真满足需求」判断从不执行。术语注：本 skill 通篇的「确定层/语义层」指检查位点（确定层检查/语义层检查），与系统能力位点的分层是同一分界原则的两次应用，定义唯一真源见 rules/DETERMINISTIC_SEMANTIC_LAYERS.md。

操作流程（测试 agent 照此执行）

选被测面 + 取真实 prompt：从 buildout live runtime 面里选一个（Codex 优先，因当前证据最弱）。从 git_baseline_completeness/out/extracted_prompts.jsonl 取一个真实 prompt，记 session 锚。
建隔离测试文件夹：python3 tools/eval_harness/make_test_folder.py --job <eval-job> --label <被测面>。得到测试结果区 runs/rNNN_*/ + worker workdir /tmp/eval_harness_<run_id>/（repo 树外）。
pre-snapshot：python3 tools/eval_harness/isolate_artifacts.py snapshot --watch tools --watch rules --watch contexts/tool_receipts --out runs/.../pre_snapshot.json（worker 运行前给原环境关键区取指纹）。
派独立 worker session 跑真实 prompt：worker 默认 Codex（免 hook 劫持），在 /tmp workdir 跑，注入被测面相关的 skill pointer + canary（复用 tools/session_dispatch 的 injected_skills + charter）。worker 拿逐字原始 prompt + task metadata（参考 e2e_probe_t652/PROBE_PROMPT.md payload 形态）。
捕获真实产出：解析 worker 的 events.jsonl / rollout + 交叉引用 unified receipt ledger（TR-00xxxx）+ phase_state cursor → capture.jsonl：{skills_read[], phases_ran[], gate_verdicts[], receipt_ids[]}。这是判「真做了什么」的客观证据。
产物隔离：python3 tools/eval_harness/isolate_artifacts.py isolate --workdir /tmp/... --dest runs/.../artifacts --pre runs/.../pre_snapshot.json --watch ... --report runs/.../isolation_check.md。copytree 产物进测试文件夹 + 证原环境无污染（no_pollution）。
两层 oracle 判决：

确定层：机械检查 capture.jsonl（读的 skill 对不对、phase 排得对不对、receipt 在不在）。
语义层（强制）：派独立 verifier（skill_check_agent 或 regulator，codex:high，forbidden_read 含 worker 成功叙事）问二元机械问题「worker 有没有应用 skill 的方法（不是有没有读）」，给可定位反例。
组合：任一层 FLAG → FLAG；两层 clear 才 PASS；skip 语义层当 FLAG。

负对照（mutation guard）：跑一个被 prompt 明确忽略 skill 的 worker，oracle 必须判它 non-compliant（而 canary 仍 True）——证 oracle 真能区分 applied vs never-opened，不是摆设。
收口判级：RUN.md 写 verdict + claim_ceiling（单 case = bounded_real_condition_validated，非 cross_validated）+ 残差。证据强度走 workflow_solid_decision_review。

用哪些工具 + skill 测哪个面（REQ-05d 映射表）

被测 buildout 面	用的工具	用的 skill	oracle 候选
Codex 侧 skill-compliance（最弱面，优先）	eval_harness（make_test_folder/isolate_artifacts）+ session_dispatch + skill_check_agent + codex_trace_bridge	本 skill + workflow_real_task_test_case_design	A 机械 replay（capture rollout 判 applied vs delivered）+ 负对照
强制 skill 读取（读没读对）	eval_harness + phase_state（receipts）+ skill_router_hook	本 skill	A（per_task_trigger_diff + receipt 锚 task_id，Fable E2 范式）
phase 安排（排没排对）	eval_harness + phase_state（cursor + stop_phase_check）	本 skill + workflow_phase_framework	A（phase event chain: armed→injection→advance→complete）
gates（判得对不对）	eval_harness + 目标 gate 的 check.py	本 skill + workflow_solid_decision_review	A + 已知结局对照
「armed 有没有正效果」	eval_harness（多 condition 矩阵）	本 skill	C 盲对照 A/B（armed vs decline baseline）
「产出真满足需求」	eval_harness + 独立 verifier	本 skill + workflow_session_claim_audit	B need-checklist（最贵，后期）

验收标准（一份评估 run 是否良构）

无上下文 agent 据这几条也能判：

测试 prompt 来自真实历史（有 session 锚），非合成。
产物隔离：worker 在 /tmp 跑，isolation_check.md 报 no_pollution，原环境 pre/post diff 干净。
capture.jsonl 存在且记录 worker 真实行为（skills_read/phases_ran/verdicts/receipts），非 worker 自报。
两层 oracle 都跑了：确定层 + 语义层（regulator 真 provider 跑过，非 --skip）。
有负对照证 oracle 能区分 applied vs never-opened（mutation guard）。
claim_ceiling 与证据强度一致（单 case = bounded，非 cross_validated）。
任一条缺 = 只能说「跑了局部测试」，不能说「真实场景评估完成」。

可用资源

确定层工具：tools/eval_harness/（make_test_folder / isolate_artifacts；P5 后加 replay_runner / capture_session / eval_oracle），路径查 tools/INDEX.md。
复用：tools/session_dispatch（派 worker + injected_skills）、tools/skill_check_agent（effect verifier）、tools/unified_gate/base.py（两层 oracle 骨架）、tools/cli_agent/codex_trace_bridge.py（canary）。
真实 prompt corpus：adhoc_jobs/git_baseline_completeness_20260424/out/extracted_prompts.jsonl。
设计真源：adhoc_jobs/buildout_real_session_eval_harness_20260630/design/（harness_architecture + oracle_multi_candidate + reading_ledger）。
道层联系：[[workflow_real_task_test_case_design]]（真实 case 契约 + read isolation + oracle）/ [[workflow_session_claim_audit]]（claim-vs-reality）/ [[workflow_solid_decision_review]]（证据定级）/ [[workflow_phase_framework]]（被测的 phase 安排面）。

已知失败模式（真实 run 登记）

open-ended 日常/复杂语言 × 无项目 CLAUDE.md × headless -p sonnet → 过度探索至超时（2026-07-20 P5 探针三点复现 + ADJ-1 预登记预警）：段A P-1（eval/SEGMENT_A_VERDICT.md:25-27，两次 -p rc=124，480s/590s，worker 深陷 repo 探索未收敛）与段B P-4/P-6（logs/results/probe_b_run.md:45 坑与降级记录，超时前深陷「核实 live 台账/深挖机制」）独立复现同一形态；超时=runner artifact 非消费失败——Face-A/B（读了什么）在超时前已完整落 transcript，故 delivery/consumption 层结论可靠，仅 applied-in-output 不可观测。应对两形态：(a) 派 worker 改 tmux 分段喂 prompt（phase_session_driver 形态，分段给任务而非一次性 open-ended）；(b) charter 加「先产出后核实」约束（要求 worker 先落一份最小产出文件再回头核实，使产出面在超时点已可观测）。判 verdict 时按存活 transcript + Face-D 在途文本定，不因超时第三次烧预算重跑（probe_b_run 先例）。

诚实 claim ceiling / 缺口

证据等级 bounded（纸面 + 2 确定工具落地）：本 skill 是设计综合（基于 P3 三路深读 + 理论母体 + 已验证先例 VCE/E2/landing_gate）。make_test_folder + isolate_artifacts 已 smoke test 过（含负对照）；replay_runner / capture_session / eval_oracle 设计完成、实现待 P5。未经真实 buildout 功能 dogfood 端到端验证。
捕获层（events.jsonl + receipt + phase cursor → capture.jsonl）是最大 net-new 组件，schema 待 P5 接真实 worker 输出后定（避免画靶射箭）。
只测 live runtime 面（Mode A 钩子链 / Mode B dispatch / canary）；designed-not-built 的 S0-S13 受 P8 授权阻断，不可测。
第一个 dogfood = Codex skill-compliance 面（经验性关 GAP-SHARED-005「delivery≠compliance」），P5 验。

← 返回道层 skill 索引 · 返回方法论区