评估器 RAG 原型¶

ECC 2.0 需要一个证据驱动的测试框架评估循环，能够比较操作员提供的来自真实工作的候选项，同时不暗示模型学习，也不盲目修改用户的 Claude、Codex、OpenCode、dmux、Zed 或终端配置。该原型定义了该循环所需的最小只读工件集。

夹具集位于 examples/evaluator-rag-prototype/。 它始于 2026 年 5 月的过期 PR 清理与抢救通道，因为该通道具有真实输入、真实已接受工作和真实被拒绝工作。语料库现在还包括一个计费/Marketplace 就绪场景，以便发布文案不能将试运行发布证据或路线图意图视为实时计费状态。CI 失败诊断场景添加了代理为红色检查提出修复之前所需的日志优先工作流。测试框架配置质量场景在修改配置指导之前，将 MCP、插件、钩子、命令、代理和适配器建议与适配器矩阵保持关联。AgentShield 策略例外场景以 SARIF/报告证据、所有者字段、过期状态以及修复与例外决策作为安全例外的门槛。技能质量证据场景在技能修订可以被提升之前，要求观察到的失败或反馈证据、可运行示例、参考集缺口和验证命令。深度分析器证据场景在仓库或提交分析行为可以更改之前，要求分析器语料库用例、预期输出比较和风险分类证明。

参考压力¶

• Meta-Harness：将测试框架本身视为一个实验，包含场景规范、验证器结果和已提升的操作手册。
• Autocontext：在更改已安装的代理资产之前，存储跟踪、报告、工件和可复用改进。
• Claude HUD：暴露上下文、工具、待办事项、代理活动、检查和风险，以便评估器可以事后判断一次运行。
• Hermes Agent：保持技能、记忆、类似调度器的后续操作和终端网关行为显式，而不是隐藏本地命令。
• dmux、Orca、Superset 和 Ghast：保留工作树/会话状态，以便并行代理工作可以被比较、恢复或干净地关闭。
• ECC Tools：将评估器发现路由到 PR 评论、检查运行和 Linear 待办事项中，而不会淹没 GitHub。

工件契约¶

每个评估器/RAG 运行都是只读的，直到验证器提升一个操作手册。

该原型有意将检索与操作分离。一次运行可以检索已关闭 PR 的差异、Linear 状态、CI 历史和本地文档，但不能作为评估器运行的一部分关闭、合并、发布、打标签或重写配置。

阶段模型¶

1. 观察当前队列、脏工作树、分支状态、打开的 PR/问题、讨论、CI 状态和发布门槛。
2. 检索相关参考证据：过期抢救台账行、先前维护者 PR、当前文档、分析器发现、CI 失败和测试框架适配器规则。
3. 提出一个或多个操作手册，包含来源归属和预期验证门槛。
4. 根据明确的接受和拒绝规则验证每个操作手册。
5. 仅提升能够改进场景且不扩大影响范围的候选项。
6. 记录回滚指导和未解决的人工审查遗留项。

首个场景¶

首个场景是 stale-pr-salvage-maintainer-branch。

它模拟了 Affaan 在 2026 年 5 月清理期间设定的规则：过期关闭是队列卫生，而不是有用工作的丢失。有用的已关闭 PR 工作应移植到维护者拥有的 PR 中，并带有归属/反向链接，而生成的变更噪音、批量本地化和含义模糊的翻译工作应排除在盲目 cherry-pick 之外。

验证器接受一个维护者抢救分支，该分支：

• 注明来源 PR；
• 避免原始私有上下文和个人路径；
• 未经翻译人员审查不导入过期的批量本地化；
• 记录持久台账更新；
• 运行与正常代码、文档或目录变更相同的验证门槛；
• 将发布操作保留为需审批。

验证器拒绝一个盲目 cherry-pick 提案，该提案：

• 整体导入过期的翻译/文档变更噪音；
• 跳过当前目录/安装架构；
• 缺少归属；
• 缺少测试或台账更新；
• 修改发布或插件发布状态。

语料库夹具¶

根夹具文件保留原始的 stale-pr-salvage-maintainer-branch 原型。当额外场景重用相同的五工件契约时，可以放在子目录中。

当前语料库：

• stale-pr-salvage-maintainer-branch：通过带有归属和验证的维护者拥有的分支恢复有用的已关闭 PR 工作。
• billing-marketplace-readiness：在公开文案声称它们已上线之前，验证计费、App 和 Marketplace 发布声明。
• ci-failure-diagnosis：在 CI 修复操作手册可以被提升之前，要求失败作业日志、变更文件范围和指定的回归命令。
• harness-config-quality：在测试框架配置建议可以被提升之前，要求适配器状态、安装/入门路径、验证命令、风险说明和配置保留行为。
• agentshield-policy-exception：在策略例外可以被提升之前，要求 AgentShield SARIF 或报告证据、策略包来源、所有者/工单/范围/过期字段以及过期例外的强制执行。
• skill-quality-evidence：在技能修订可以被提升之前，要求聚焦的技能范围、观察到的失败或用户反馈证据、示例/参考集覆盖、验证命令和发布安全性。
• deep-analyzer-evidence：在深度分析行为可以被提升之前，要求维护的分析器语料库用例、预期输出比较、代表性的仓库/提交历史和回归命令。

ECC Tools 映射¶

ECC Tools 已经会为检索、嵌入、排序和评估器变更标记缺失的 RAG/评估器证据。该原型为这些检查提供了目标形态：

• scenario.json 映射到分析器语料输入。
• trace.json 映射到黄金轨迹和运行遥测。
• report.json 映射到 PR 评论摘要和 Linear 待办事项摘要。
• candidate-playbook.md 映射到建议的后续 PR 正文。
• verifier-result.json 映射到通过/失败检查运行证据。

未来的 ECC Tools 工作应在添加托管检索或模型支持的评判之前，将这些工件作为 fixture 形态消费。本地原型足以在引入任何付费 API 或向量存储之前证明契约。

晋升规则¶

只有满足以下条件时，候选项才能被晋升：

• 验证器结果为 accepted；
• 至少一个被拒绝的候选项证明验证器能够拒绝；
• 每个源 PR 或引用工件都有归属信息；
• 建议的操作由维护者负责且可逆；
• 验证命令已命名；
• 未解决的翻译、发布、计费或出版事项在单独批准之前保持阻塞。

下一步扩展¶

本地评估器/RAG 语料库现在覆盖当前证据桶。未来工作应在添加托管检索、向量存储、模型支持的评判或自动化检查运行晋升之前，从 ECC Tools 消费这些 fixture。