skill-comply:自动化合规测量¶
通过以下方式测量编码智能体是否真正遵守技能、规则或智能体定义:
- 从任意 .md 文件自动生成预期行为序列(规范)
- 自动生成 Prompt 严格度逐步降低的场景(支持性 → 中立性 → 冲突性)
- 运行
claude -p,并通过 stream-json 获取工具调用跟踪 - 使用 LLM 而非正则表达式将工具调用分类到规范步骤
- 确定性地检查时间顺序
- 生成包含规范、Prompt 和时间线的自包含报告
支持的目标¶
- 技能(
skills/*/SKILL.md):搜索优先、TDD 指南等工作流技能 - 规则(
rules/common/*.md):testing.md、security.md、git-workflow.md 等强制性规则 - 智能体定义(
agents/*.md):智能体是否在预期场景中被调用(不支持内部工作流验证)
触发条件¶
- 用户运行
/skill-comply <path> - 用户询问“这条规则是否真的被遵守?”
- 添加新规则/技能后,确认智能体的合规情况
- 作为质量维护的一部分定期运行
用法¶
# Full run
uv run python -m scripts.run ~/.claude/rules/common/testing.md
# Dry run (no cost, spec + scenarios only)
uv run python -m scripts.run --dry-run ~/.claude/skills/search-first/SKILL.md
# Custom models
uv run python -m scripts.run --gen-model haiku --model sonnet <path>
重要概念:Prompt 独立性¶
即使 Prompt 未明确支持,也测量技能/规则是否被遵守。
报告内容¶
报告是自包含的,包括:
- 预期行为序列(自动生成的规范)
- 场景 Prompt(每个严格度级别询问的内容)
- 每个场景的合规分数
- 带有 LLM 分类标签的工具调用时间线
高级内容(可选)¶
对于熟悉钩子的用户,报告还包含针对低合规率步骤的钩子强化建议。这是参考信息——主要价值在于可视化合规性本身。
本页原文 Markdown:在 AtomGit 查看·内容源自开源项目 ev/ECC