跳转至

skill-comply:自动化合规测量

通过以下方式测量编码智能体是否真正遵守技能、规则或智能体定义:

  1. 从任意 .md 文件自动生成预期行为序列(规范)
  2. 自动生成 Prompt 严格度逐步降低的场景(支持性 → 中立性 → 冲突性)
  3. 运行 claude -p,并通过 stream-json 获取工具调用跟踪
  4. 使用 LLM 而非正则表达式将工具调用分类到规范步骤
  5. 确定性地检查时间顺序
  6. 生成包含规范、Prompt 和时间线的自包含报告

支持的目标

  • 技能(skills/*/SKILL.md):搜索优先、TDD 指南等工作流技能
  • 规则(rules/common/*.md):testing.md、security.md、git-workflow.md 等强制性规则
  • 智能体定义(agents/*.md):智能体是否在预期场景中被调用(不支持内部工作流验证)

触发条件

  • 用户运行 /skill-comply <path>
  • 用户询问“这条规则是否真的被遵守?”
  • 添加新规则/技能后,确认智能体的合规情况
  • 作为质量维护的一部分定期运行

用法

# Full run
uv run python -m scripts.run ~/.claude/rules/common/testing.md

# Dry run (no cost, spec + scenarios only)
uv run python -m scripts.run --dry-run ~/.claude/skills/search-first/SKILL.md

# Custom models
uv run python -m scripts.run --gen-model haiku --model sonnet <path>

重要概念:Prompt 独立性

即使 Prompt 未明确支持,也测量技能/规则是否被遵守。

报告内容

报告是自包含的,包括:

  1. 预期行为序列(自动生成的规范)
  2. 场景 Prompt(每个严格度级别询问的内容)
  3. 每个场景的合规分数
  4. 带有 LLM 分类标签的工具调用时间线

高级内容(可选)

对于熟悉钩子的用户,报告还包含针对低合规率步骤的钩子强化建议。这是参考信息——主要价值在于可视化合规性本身。

本页原文 Markdown:在 AtomGit 查看·内容源自开源项目 ev/ECC