附录 B:评估速查表
七维度评估清单
| 维度 | 名称 | 关键问题 | 优先评估方法 |
|---|---|---|---|
| 1 | Intent Satisfaction | Agent 是否构建用户真正想要的? | Session prefix rubric + LLM-as-judge + Human review |
| 2 | Functional Correctness | 代码是否构建、运行、通过测试? | Automated functional testing (pytest, jest) |
| 3 | Visual and Behavioural Correctness | 渲染页面是否正确? | Browser-based testing + Multimodal judge |
| 4 | Cost and Efficiency | Token 成本、迭代次数、收敛速度? | Observability metrics + Session outcome tracking |
| 5 | Code Quality and Convention | 是否匹配项目风格规范? | SAST/linters + Human review + LLM-as-judge |
| 6 | Trajectory Quality | 是否采取合理路径? | Trajectory inspection + Agent-as-judge |
| 7 | Self-Repair Behaviour | 失败时是否有效恢复? | Trajectory inspection + Session convergence |
评估方法组合建议
生产级评估管道组合:
第一层:自动化基线检查
├─ Automated functional testing (维度 2, 5)
├─ Security and safety evaluation (跨维度)
└─ Browser-based testing (维度 3)
第二层:智能评估
├─ LLM-as-judge (维度 1, 5, 6)
├─ Trajectory inspection (维度 6, 7)
└─ Online evaluation sampling (所有维度)
第三层:人工校准
├─ Human review (维度 1, 5, 安全)
└─ User corrections mining (失败模式发现)
外部校准:
└─ Standardized benchmarks (认知能力基线)