附录 B:评估速查表

七维度评估清单

维度 名称 关键问题 优先评估方法
1 Intent Satisfaction Agent 是否构建用户真正想要的? Session prefix rubric + LLM-as-judge + Human review
2 Functional Correctness 代码是否构建、运行、通过测试? Automated functional testing (pytest, jest)
3 Visual and Behavioural Correctness 渲染页面是否正确? Browser-based testing + Multimodal judge
4 Cost and Efficiency Token 成本、迭代次数、收敛速度? Observability metrics + Session outcome tracking
5 Code Quality and Convention 是否匹配项目风格规范? SAST/linters + Human review + LLM-as-judge
6 Trajectory Quality 是否采取合理路径? Trajectory inspection + Agent-as-judge
7 Self-Repair Behaviour 失败时是否有效恢复? Trajectory inspection + Session convergence

评估方法组合建议

生产级评估管道组合

第一层:自动化基线检查
├─ Automated functional testing (维度 2, 5)
├─ Security and safety evaluation (跨维度)
└─ Browser-based testing (维度 3)

第二层:智能评估
├─ LLM-as-judge (维度 1, 5, 6)
├─ Trajectory inspection (维度 6, 7)
└─ Online evaluation sampling (所有维度)

第三层:人工校准
├─ Human review (维度 1, 5, 安全)
└─ User corrections mining (失败模式发现)

外部校准:
└─ Standardized benchmarks (认知能力基线)