工具与框架/2026-10-03/12 分钟Inspect 模型评分:开放式回答怎么打分,以及怎么避免被带偏Inspect 的 model_graded_qa 用另一个模型给开放式回答打 GRADE: C 或 GRADE: I。文档说明模型选择顺序、模板变量、固定标准与逐题标准、多数投票、等级抽取如何防注入,以及用 temperature=0 和 seed 让评分更可复现。
工具与框架/2026-10-03/16 分钟Inspect 入门:用任务、求解器和评分器搭起一次评测英国 AI Security Institute 的开源评测框架 Inspect:一次评测由数据集、求解器和评分器组成。教程按原顺序演示模型评分、选择题、沙箱中的工具 agent、自定义等价评分、自定义工具、日志数据框、现成编码 agent、eval_set 续跑,以及用扫描器复查拒绝回答。