核心导读与中文摘要
教产品与研发团队构建 100 条高信噪比业务测试集,对比响应时延、Token 成本与 LLM-as-a-Judge 一致性。
用 100 条业务黄金集做模型选型评估
公开榜单反映通用能力分布,但业务上线前仍需用贴近自身场景的 Golden Set(黄金测试集) 验证准确率、时延与单次请求成本。
四步构建高信噪比评估集
- 样本分层采样:从真实线上日志抽样 100 条请求(60% 高频常规、25% 长上下文/多约束、15% 恶意或边缘输入)。
- 明确可判定真值:为每条用例标注期望输出结构(JSON Schema、必含关键事实点或禁止幻觉项)。
- 多维度记录对比指标:
- 任务通过率(Exact Match / 结构化校验 + LLM-as-a-Judge 盲评)
- 首字延迟(TTFT)与完整输出耗时(P95)
- 按 1:3 输入输出比例折算的千次调用总成本
- 回归固化:每次更换模型版本或修改 System Prompt 前自动重跑该测试集,避免“修好 A 却搞坏 B”。
