私有评测集
了解评测覆盖的任务与能力范围，以及使用私有测试数据的原因和局限。
后端工程
服务逻辑、异常处理与测试验证。
覆盖能力服务契约与边界、重试策略与异常场景、CI 方案与对抗审计、事务状态与一致性、缓存策略与回归
查看评分细则 →前端交互
界面功能、交互行为与状态反馈。
覆盖能力布局与适配、交互行为、状态连续性、可访问性与反馈、状态校验与回归
查看评分细则 →知识推理
跨学科专业知识与复杂问题求解。
覆盖能力数学推理、计算机与 AI、自然科学与工程、生命科学与医学、人文社会与综合知识
查看评分细则 →为什么使用私有数据集
私有测试数据的作用与局限
不同榜单使用的任务、评分方式和模型设置各不相同，排名不能直接互换。私有测试数据可以补充公开基准，但仍需要检查任务和评分是否合理。
部分基准已接近得分上限
部分基准已出现饱和：当领先模型的成绩集中在高分区，分数就更难区分能力。评测需要有区分度的任务，以及持续的设计与维护。
公开测试题可能进入训练数据
公开测试内容可能进入训练数据，或被用于针对性优化。使用私有测试数据有助于减少这类风险。公开榜单不等于公开测试题，两者需要区分。
公开任务范围、评分方式和结果
ModelDial 按评测维度分别记录成绩，并介绍评分内容与实测结果。你可以比较模型迭代与思考档位，再结合自己的工作做判断。
数据是否私有不是质量保证。评测还需要合理的任务、可靠的评分和持续维护。
研究与行业实践
- When AI Benchmarks Plateau
ICML 2026：研究的 60 个基准中，接近一半出现饱和；抗饱和能力与专家设计有关，不能仅由测试数据是否公开判断。
- LiveBench
通过加入来自新近材料的问题、定期更新任务，降低测试数据污染风险。
- Scale · MASK
使用私有测试部分生成榜单，同时提供公开部分，监测过拟合并限制针对榜单的优化。