大语言模型评测陷信任危机：九成研究存方法缺陷

2025年11月8日，一项由牛津大学与华盛顿大学等机构联合开展的国际研究显示，当前大语言模型领域普遍采用的测试方法存在显著缺陷，严重影响了对人工智能发展水平的客观评估。研究人员系统梳理了2018年至2024年间在主要人工智能学术会议上发表的445篇基准测试相关论文，并组织29位领域专家进行评审，结果发现每一篇论文均存在至少一项重大方法论问题。

报告指出，多数基准测试在核心概念的界定上模糊不清或缺乏共识。尽管78%的测试体系声称涵盖特定能力评估，但其中半数未能对“推理”、“对齐”、“安全性”等关键术语作出明确说明，导致研究结论的基础薄弱，可信度不足。

在测试设计方面，约61%的基准测评的是复合型能力，例如“智能体行为”等综合表现。这类测试往往同时涉及意图理解、结构化输出生成等多个子任务，而各子项通常未被独立评估，使得最终结果难以准确归因和解释。

数据采样问题尤为突出，高达93%的论文采用了便利抽样方式，其中12%的研究完全依赖此类非代表性样本，无法有效反映模型在真实场景中的表现。此外，38%的测试存在数据复用现象，部分研究直接沿用已有测试集，增加了模型因接触训练数据而产生偏差的风险，尤其在数学推理等复杂任务中可能严重高估实际性能。

评估标准的设定同样存在不足。超过80%的研究以“完全匹配率”作为主要评分依据，但仅有16%采用了统计检验方法来判断模型间的差异是否显著，仅13%引入人工评价机制。绝大多数研究未提供误差范围、置信区间或不确定性分析，削弱了结果的科学性和可比性。

针对上述问题，研究团队提出了一系列改进建议。未来基准测试应清晰界定评估目标与适用边界，避免测试过程中混入无关因素；必须防范数据污染，确保测试集的独立性与代表性；同时应结合严谨的统计方法与定性分析，加强误差评估，从多维度提升测评结果的准确性与可靠性。