OpenAI 开源 SimpleQA 新基准，专治大模型“胡言乱语”

为了评估语言模型在回答简短事实寻求问题方面的能力，OpenAI宣布开源一个名为SimpleQA的新基准。当前的语言模型有时会生成错误输出或未经证实的答案，这个问题被称为“幻觉”。因此，能够更准确地生成少幻觉答案的语言模型更具可靠性，并且可以应用于更广泛的领域。

OpenAI表示，他们希望通过SimpleQA创建一个具有以下特点的数据集：

高正确性：参考答案由两名独立AI训练师验证以确保公正性。

多样性：SimpleEA覆盖了广泛主题范围，包括科学技术、电视节目和电子游戏等。

前沿挑战性：与早期基准如TriviaQA（2017年）或NQ（2019年）相比，SimpleEA更具挑战性，特别针对像GPT-4o这样的前沿模型而言，在该测试中得分不到40%。

高效用户体验：SimpleEA的问题和答案简洁明了，操作快速高效，并且可以通过OpenAI API进行快速评分。此外，包含4326个问题的Simple EA在评估中应具有较低的方差。

简单EA将是一个具有挑战性的基准，用于评估前沿模型的事实准确性。然而，它存在主要限制——尽管简单EA准确，但它只衡量短查询受限设置中的事实准确性，并有一个可验证的答案。目前还不清楚模型在长篇、多事实内容中的表现是否与其在短回答中的表现相关。

OpenAI希望通过开源Simple EA来进一步推动AI研究的发展，使模型更加可信并富有可靠性。