提升大语言模型安全性的新方法，OpenAI 的 o1 模型已部署了该技术

研究人员推出了一种名为“深思熟虑的对齐”（Deliberative Alignment）的新方法，旨在提升大语言模型（LLMs）的安全性。当前安全培训存在诸多挑战，如模型从数据间接推断标准、缺乏考虑复杂提示的能力等。该方法直接教授模型安全规范，并将其融入推理过程中，使用模型生成的数据和思维链（CoT）进行推理，降低了安全训练的资源需求。

在监督微调（SFT）阶段，模型参考并推理安全规范，使用从基础模型生成的数据集进行训练。接着，在强化学习（RL）阶段，根据安全基准评估性能进一步完善模型的推理能力。不同于依赖人工标注数据的方法，“深思熟虑的对齐”使用模型生成的数据和思维链进行推理，降低了安全训练的资源需求。

OpenAI 的 o1 模型已部署了该技术，并在抵抗越狱提示方面表现出色。在 StrongREJECT 基准测试中，o1 模型得分为 0.88，显著高于 GPT-4o 的 0.37；此外，该技术还可以减少误拒，在 XSTest 数据集的良性提示中，o1 模型的准确率高达 93%。这项新技术通过训练模型明确推理安全策略，为复杂的伦理挑战提供了可扩展且可解释的解决方案。

以上信息来源于相关论文，请参阅原文获取更多详细内容。