伯克利分校推开放大模型Starling-7B 接受人工智能反馈训练

加州大学伯克利分校的研究人员推出了一款名为Starling-7B的开放式大型语言模型（LLM），采用了一种称为Reinforcement Learning from AI Feedback(RLAIF)的创新训练方法。

RLAIF的独特之处在于利用其他人工智能模型的反馈来提升性能，相较于传统的人工反馈，这种方法更具有成本效益、速度快、透明度高、可扩展性强的优势。Starling-7B基于新的Nectar数据集进行训练，包含183，000个聊天提示和380万个成对比较。

研究人员使用两个基准测试（MT-Bench和AlpacaEval）评估了Starling-7B的性能，这两个测试使用GPT-4进行评分，分别关注模型在简单指令跟随任务中的安全性和帮助性。Starling-7B在MT-Bench中表现良好，与OpenAI的GPT-4和GPT-4Turbo相媲美，在AlpacaEval中达到了与商业聊天机器人相当的水平。

研究人员指出，RLAIF主要改善了模型的帮助性和安全性，而在基本能力方面，如回答基于知识的问题、数学或编码等，改进较小。

尽管基准测试的实际应用有限，但对RLAIF的应用前景充满希望。研究人员建议的下一步是通过引入高质量的人工反馈数据，更好地调整模型以满足人类需求。

与此同时，研究人员强调，Starling-7B和其他类似的大型语言模型在需要推理或数学任务时仍然存在困难，并可能产生幻觉。他们将Nectar数据集、Starling-RM-7B-alpha奖励模型和Starling-LM-7B-alpha语言模型发布在Hugging Face上，并提供了研究许可证，代码和论文将很快公开。感兴趣的人还可以在聊天机器人领域测试该模型。