邢波团队提出全开源倡议LLM360 让大模型实现真正的透明

开源模型在人工智能领域展现强大活力，但闭源策略限制了LLM（大型语言模型）的发展。邢波团队提出的LLM360全面开源倡议旨在解决这一问题。该框架明确了包括训练数据、代码、模型检查点和性能指标在内的各方面细节，为当前和未来的开源模型树立了透明度的样本。

论文地址:https://arxiv.org/pdf/2312.06550.pdf

项目网页:https://www.llm360.ai/

博客:https://www.llm360.ai/blog/introducing-llm360-fully-transparent-open-source-llms.html

LLM360的核心组成部分包括训练数据集、训练代码与配置、模型检查点以及性能指标。这一全方位的开源使得研究者可以更好地在社区中分享与流通，推动人工智能领域的开放合作研究。同时，LLM360框架下发布的AMBER和CRYSTALCODER是两个从头开始预训练的大型语言模型，为研究者提供了开发经验和性能评估结果。

AMBER是基于1.3T token进行预训练的7B英语语言模型，性能相对较强。而CRYSTALCODER是基于1.4T token训练的7B语言模型，在语言和代码任务之间取得了很好的平衡。这两个模型的开源不仅提供了性能评估结果，还为整个LLM领域的研究提供了实质性的经验和教训。

总体而言，LLM360的提出为大型语言模型的透明训练提供了一个标准，推动了开源模型的发展，加速了人工智能领域的进步。这一全面开源的趋势有望促进更多研究者的参与与合作，推动人工智能技术的不断创新。