智谱AI宣布开源 GLM 第四代模型 GLM-4-9B

GLM 技术团队于2023年3月14日开源了 ChatGLM-6B，引起了广泛的关注和认可。随后又开源了 ChatGLM3-6B，开发者对 GLM 第四代模型的开源充满期待。经过近半年的探索工作，GLM 技术团队推出了第四代 GLM 系列开源模型:GLM-4-9B。

GLM-4-9B 在预训练方面引入了大语言模型进行数据筛选，获得了10T 高质量多语言数据，数据量是 ChatGLM3-6B 的3倍以上。同时，采用了 FP8技术进行高效的预训练，训练效率提高了3.5倍。在有限显存的情况下，探索了性能极限，发现6B 模型性能有限。考虑到大多数用户的显存大小，将模型规模提升至9B，并将预训练计算量增加了5倍。

GLM-4-9B 模型具备更强大的推理性能、更长的上下文处理能力、多语言、多模态和 All Tools 等能力。包括基础版本 GLM-4-9B（8K）、对话版本 GLM-4-9B-Chat(128K)、超长上下文版本 GLM-4-9B-Chat-1M(1M)和多模态版本 GLM-4V-9B-Chat(8K)。

GLM-4-9B 的能力包括:

代码:

Github:https://github.com/THUDM/GLM-4

模型:

huggingface:https://huggingface.co/collections/THUDM/glm-4-665fcf188c414b03c2f7e3b7

魔搭社区:https://modelscope.cn/organization/ZhipuAI