Meta 和微软深度合作，正式推出下一代开源大语言模型 Llama 2，并宣布免费提供给研究和商业使用。
Llama 2 论文地址：Llama 2: Open Foundation and Fine-Tuned Chat Models
据介绍，相比于 Llama 1，Llama 2 的训练数据多了 40%，上下文长度是 Llama 1 的 2 倍，并采用了分组查询注意力机制。具体来说，Llama 2 预训练模型是在 2 万亿的 token 上训练的，微调 Chat 模型是在 100 万人类标记数据上训练的。
Meta 称 Llama 2 在许多外部基准测试中，包括推理、编码、熟练度和知识测试中，都超过其他模型表现。
Llama 2 包括 Llama 2 和 Llama 2-Chat，包含了 70 亿、130 亿和 700 亿参数 3 个版本，其中 Llama 2-Chat 针对双向对话进行了微调，并且跟 ChatGPT 类似， Llama 2-Chat 也经历了预训练阶段 (PT)、指令微调 (SFT) 以及人类反馈强化学习 (RLHF) 三个阶段。
Meta 表示 Llama 2 可免费用于研究和商业用途，开发者们可以直接在 Llama 2 官方网站下载该模型。
地址：https://ai.meta.com/resources/models-and-libraries/llama-downloads/
BTW，根据 Llama 2 的授权政策，如果企业的月活用户数超过 7 亿，则必须从 Meta 申请许可证。Meta 会对此类授权进行严格设限。
为了防止此前 LLaMA 泄漏后带来的深度伪造和色情聊天机器人等不良信息和产品的出现，Llama 2 已经过红队测试，避免模型产出不良和有害内容，并且为开发者们制定了使用指南和守则。
Meta 发布首个开源可商用大语言模型的举动，无疑是在硬刚 OpenAI 和谷歌两大巨头。毕竟 OpenAI 的 GPT-4 和谷歌的 PaLM 2 走的都是 “技术保密路线”。Meta 首席科学家、图灵奖获得者 Yann LeCun 认为，Meta 此举可能将改变大模型行业的竞争格局
微软 拥抱Meta， OpenAI，
llamallama 2chatopenai开发者大语言模型语言模型gpt预训练vqachatgpt使用指南palm科学家有害内容注意力机制token许可证注意力商业用途商业使用训练数据大模型上下文深度伪造预训练模型强化学习机器人gpt-4聊天机器人url
