近日，微软推出了一款名为Phi-3系列的小型AI模型，该模型在AI领域引起了广泛关注。Phi-3系列中的Phi-3-mini模型，仅拥有3.8B参数，却在多项基准测试中超越了拥有8B参数的Llama3模型。
微软特别强调，经过4bit量化处理的Phi-3-mini能够在iPhone14Pro和iPhone15使用的苹果A16芯片上实现每秒12token的运行速度，这标志着手机上能本地运行的最佳开源模型已经达到了ChatGPT的水平。
微软在技术报告中展示了Phi-3系列的多项优势。除了Phi-3-mini之外，还有Phi-3-small和Phi-3-medium两个版本，分别拥有7B和14B参数。Phi-3-small支持多语言，并使用了tiktoken分词器以及增加了10%多语种数据。而Phi-3-medium在更多数据上进行了训练，已在多数测试中超越了GPT-3.5和Mixtral8x7b MoE。
Phi-3系列的成功得益于其独特的训练方法。微软团队发现，仅仅增加参数量并不是提升模型性能的唯一途径。他们通过精心设计训练数据，特别是利用大型语言模型生成合成数据，并结合严格筛选的高质量数据，显著提升了中小模型的性能。Phi-3系列的训练数据量巨大，其中Phi-3-medium使用了高达4.8万亿token的数据，并通过独特的指令微调和RLHF训练，提高了模型的对话能力和安全性。
尽管如此，小型模型在存储事实和知识方面仍有局限，这从TriviaQA测试的低分中可见一斑。微软提出，通过联网接入搜索引擎可以缓解这一问题。微软研究院团队表示，他们将继续沿着小模型和数据工程的道路前进，并计划增强小模型的多语言能力和安全性。
微软的这一举措在开源社区中引起了热烈讨论，许多网友认为这给OpenAI带来了压力，需要OpenAI尽快推出GPT-3.5的后继产品以维持其在AI领域的领先地位。
论文地址:https://arxiv.org/pdf/2404.14219.pdf
mediumgpttokeniphone安全性gpt-3训练数据pdf多语言gpt-3.5openaillama模型性能本地运行小型模型模型生成ai模型多语种chat开源模型
