斯坦福推可以在手机端跑的大模型 Octopusv2超越GPT-4一夜爆火

斯坦福大学的研究团队近日推出了一款名为Octopusv2的新型人工智能模型，这款模型以其在端侧设备上的强大运行能力而受到广泛关注。

Octopusv2是一款拥有20亿参数的开源语言模型，专为在Android设备上运行而设计，同时也适用于汽车、个人电脑等其他端侧设备。该模型在准确性和延迟方面的表现超越了GPT-4，并且在上下文长度上减少了95%，显示出了显著的性能优势。

论文:Octopus v2: On-device language model for super agent

论文地址:https://arxiv.org/abs/2404.01744

模型主页:https://huggingface.co/NexaAIDev/Octopus-v2

Octopusv2的推出，标志着设备端AI智能体时代的来临。与传统的云端AI模型相比，端侧AI模型能够在本地设备上直接处理数据，减少了对网络的依赖，提高了数据处理的速度和隐私性。Octopusv2的下载量在短时间内突破了2000次，显示出开发者社区对其的高度认可和兴趣。

Octopus-V2-2B模型的开发过程中，研究团队采用了创新的函数token策略，这使得模型在训练和推理阶段能够高效地生成复杂的函数调用。为了训练、验证和测试模型，团队创建了高质量的数据集，并采用了Google Gemini进行二进制验证支持。此外，研究团队还编写了20个Android API描述，用于模型的训练，以确保其在实际应用中的高效性和准确性。

在模型开发与训练方面，Octopusv2采用了Google Gemma-2B模型作为预训练基础，并结合了完整模型训练和LoRA模型训练两种方法。通过这些方法，模型在保持与GPT-4相当的性能水平的同时，显著提高了推理速度。在单个GPU上运行Octopus-V2-2B模型的代码也已经公开，方便开发者进行实验和应用。

在性能评估方面，Octopus-V2-2B在基准测试中表现出了卓越的推理速度，比Llama7B+RAG解决方案快36倍，并且在函数调用准确率上超越了31%。

与依赖集群A100/H100GPU的GPT-4-turbo相比，Octopus-V2-2B的速度提高了168%。这些效率上的突破，使得Octopus-V2-2B在速度和准确率上都展现出了强大的竞争力。

随着Octopusv2的推出，我们有理由相信，端侧AI的发展将为各种应用带来革命性的变革。无论是在智能手机、汽车还是个人电脑等设备上，Octopusv2都能够提供高效、准确的AI支持，推动智能设备向更加智能化的方向发展。对于那些对AI技术充满热情的开发者和企业来说，Octopusv2无疑提供了一个全新的平台，以探索和实现更多创新的应用场景。