羊驼系列大模型LLaMa、Alpaca、Vicuna

羊驼系列大模型LLaMa、Alpaca、Vicuna

    正在检查是否收录...

羊驼系列大模型:大模型的安卓系统

GPT系列:类比ios系统,不开源

LLaMa让大模型平民化

LLaMa优势

用到的数据:大部分英语、西班牙语,少中文

模型下载地址

https://huggingface.co/meta-llama

Alpaca模型

Alpaca是斯坦福从Meta的LLaMA 7B微调而来的全新模型 (套壳)仅用了52k数据,性能约等于GPT-3.5。

训练成本奇低,总成本不到600美元

在8个80GB A100上训练了3个小时,不到100美元; 生成数据使用OpenAl的AP1,500美元。(数据标注: 问题问chatgpt,用它的回答作为标注数据)

Alpaca模型的训练

Vicuna模型

Vicuna简介

具体工作流程

用GPT4做评估,用更厉害的大模型做大模型

ChatGPT没找到合适的盈利模式

诸驼对比

华驼模型

百川大模型

LLaMa+中文数据

LLaMa2.0

具备人的情商

国内大模型清华6B(中英文数据各一半)、百度文心一言是原创,其它的套壳。

找大模型工作不要找研究型工作,而要找将大模型落地的工作。

微调的本质

原生llama用的通用语料 在自己的数据上进行微调,让模型能够满足自己的需求

羊驼系列的共性

大模型llamagptalpacachatgptchatgpt-3数据标注ios工作流中英文工作流程百度文心huggingfacegpt4llama2盈利模式西班牙语gpt-3.5
  • 本文作者:李琛
  • 本文链接: https://wapzz.net/post-16517.html
  • 版权声明:本博客所有文章除特别声明外,均默认采用 CC BY-NC-SA 4.0 许可协议。
本站部分内容来源于网络转载,仅供学习交流使用。如涉及版权问题,请及时联系我们,我们将第一时间处理。
文章很赞!支持一下吧 还没有人为TA充电
为TA充电
还没有人为TA充电
0
  • 支付宝打赏
    支付宝扫一扫
  • 微信打赏
    微信扫一扫
感谢支持
文章很赞!支持一下吧
关于作者
2.3W+
5
0
1
WAP站长官方

微软为团队推出了 Copilot

上一篇

【Xiao.Lei】- Copilot插件完全指南:提高开发效率的利器

下一篇
  • 复制图片
按住ctrl可打开默认菜单