世界短讯！6G显存玩转130亿参数大模型 RTX 2060用户发来贺电 AMD不配吗？
来源:快科技
发表时间:2023-05-19 17:48:55
Meta的大语言模型LLaMA 13B，现在用2060就能跑了~
羊驼家族的Alpaca和Vicuna也都能运行，显存最低只需要6G，简直是低VRAM用户的福音有木有。
(资料图片)
GitHub上的搭建教程火了之后，网友们纷纷跑来问苹果M2是不是也能跑。
这通操作的大致原理是利用最新版CUDA，可以将Transformer中任意数量的层放在GPU上运行。
与此前llama.cpp项目完全运行在CPU相比，用GPU替代一半的CPU可以将效率提高将近2倍。
而如果纯用GPU，这一数字将变成6倍。
网友实测的结果中，使用CPU每秒能跑2.1个token，而用GPU能跑3.2个。
生成的内容上，开发者成功用它跑出了“尼采文学”。
如何操作在开始搭建之前，我们需要先申请获得LLaMA的访问权限。
传送门：https://ai.facebook.com/blog/large-language-model-llama-meta-ai/
此外还需要有一个Linux环境。（Windows用户可以用WSL2）
准备工作完成之后，第一步是将llama.cpp克隆到本地。
如果没有安装CUDA，可以参考下面的步骤：
然后是建立micromamba环境，安装Python和PyTorch等工具。
接着需要在micromamba环境下安装一些包：
然后运行Python脚本以执行转换过程：
之后将其量化为4bit模式。
接着是新建一个txt文本文档，把提示词输入进去，然后就可以运行了。
这步当中-ngl后面的数字是可以修改的，它代表了转换层的数量。
当该值为18时，运行中消耗的VRAM为5.5GB，根据显存的大小最高可以调至40。
网友：AMD不配吗
这一教程出现之后，网友们的新玩具又增加了。
“苦OpenAI久矣”的网友更是感觉仿佛找到了光。
这位网友就表示自己太期待在自己的设备上运行LLM了，宁愿花5千美元购置设备也不想给OpenAI交一分钱。
但AMD用户可能就不那么兴奋了，甚至透露出了嫉妒之情。
这套方法要用到CUDA（英伟达专用），所以AMD是不配了吗？
那么，你期待用自己的设备跑大语言模型吗？
关键词：
-
世界短讯！6G显存玩转130亿参数大模型 RTX 2060用户发来贺电 AMD不配吗？
2023-05-19 -
每日看点！聚众斗殴未动手该怎么判刑
2023-05-19 -
情洒老区山水间——“组团式”帮扶庆阳工作侧记-世界最资讯
2023-05-19 -
环球短讯！我国首座斜截面提篮拱桥顶推到位
2023-05-19 -
暗黑破坏神4开发人员将在几周内处理测试版反馈 今日最新
2023-05-19 -
世界即时看！商务陪同
2023-05-19 -
环球视讯！河南2023监理工程师考试成绩啥时候查
2023-05-19 -
世界首例泰坦尼克号3D全景扫描图像完成， 探索沉船新发现-世界滚动
2023-05-19 -
当前时讯：五大重磅来袭 闪迪与闪迪大师亮相P&E2023
2023-05-19 -
鹤壁楼市真相：老城低价房或没房本，新区单价最高上万元-环球热点
2023-05-19 -
试驾2023款长城商用炮 工具车也能有温度_世界快播
2023-05-19 -
AI呼气测定仪可实时“嗅出”新冠
2023-05-19 -
天天热推荐：美晨生态：5月18日融资买入209.51万元，融资融券余额1.76亿元
2023-05-19 -
【新要闻】请留步，都市里有你温暖的家
2023-05-19 -
32国代表齐聚深圳 共话红树林保护未来
2023-05-19 -
总投资201亿元！桐乡时代锂电正极材料项目开工
2023-05-19 -
世界最资讯丨北京国管成为第一创业主要股东事项获核准
2023-05-19 -
尤文连续2年颗粒无收，上次还是09-11赛季
2023-05-19 -
百事通！新开源 焦作高分子材料有限公司_关于新开源 焦作高分子材料有限公司简介
2023-05-18 -
奔腾黑晶炉（黑晶炉） 新视野
2023-05-18 -
中国首部脑机接口领域伦理原则和治理建议书将发布-当前快看
2023-05-18 -
我苏漫评丨相约美好中国，共赴幸福旅程！|环球热头条
2023-05-18 -
国米官方：姆希塔良左大腿前直肌拉伤，未来几天再次接受评估
2023-05-18 -
专访高通孟樸：5G技术仍处于发展中期，还未释放全部潜力 全球热头条
2023-05-18 -
环球快消息！假如爱有天意影评_假如爱有天意好看吗
2023-05-18 -
周鸿祎称大模型发展中国一定要迎头赶上 谷歌 Colaboratory 将加入 AI 写代码功能 环球快播
2023-05-18 -
星火成炬 | 用热爱创造可能
2023-05-18 -
Deft直播看自己冠军皮肤：为什么英雄联盟里有我的皮肤？-环球讯息
2023-05-18 -
环球讯息：“校中厂”“订单班”全面开花技能人才就业质量提升
2023-05-18 -
云南前首富难挽"旧改王"颓势：俊发失守大本营昆明，拿地三年后退回|天天快播报
2023-05-18
-
守住网络直播的伦理底线
2021-12-16 -
石窟寺文化需要基于保护的“新开发”
2021-12-16 -
电影工作者不能远离生活
2021-12-16 -
提升隧道安全管控能力 智慧高速让司乘安心
2021-12-16 -
人民财评：提升消费体验，服务同样重要
2021-12-16 -
卫冕？突破？旗手？——武大靖留给北京冬奥会三大悬念
2021-12-16 -
新能源车险专属条款出台“三电”系统、起火燃烧等都可保
2021-12-16 -
美术作品中的党史 | 第97集《窗外》
2021-12-16 -
基金销售业务违规！浦发银行厦门分行等被厦门证监局责令改正
2021-12-16 -
保持稳定发展有支撑——从11月“成绩单”看中国经济走势
2021-12-16
