奔腾2 CPU+128MB内存成功运行Llama大模型:速度还挺快
12月30日消息,奔腾据媒体报道,存成EXO Labs最近发布了一段视频,功运展示了在一台26年历史的行L型速Windows 98奔腾2 PC上运行大模型(LLM)。
这台主频350MHz电脑成功启动进入Windows 98系统,大模度还随后EXO启动了基于Andrej Karpathy的挺快Llama2.c定制的纯C推理引擎,并要求LLM生成关于“Sleepy Joe”的奔腾故事,令人惊讶的存成是生成速度相当可观。
EXO Labs的功运这一壮举并非偶然,该组织自称为“民主化AI”而生,行L型速由牛津大学的大模度还研究人员和工程师组成,他们认为,挺快少数大型企业控制AI对文化、奔腾真理和社会的存成其他基本方面是不利的。
因此,功运EXO希望建立开放的基础设施,训练前沿模型,并使任何人在任何地方都能运行它们,这项在Windows 98上的AI演示,展示了即使在资源极其有限的情况下也能完成的事情。
EXO Labs在文章中详细描述了在Windows 98上运行Llama的过程,他们购买一台旧的Windows 98 PC作为项目基础,但面临了许多挑战。
将数据传输到老设备上就是一个不小的挑战,他们不得不使用“老式的FTP”通过古老机器的以太网端口进行文件传输。
编译现代代码以适应Windows 98可能是一个更大的挑战,EXO找到了Andrej Karpathy的llama2.c,可以总结为“700行纯C代码,可以运行Llama 2架构模型的推理”,Karpathy曾是特斯拉的AI主管,也是OpenAI的创始团队成员。
利用这个资源和旧的Borland C++ 5.02 IDE和编译器(以及一些轻微的调整),代码可以被制作成Windows 98兼容的可执行文件并运行,GitHub上有完成代码的链接。
使用260K LLM和Llama架构在Windows 98上实现了“35.9 tok/s”的速度,根据EXO的博客,升级到15M LLM后,生成速度略高于1 tok/s,Llama 3.2 1B的速度则慢得多,为0.0093 tok/s。
(责任编辑:探索)
- ·准心差点!约基奇上半场15中6得到16分10板5助1断 三分4中1
- ·事故频发!加拿大航空一客机降落遇故障并起火
- ·加盟皇马,身价却跌了姆巴佩1.8亿欧身价将迎来近2年首次下跌
- ·闯入4强!46岁新帅杀疯了:95天20场不败+赢17场,英超欧冠皆领跑
- ·京东方副总裁刘竞:干技术就要有干技术的尊严 不能只卷价格
- ·新晋世界第3!17岁亚马尔涨至1.8亿持平贝林,仅次维尼修斯哈兰德
- ·iPhone未进前三!国外网友票选2024最佳手机:谷歌、三星、索尼上榜
- ·晚餐多吃碳水VS.多吃脂肪蛋白质:哪种更健康? 出人意料
- ·博主:广州队可以从功勋球员找突破口,他们通过金元足球发家致富
- ·皮雷:我总是观察球员的技巧细节,恰尔汗奥卢真的进步了
- ·枪迷都看不下去了,摩根评论阿尔特塔言论:请告诉我他没这样说过
- ·[流言板]曼联近7位主帅前10场积分:索帅最高,阿莫林范加尔13分最低
- ·铭凡UN1250迷你主机首发1599元起:酷睿i5
- ·华硕新发Z890 RO姬二次元主板:宅男无法抗拒的战斗公主
- ·今天有点硬!恩比德谈赛前崴脚:情况还好 但圣诞大战必须打
- ·新双骄姆巴佩表现一般身价下降2000万,哈兰德2亿会下降多少
- ·[流言板]CBA常规赛:辽宁95
- ·宝骏首款旗舰轿车享境实车亮相:纯电/插混双动力 明年上半年上市
- ·[流言板]默里:威少是个很健谈的人,他做任何事情都会全力以赴
- ·剩4天!法院驳回巴萨临时注册请求奥尔莫月底仍未注册可自由离队