奔腾2 CPU+128MB内存成功运行Llama大模型:速度还挺快
12月30日消息,奔腾据媒体报道,存成EXO Labs最近发布了一段视频,功运展示了在一台26年历史的行L型速Windows 98奔腾2 PC上运行大模型(LLM)。
这台主频350MHz电脑成功启动进入Windows 98系统,大模度还随后EXO启动了基于Andrej Karpathy的挺快Llama2.c定制的纯C推理引擎,并要求LLM生成关于“Sleepy Joe”的奔腾故事,令人惊讶的存成是生成速度相当可观。
EXO Labs的功运这一壮举并非偶然,该组织自称为“民主化AI”而生,行L型速由牛津大学的大模度还研究人员和工程师组成,他们认为,挺快少数大型企业控制AI对文化、奔腾真理和社会的存成其他基本方面是不利的。
因此,功运EXO希望建立开放的基础设施,训练前沿模型,并使任何人在任何地方都能运行它们,这项在Windows 98上的AI演示,展示了即使在资源极其有限的情况下也能完成的事情。
EXO Labs在文章中详细描述了在Windows 98上运行Llama的过程,他们购买一台旧的Windows 98 PC作为项目基础,但面临了许多挑战。
将数据传输到老设备上就是一个不小的挑战,他们不得不使用“老式的FTP”通过古老机器的以太网端口进行文件传输。
编译现代代码以适应Windows 98可能是一个更大的挑战,EXO找到了Andrej Karpathy的llama2.c,可以总结为“700行纯C代码,可以运行Llama 2架构模型的推理”,Karpathy曾是特斯拉的AI主管,也是OpenAI的创始团队成员。
利用这个资源和旧的Borland C++ 5.02 IDE和编译器(以及一些轻微的调整),代码可以被制作成Windows 98兼容的可执行文件并运行,GitHub上有完成代码的链接。
使用260K LLM和Llama架构在Windows 98上实现了“35.9 tok/s”的速度,根据EXO的博客,升级到15M LLM后,生成速度略高于1 tok/s,Llama 3.2 1B的速度则慢得多,为0.0093 tok/s。
(责任编辑:娱乐)
- ·The ringer记者:像火箭这种没有得分手的球队,甚至是卡姆托马斯对他们来说都是急需的
- ·上赛季至今意甲参与进球效率:卢克曼断层领跑,劳塔罗迪巴拉在列
- ·仅1680元!群晖全新NAS直降:零门槛、秒上手
- ·1月1日开始!我国大中型客货车准驾年龄上限延长至63岁、摩托车放宽至70岁
- ·6连败!首支被淘汰出欧冠联赛的球队产生
- ·皇马先下一城!维尼修斯过掉门将后喂饼,姆巴佩打空门得手
- ·冲击第2冠!皇马洲际杯决赛首发:姆巴佩、维尼修斯、贝林出战
- ·好起来了!姆巴佩洲际杯决赛破门,为皇马出战的所有赛事都有进球
- ·[流言板]汉迪:科比的比赛没有缺点,给他的唯一建议是利用身体宽度
- ·记者:皇马今日开始备战联赛 姆巴佩今日将检查左腿伤势
- ·挑战同档最强品质!REDMI Turbo 4防水大满贯:支持IP66/IP68/IP69
- ·Windows本地AI开发神器!微软推出并开源AI Dev Gallery
- ·明星大咖云集:央视跨年晚会节目单公布
- ·意天空:虽然达尼洛不打算赛季中途离开尤文,但那不勒斯还在尝试
- ·如果马竞夺得欧冠和西甲冠军,小蜘蛛能否获得第一座金球奖?
- ·[流言板]五大囧!威金斯抢到篮板后欲发起反击,球脱手出界出现失误
- ·亚特兰大高层:原本没抱这么高期望竞争意甲冠军目标不留遗憾
- ·久保建英:希望日本队确定世界杯资格后,多交手实力更强的对手
- ·[流言板]图片报:塔的免签不再是拜仁讨论的话题,球员更倾向去巴萨
- ·摇粒绒内胆:贵人鸟三合一冲锋衣109元新低(单夹克99元)