ARTICLE / DEEP READING

行业资讯

将值得长期关注的观点与事实整理成更清晰的阅读内容。

易胜博·(中国)官方网站 行业资讯 3210亿参数塞进单张显卡,26 token每秒跑起来了
3210亿参数塞进单张显卡,26 token每秒跑起来了文章展示图片
READ
IN DEPTH

FEATURED ARTICLE

3210亿参数塞进单张显卡,26 token每秒跑起来了

本篇体育资讯由易胜博整理:

把总参数 3210亿 的模型塞进一台只有一张显卡的机器里,这件事现在有了开源方案。

免费开源工具「Project Maya」给出的思路很直接:不要求你把几百GB的模型权重全塞进显存,而是把显存、内存、固态硬盘拼成一个层级,条件凑齐就能跑。

它支持的模型清单不止一个:GLM-5.

3(744B)、GLM-5.

3-Flash(321B)、DeepSeek-V4.

1-Flash(748B)、MiniMax-M3.

1-Flash(428B),一套引擎、一块面板,对外提供与 OpenAI、Anthropic 兼容的接口。

GLM-5.

3-Flash 是这里的主角。

3210亿总参数,能写文章、写代码,也能读取图片内容。

公开的用户实测数据里,单张 RTX 3090 的配置跑出每秒 26 token ;

两张 RTX 5090 加一张 RTX 4090 的配置跑到每秒 148.

6 token 。

token 是模型处理文本的单位,这个数值越大,回答显示得越快。

不过两次测量的条件不同,光看显卡数量没法直接比速度。

并发方面,Project Maya 最多同时处理 8 个请求 ,面向多人使用和 AI 编程代理的场景。

8 路并发不等于 8 倍生成速度,它的意义是把多个请求并行接住,而不是把单条回答加速八倍。

为什么装不进显存的模型能跑起来 关键在于 MoE,也就是混合专家结构。

模型内部准备了多个叫「Expert」的专门计算单元,常用的专家放在显卡显存里,接下来要用的挪到内存,剩下的存进固态硬盘,按需换入换出。

显存不够,就用内存和硬盘顶上。

另一层工夫是量化,把模型数值用更少的比特存下来。

GLM-5.

3-Flash 对应的版本有这么几档: Maya-XS :73.

4GB Maya-S :96.

5GB,标准版 Maya-S24 :面向 24GB 以下显存的显卡 Maya-M :116GB Maya-L :156.

3GB 官方零样本评测给出的精度保持率是:Maya-XS 为原 FP8 模型的 92.

4% ,Maya-S 为 97.

9% ,Maya-L 为 99.

2% 。

这组数字是特定评测题目的相对值,不等于所有问题的正确率。

about image

跑起来到底要多少内存 官方文档给出的推荐显存加主内存合计:Maya-XS 为 88GB ,Maya-S 为 128GB ,Maya-L 为 192GB 。

最低运行条件是支持的显卡、32GB 主内存加固态硬盘。

但最低条件不等于能启动。

实际拿 64GB 主内存配一张 8GB 显存的显卡去启动,程序直接报「显存不足」,起不来。

想省显存,得先看清楚自己卡在哪一档。

对想在自己机器上跑大模型的人来说,Project Maya 多了一个选项。

代价是动手之前得把内存容量和固态硬盘性能这两笔账算清楚,否则卡在启动那一步,参数再大也只是一串数字。

特别

以上内容由易胜博整理发布。

SHARE THE IDEA

觉得有用?分享给朋友

让更多人看到这篇内容。

返回资讯列表

YOU MAY ALSO LIKE

推荐阅读

TRENDING STORIES

热点新闻

自批打出生涯最烂八场!后场核心19+15触底反弹依然难救公牛

自批打出生涯最烂八场!后场核心19+15触底反弹依然难救公牛

根据The Chicago Sun-Times记者Jeff Agrest的消息,乔什-吉迪(Josh Giddey)对自己赛季初的慢热表现“痛苦地清楚”。在出战的前八场比赛中,公牛的首发控球后卫场均出场27.3分钟,得到9.3分、7.6次助攻和4.6个篮板,三项命中率为低水准的38.9%/28.6%/66.7%。 吉迪在上周训练结束后说道:就这段时间而言,我可能打出了我职业生涯中最糟糕的八场比赛。

支持率仅4.3%!知道自己提前淘汰后,郑丽文要为两岸关系定方向?

支持率仅4.3%!知道自己提前淘汰后,郑丽文要为两岸关系定方向?

这种做法在岛内争议很大,但从整个台海棋局看,她的坚持,至少给和平多留了一个可能。 更难看的是党内基本盘,愿意让她代表出征的比例仅3%,连自己人都不挺她了。 时间往回拨一下。2025年10月,她当选党主席时得票过半,个人好感度冲到30.4%,一时风头无两。可短短几个月,好感度掉到19.8%,2028支持率直接跌穿。 这种落差摆在面前,任何一个混过岛内选举的人都懂——她的领导人之路,已经提前关门了。

林青霞张曼玉同框:顶级美人的差距,从来不在五官,在骨相与气场

林青霞张曼玉同框:顶级美人的差距,从来不在五官,在骨相与气场

港圈黄金时代的同框,从来不会让人失望。 林青霞和张曼玉站在一起的画面,放了三十年再看,依旧是华语影坛审美天花板级别的名场面。 一个英气逼人,自带山河开阔的气场。 一个灵动妩媚,眼里藏着说不完的故事。 明明是完全不同的长相与路数,却各自美出了不可复制的高度。 林青霞:骨相里的英气,是男女通杀的顶级底色 徐克说,五十年才出一个林青霞。 她的美,最特别的地方在于 打破了性别的边界 。 不是传统意义上的柔

DeepSeek:跑同一模型,英伟达一年回本

DeepSeek:跑同一模型,英伟达一年回本

2026年10月20日,DeepSeek把内部推理框架DeepInfer整个翻出来开源,顺手摊开一笔账,当场把行业看愣:同一套模型,英伟达旗舰卡跑满约一年才收回成本,国产阵营的卡一个多月便回本。 一派直呼算力溢价的神话算是破了,另一派却泼来冷水:这笔账的测算前提,得先打个问号。 一台印钞机器多久回本,怎么突然成了中美算力交锋的新战场? 01 回本账的三层数字各有出处 这套引擎从根上就同时支持英伟达

欧国联八强抽签将启,西班牙法国英格兰谁捧杯?

欧国联八强抽签将启,西班牙法国英格兰谁捧杯?

2026-27赛季欧洲国家联赛小组赛阶段告一段落,八强抽签即将进行。西班牙、英格兰、法国、葡萄牙、比利时等队都还在争夺冠军的序列里。 抽签定于 11月20日星期五 在瑞士尼翁的欧足联总部举行,北京时间对应晚间。参加抽签的是甲级联赛的八支球队,同组球队在四分之一决赛中不会相遇。 种子排位规则很直接:四个小组头名成为种子队,两回合的第二回合在主场进行;四个小组第二名先打主场,承办首回合。两回合较量安排