3万亿参数的中国模型,塞进59张美国晶圆
Cerebras用Kimi K3算了一笔账:3万亿参数、93层、59张晶圆、每秒1000到2000+ token。账算得漂亮,但这篇官方博客从头到尾没有说这套系统真的跑起来过——它给出的是一份部署配方,不是一份实测报告。
- 01THE POST:10月22日,Cerebras发布官方技术博客,Kimi K3成为部署演算的主角。
- 02THE MATH:4比特量化、每层16GB、44GB片上内存——59张晶圆的账当场算清。
- 03THE CLAIM:流水线并行加权重不出片,宣称多万亿参数模型每秒1000到2000+ token。
WHAT HAPPENED发生了什么
10月22日,Cerebras发布技术博客《我们如何在Cerebras上部署万亿参数前沿模型》,用月之暗面开源的Kimi K3做例子。Kimi K3约3万亿参数,93层:69层线性注意力、24层全注意力。每张WSE-3T晶圆有44GB片上SRAM,权重按4比特量化后,每层约16GB。
账很好算:全注意力层要留出空间放KV缓存,一层独占一张晶圆,24层占24张;线性注意力层只保留固定大小的状态,两层合住一张,69层占35张。24加35,正好59张晶圆。权重全部住在片上、永不搬家,晶圆之间只传激活值,走RDMA以太网,每跳约2微秒。Cerebras称,多万亿参数模型在这套流水线上能跑出每秒1000到2000+ token。
THE FINE PRINT原文里藏着四个字:示例演算
Cerebras在开篇就写明,Kimi K3是一个“illustrative example”——示例演算。整篇博客是一套部署配方的推导:假设256k平均请求长度、4比特权重、8比特KV缓存,然后一步步算内存、算晶圆数、算并发。它证明的是“装得下”,不是“跑过了”。
独立科技媒体dailyinference的评价更直接:Cerebras没有说明这套Kimi K3布局是否真的运行过,也没有给出与宣称速度对应的独立验证结果、完整基准条件和实测功耗。营销叙事和工程实测之间,隔着一整篇博客的假设。
THE ARCHITECTURE BET能装下3万亿,靠的是模型先瘦身
这套数学成立的前提,是Kimi K3的混合架构:93层里69层是线性注意力,只保留固定大小的状态,不需要随上下文膨胀的KV缓存。换成一个全注意力模型,每一层都要在晶圆上留出KV缓存空间,59张这个数字立刻守不住。
换句话说,Cerebras的晶圆叙事和月之暗面的架构选择互相成就:模型先把注意力做“轻”,硬件才敢把权重全部锁在片上。2026年的推理竞赛,一半在比芯片,一半在比谁的模型更会给硬件省地方。
THE SIGNAL美国芯片的演示台上,站着中国模型
还有一个容易被滑过去的细节:Cerebras用来展示旗舰硬件的,不是美国实验室的闭源模型,而是一个中国团队的开源权重模型。Kimi K3.1 Pro刚在10月24日落地,Kimi系列已经成了全球推理基础设施的默认演示对象之一。
剧本和过去完全反过来了。过去是中国厂商拿美国模型测自己的卡,现在是美国厂商拿中国模型秀自己的晶圆。开源权重的扩散速度,正在重写“谁给谁站台”的顺序。
SIGNAL JUDGMENT账算得越漂亮,越要问跑过没有
Cerebras这篇博客的价值不在59这个数字,而在它把推理基础设施的竞争摊开成了一道人人可复算的数学题。但Tokenta Signal的判断不变:示例演算证明的是可能性,实测数据证明的才是能力。在功耗数字缺席之前,59张晶圆装下3万亿参数,是上半场,不是终场。
WHAT REMAINS UNCERTAIN还有什么不确定
EVIDENCE证据
官方原文的关键限定都在字里行间:Kimi K3被明确称为“illustrative example”(示例演算);1000–2000+ token/秒是面向多万亿参数模型的笼统口径,原文没有给出这套59晶圆布局的实测吞吐与功耗。
PRIMARY SOURCES原始来源
- Cerebras 官方博客:How Cerebras Deploys Trillion-Parameter AI Models
https://www.cerebras.ai/blog/how-we-deploy-trillion-parameter-frontier-models-on-cerebras - dailyinference:59 Wafers to Hold One Trillion-Parameter Model
https://dailyinference.news/articles/2026-10-25-59-wafers-to-hold-one-trillion-parameter-model-cerebrass-math-says/ - ai0.news 每日AI简报(2026-10-25):Cerebras Spans 59 Wafers for 3T Kimi
https://ai0.news/posts/2026-10-25-daily-digest/