AMD宣布已与加拿大芯片初创公司Taalas达成收购协议,这家总部位于多伦多的团队专注于把AI模型的参数直接「烧」进芯片电路。交易于8月6日公布,双方均未透露具体金额,只表示尚待常规审批完成。
普通GPU每次推理都要把数十亿参数从内存搬到计算单元,这正是大模型推理的主要瓶颈。Taalas的做法很直接:芯片不再单独存储参数,而是把权重直接刻进晶体管里。其演示芯片HC1采用台积电6纳米工艺,芯片面积815平方毫米,集成530亿个晶体管,据官方测试,运行Llama 3.1 8B模型时每用户每秒可处理高达1.7万个token,测试中超过了英伟达H200、B200,以及Groq、SambaNova和Cerebras的芯片。
这种方案的代价是灵活性。围绕一个模型搭建的机架无法直接切换到另一个模型——芯片本身就是模型。Taalas表示,更新参数只需更换两层光刻掩膜,而不必重新设计整颗芯片,但每次改动仍需重新流片。这样的经济账,只有在模型用量巨大且长期稳定、不会每隔几个月就换代时才划算。
AMD将此次收购视为补齐推理产品线的一步。AMD高级副总裁、AI事业部负责人Vamsi Boppana表示,公司正在打造一套全栈AI平台,让客户能为每种负载选择合适的算力。AMD计划把Taalas的技术并入自家加速器路线图,与Instinct GPU、EPYC处理器、Helios机架平台以及ROCm软件协同——这正是AMD今年7月用来正面挑战英伟达的组合。Taalas联合创始人兼CEO Ljubisa Bajic表示,加入AMD将加快团队的研发节奏,公司2023年成立于多伦多。
目前HC1仍是演示芯片而非量产产品,交易金额也不会公开。但把宝押在「绑定单一模型」的芯片上,某种程度上是在对抗市场本身的节奏——大模型版本几周就迭代一次。AMD赌的是,专用推理芯片会在那些已经趋于稳定、不再频繁更新的模型身上找到用武之地。
