AMD 已同意收購加拿大 AI 初創公司 Taalas,後者採用一種獨特技術:將 AI 模型的架構與訓練引數直接嵌入晶片硬體中。這一做法使推理速度極快,但代價是每顆晶片只能執行單一模型。據 The Decoder 報道,Taalas 的演示晶片在執行 Llama 3.1-8B 模型時,每使用者每秒可處理超過 16,000 個 token,速度遠超同類硬體。
Taalas 成立於 2023 年,總部位於多倫多,今年 2 月才結束隱身模式公開亮相。其核心思路是“把模型燒進矽片”,即通過硬體化模型權重,省去傳統晶片在執行時載入和計算權重的步驟,從而大幅提升推理效率。不過,這種設計也意味著晶片無法靈活切換模型,一旦模型更新,可能需要重新設計晶片。
AMD 計劃將 Taalas 的技術整合進其加速器路線圖,並作為系統級解決方案與 Instinct GPU 一同提供。AMD AI 部門高階副總裁 Vamsi Boppana 表示,這筆交易將增強公司的 AI 產品組合。Taalas 聯合創始人 Ljubisa Bajic 則稱,AMD 提供了初創公司所需的規模與渠道。
值得注意的是,谷歌據報也在研發類似思路的晶片,用於其 Gemini 模型。這表明“模型硬體化”正成為 AI 晶片領域的一個新方向,儘管其靈活性受限,但在特定場景下可能具有效能優勢。
此次收購尚需通過常規監管審批。交易完成後,Taalas 的技術將如何與 AMD 現有產品線融合,以及能否在競爭激烈的 AI 晶片市場中佔據一席之地,仍有待觀察。