據《晚點 LatePost》報道,字節跳動正在討論訓練一個引數規模超過5萬億的模型,這一規模將超過阿里Qwen 3.8-Max(2.4萬億引數)和月之暗面K3(2.8萬億引數),成為國內已知引數規模最大的模型。不過,該計劃仍處於早期階段,不代表最終一定會發布。
新模型將由Seed Foundation負責人項亮主導,與大語言模型預訓練資料負責人沈科合作。為此,Seed正在重新梳理組織架構,劃分職責,分配資源。多位位元組人士透露,上半年Seed許多團隊在不斷反思,這是討論訓練超5萬億引數模型的原因之一——與其在現有尺寸上繼續追趕,不如把引數規模一次推到同行的數倍,爭取領先位置。有接近Seed的人士形容此舉“像一場賭博”。
位元組自成立以來一直推崇“大力出奇跡”:進入一個領域時,通常會成立不止一個團隊,投入大量資源,同時推進多個專案。此次討論的超大模型計劃,正是這一策略的延續。
業內普遍認為,模型規模越大,智慧水平往往越高,但訓練超大規模模型也意味著更高的算力成本和技術挑戰。位元組此舉若成行,將顯著提升其在大模型領域的競爭力,同時也可能加劇國內AI算力資源的爭奪。不過,由於計劃尚處早期,最終能否落地仍存變數。