据《晚点 LatePost》报道,字节跳动正在讨论训练一个参数规模超过5万亿的模型,这一规模将超过阿里Qwen 3.8-Max(2.4万亿参数)和月之暗面K3(2.8万亿参数),成为国内已知参数规模最大的模型。不过,该计划仍处于早期阶段,不代表最终一定会发布。

新模型将由Seed Foundation负责人项亮主导,与大语言模型预训练数据负责人沈科合作。为此,Seed正在重新梳理组织架构,划分职责,分配资源。多位字节人士透露,上半年Seed许多团队在不断反思,这是讨论训练超5万亿参数模型的原因之一——与其在现有尺寸上继续追赶,不如把参数规模一次推到同行的数倍,争取领先位置。有接近Seed的人士形容此举“像一场赌博”。

字节自成立以来一直推崇“大力出奇迹”:进入一个领域时,通常会成立不止一个团队,投入大量资源,同时推进多个项目。此次讨论的超大模型计划,正是这一策略的延续。

业内普遍认为,模型规模越大,智能水平往往越高,但训练超大规模模型也意味着更高的算力成本和技术挑战。字节此举若成行,将显著提升其在大模型领域的竞争力,同时也可能加剧国内AI算力资源的争夺。不过,由于计划尚处早期,最终能否落地仍存变数。