据英国《金融时报》报道,字节跳动正在训练一个参数规模高达10万亿的AI模型,这一规模是当前中国最大模型月之暗面(Moonshot)Kimi K3的三倍,并有望与Anthropic的顶级系统Mythos 5(据行业估计约8万亿参数)相媲美。Anthropic尚未公开其具体参数。

三名知情人士向《金融时报》透露,该模型目前处于预训练阶段,这一阶段通常需要3至6个月。参数数量决定了模型能存储多少信息,但实际性能还取决于数据质量和训练方法。其中一位消息人士表示,字节跳动已有一年多时间避免使用“蒸馏”技术,即不依赖其他公司模型的输出来训练自己的模型。

字节跳动创始人张一鸣已向约2000人的Seed团队内部传达,要长期追求世界领先的模型能力。这表明字节跳动在AI领域的野心不仅限于应用层面,而是直指基础模型的顶尖水平。

与此同时,埃隆·马斯克(Elon Musk)表示,其AI公司SpaceXAI(原xAI)也正在其Colossus 2集群上训练参数规模为6万亿10万亿的Grok变体。这使得全球AI大模型的竞争进一步白热化,头部玩家纷纷向十万亿参数级别迈进。

业内分析认为,字节跳动此举意在缩小与全球领先AI实验室的差距,并可能利用其庞大的用户生态和算力资源,在未来的AI应用竞争中占据有利位置。不过,模型规模并非决定一切,数据质量、训练效率以及后续的推理成本都是关键变量。

对于投资者而言,字节跳动加大AI投入可能意味着其资本开支将显著增加,短期或影响利润,但长期看,若模型能力达到世界一流,将为其在搜索、内容推荐、企业服务等领域的AI产品提供强大支撑。同时,这也给其他中国AI公司如月之暗面、智谱AI等带来压力,可能加速行业整合与技术迭代。

目前,字节跳动官方尚未对这一报道置评。该消息最早由The Decoder转载报道。