據英國《金融時報》報道,字節跳動正在訓練一個引數規模高達10萬億的AI模型,這一規模是當前中國最大模型月之暗面(Moonshot)Kimi K3的三倍,並有望與Anthropic的頂級系統Mythos 5(據行業估計約8萬億引數)相媲美。Anthropic尚未公開其具體引數。

三名知情人士向《金融時報》透露,該模型目前處於預訓練階段,這一階段通常需要3至6個月。引數數量決定了模型能儲存多少資訊,但實際效能還取決於資料質量和訓練方法。其中一位訊息人士表示,字節跳動已有一年多時間避免使用“蒸餾”技術,即不依賴其他公司模型的輸出來訓練自己的模型。

字節跳動創始人張一鳴已向約2000人的Seed團隊內部傳達,要長期追求世界領先的模型能力。這表明字節跳動在AI領域的野心不僅限於應用層面,而是直指基礎模型的頂尖水平。

與此同時,埃隆·馬斯克(Elon Musk)表示,其AI公司SpaceXAI(原xAI)也正在其Colossus 2叢集上訓練引數規模為6萬億10萬億的Grok變體。這使得全球AI大模型的競爭進一步白熱化,頭部玩家紛紛向十萬億引數級別邁進。

業內分析認為,字節跳動此舉意在縮小與全球領先AI實驗室的差距,並可能利用其龐大的使用者生態和算力資源,在未來的AI應用競爭中佔據有利位置。不過,模型規模並非決定一切,資料質量、訓練效率以及後續的推理成本都是關鍵變數。

對於投資者而言,字節跳動加大AI投入可能意味著其資本開支將顯著增加,短期或影響利潤,但長期看,若模型能力達到世界一流,將為其在搜尋、內容推薦、企業服務等領域的AI產品提供強大支撐。同時,這也給其他中國AI公司如月之暗面、智譜AI等帶來壓力,可能加速行業整合與技術迭代。

目前,字節跳動官方尚未對這一報道置評。該訊息最早由The Decoder轉載報道。