AI推理基礎設施市場正經歷一場成本與供給的雙重衝擊。在知名風投機構Altimeter近期舉辦的活動上,AI推理基礎設施服務商Baseten首席執行官Tuhin Srivastava披露了一組關鍵數據:其雲服務商早在今年5月就提前通知,英偉達B200 GPU的每小時租賃單價將在10月合同續約時,從現行的2.63美元大幅上調至5.10美元,漲幅接近94%。

這一調價幅度並非孤立事件,而是算力市場供需失衡的縮影。Tuhin Srivastava強調,雲服務商提前數月主動報價,本身就說明在算力持續緊缺的背景下,需求方几乎喪失了議價能力。對於依賴GPU進行模型訓練和推理的AI企業而言,這意味著運營成本將顯著攀升,尤其是那些以租賃模式為主的中小型公司,可能面臨預算壓力。

供給端的緊張態勢同樣不容樂觀。據Tuhin Srivastava介紹,當前若採購1000塊GPU,交付排期已普遍延至明年第二季度,等待週期長達12至15個月。交付瓶頸與租賃價格上漲形成疊加效應,企業即便願意加大資本支出,短期內也難以通過直接採購來補足算力缺口。這迫使更多公司轉向租賃市場,進一步推高需求,形成惡性循環。

Baseten作為一家總部位於舊金山的AI推理基礎設施服務商,其業務涵蓋模型部署、管理與監控,客戶多為對算力有剛性需求的生產級應用開發者。此次披露的數據,從一線服務商視角驗證了行業普遍面臨的挑戰:價格上行與供給瓶頸雙重擠壓下,AI推理的成本正面臨實質性抬升。市場觀察人士認為,若供給端未能及時緩解,這種趨勢可能持續至明年,影響AI應用的規模化落地節奏。