World Labs 於 8 月 15 日釋出了一款名為“Real-to-Sim-to-Real”（R2S2R）的模擬引擎，據稱可將真實世界的機器人任務轉化為模擬環境，用於訓練和評估控制模型，從而省去昂貴的實體硬體測試。該引擎由 World Labs 於 7 月收購的初創公司 SceniX 提供技術支援。World Labs 由 AI 先驅李飛飛於 2024 年創立，專注於構建具備空間智慧、能理解三維物理世界的模型。
World Labs 表示，機器人部署的主要瓶頸並非模型架構，而是機器人需要海量經驗才能可靠執行。真實世界的資料成本高昂且難以控制，線上影片也無法系統覆蓋所有物體、物理條件和失敗狀態。R2S2R 引擎通過捕捉機器人、感測器、環境和任務演示，重建一個不僅外觀相似、物理行為也一致的互動式虛擬世界。其關鍵在於將生成式世界模型與面向任務的機器人模擬相結合，從而從單個真實任務生成數千種變體，涵蓋光照、物體位置與數量、周圍環境、摩擦等物理屬性以及相機角度的變化。
為驗證準確性，World Labs 會在模擬和現實中並行執行相同動作序列，並對比觀察結果、物體運動和最終效果。展示的示例包括剛性、可移動和可變形物體，如電纜佈線、將彈性電纜端插入孔中以及雙手裝箱等任務。
控制模型在模擬中訓練後遷移至真實機器人。測試平台之一是 ALOHA，一個來自斯坦福大學的開源雙臂設計，通過兩個較小的控制臂進行示教操作。該平台成本僅為商用系統的一小部分，且所有藍圖公開，已成為機器人研究領域的參考平台。據 World Labs 稱，模型在另外四個機器人平台上各執行一小時，全程無需人工干預，任務包括雙手將電源線纏繞在冰箱上、精確重新定位試管以及從雜亂堆中分離馬克筆或鉛筆等細長物體。該系統不依賴特定控制模型或機器人型別，重建一次的世界可複用於新模型和不同機器人。
World Labs 認為，機器人研發之所以落後於語言模型，很大程度上是因為評估控制模型主要依賴真實硬體測試。一個可靠的模擬並不需要達到與真實世界相同的成功率，關鍵在於能否回答同樣的問題：模型在哪裡失敗、哪個版本更好、改進是否能遷移到物理機器人上。團隊用 ALOHA 機器人的雙手立方體交接任務進行了測試，模擬復現了機器人勉強抓住立方體邊緣的臨界情況以及匹配的失敗嘗試。在不同模型型別（包括 GR00T N1.6 和 π₀.₅）和訓練階段中，模擬與現實的模型排名基本一致，無論立方體位置已知還是未知。每個檢查點使用 2,000 次模擬和 100 次真實執行進行評估。表現更好的策略在硬體上也表現更好，排名保持一致。開發團隊可以在模擬中篩選出較弱的模型版本，將昂貴的硬體測試留給最有希望的候選者。
該模擬器是 World Labs 更廣泛世界模型戰略的核心。公司將其與自動駕駛類比，指出一些成功的 L3 和 L4 系統使用真實與模擬資料的混合訓練。World Labs 的長期目標是：要擴充套件機器人的智慧，就必須擴充套件它們學習的世界。然而，這些結果在更復雜環境、其他機器人型別以及更不受控的日常場景中的泛化能力仍是開放問題。
World Labs 早期系統曾從單張照片生成可步行的 3D 環境，近期又籌集了 10 億美元風險投資，將世界模型擴充套件到機器人和科學領域。R2S2R 引擎是該願景在機器人領域的首個具體應用。這項研究也引發了關於世界模型在機器人中作用的更廣泛討論。一個國際研究團隊最近試圖為世界模型下統一定義，明確區分世界模型與純影片生成器。相關領域還包括“世界動作模型”，將近期預測直接與控制命令繫結，這與 World Labs 將模擬與策略分離的方法不同。另一種來自中國的方法名為 Orca，允許機器人僅通過觀看影片學習任務，無需真實運動資料。