Nvidia開源用於機器人訓練的世界模型Cosmos-Transfer1

本周Nvidia GTC大會上展示了Blue機器人的同時，也開源訓練機器人及自動駕駛汽車的多模態世界模型Cosmos-Transfer1。

贊助商廣告

Cosmos-Transfer1是Nvidia Cosmos模型的一部分。Cosmos是協助開發人員更快且更有效打造「實體AI」（Physical AI）系統的世界基礎模型。而Cosmos-Transfer1則是經預訓練的擴散式條件世界模型（conditional world model），可用於生成多模態、可控制的虛擬世界。它根據多種空間控制輸入數據，像是分割圖、深度圖及邊緣圖（edge maps）等創建模擬，還能在不同空間位置和時間彈性為不同條件輸入加入權重，以定製化生成虛擬世界。這種彈性使之方便用於自動駕駛汽車或機器人等自動系統訓練的應用程序，例如Sim2Real。

Cosmos-Transfer1已在Hugging Face開源，開源的資源包含二個模型及其推論範例，Cosmos-Transfer1-7B為適應性多模態控制的世界生成模型，Cosmos-Transfer1-7B-Sample-AV為開發自動駕駛汽車專用的Cosmos-Transfer 1。二個模型都需在80GB H100硬體平台上執行。

後訓練腳本程序也會很快發布。模型本身是以Nvidia Open Model授權開源，而訓練腳本則是以Apache 2授權開源。