NVIDIA 於 CoRL 大會上發表了 23 篇論文和舉辦 9 場工作坊,探討機器人視覺語言模型、長期任務規劃與技能學習等突破性技術,展示了未來機器人技術的多元應用前景。NVIDIA 發布了最新的 Isaac Lab 機器人學習框架,該平台基於 NVIDIA Omniverse 開發,並支援 OpenUSD 應用。Isaac Lab 為開發者提供一個開放的學習框架,適用於各種機器人,包括人形機器人、四足機器人和協作機器人,以應對複雜的動作需求。
GR00T 專案是 NVIDIA 針對人形機器人開發的一項計劃,提供加速函式庫、基礎模型和資料管道。GR00T 內含六個專業工作流程,包含生成式 AI、機器人運動、靈巧操控等,為人形機器人開發者提供了實現高難度功能的藍圖。
NVIDIA 新推出的 Cosmos Tokenizer 工具能夠將影像和影片分解為高壓縮、高品質的標記,運行速度比現有工具快 12 倍。此技術為開發者提供了更優質的視覺標記功能,為人形機器人的影像資料管理提供高效解決方案。
NeMo Curator 增添了影片處理管道功能,能夠提升世界模型的資料準確性與處理速度。透過多節點 GPU 系統的線性擴展,NeMo Curator 支援超過100PB的資料處理,有效解決大規模影片資料的管理難題。
隨著 Cosmos Tokenizer 的運用,機器人開發者能以更高效率建構世界模型。此工具提供高效能的影像和影片重建技術,實現高達 12 倍的快速視覺重建,提升生成式應用的擴展性。
NVIDIA 實體 AI 資深研究經理 Jim Fan 表示,NVIDIA 與開發者生態系正攜手合作,加速人形機器人技術進步。GR00T 專案提供的基礎模型,助力企業如波士頓動力、小鵬機器人等發展更智能的機器人技術。
最新版本的 NVIDIA Isaac Lab 1.2 現已開源於 GitHub,而 Cosmos Tokenizer 已在 GitHub 和 Hugging Face 提供,NeMo Curator 的影片處理管道功能將於11月底正式上線。