Meta 研究人員近日展示了一項新技術，能夠將單個圖像轉換為逼真的 VR 環境。這一技術有望讓用戶通過 Meta Quest 等 VR 頭顯設備，探索由單個圖像生成的 3D 場景，甚至將其作為頭顯的主頁環境。
這項研究由 Reality Labs Zurich 的團隊完成，並在上周發表的研究論文中進行了詳細介紹。雖然現有的生成式人工智慧模型已經能夠根據單個圖像創建影片，但在生成完全沉浸式的 3D 環境方面仍存在挑戰。
研究團隊提出了一個創新的解決方案，將複雜的 3D 環境生成任務分解為一系列更易於管理的子問題。他們首先使用預先訓練的擴散模型生成連貫的全景圖，然後利用度量深度估計器將其轉換為 3D 狀態。接下來，團隊通過調節修復模型來填充未觀察到的區域，從而完善整個 3D 環境。
最終，研究團隊成功創建了可以在 VR 頭顯上查看和導覽的 3D 環境。這些環境使用高斯濺射渲染技術，能夠在 2 米（約 6.5 英尺）的立方體內提供高質量的 VR 體驗。值得注意的是，這項技術不僅適用於合成圖像和照片，還可以接受場景的文字描述作為輸入，生成適合 VR 頭顯的 3D 環境。
然而，研究論文也提到了一些限制和挑戰。例如，將可導覽區域擴展到 2 米以上會大大增加任務的複雜性，目前尚不支持實時場景合成。但一旦創建了高斯濺射環境，就可以在 VR 設備上實時顯示。
儘管存在一些限制，但 Meta 的這項新技術仍然為 VR 環境的生成提供了新的可能性。目前尚不清楚這項技術何時會被整合到 Meta Quest 等產品中，但商業化似乎並不遙遠。
