Meta 對其 Quest 頭顯的軟體開發工具包(SDK)進行了重要更新,此次更新引入了拇指微手勢(Microgestures)和改進版的 Audio To Expression(音頻驅動的表情生成)功能。此外,還提供了便捷工具,讓開發者能夠更容易地訪問 Quest 頭顯的透視相機(Passthrough Camera)功能。
拇指微手勢是此次更新的亮點之一,它利用 Quest 頭顯的無控制器手部追蹤功能,能夠檢測用戶拇指在食指上進行的點擊和滑動等細微動作。這種類似於 Steam 手柄 D-pad 設計的交互方式,為開發者提供了更多的交互場景選擇。在 Unity 引擎中,開發者需要使用 Meta XR Core SDK 來實現微手勢功能,而在其他引擎中,則可以通過 OpenXR 擴展 XR_META_hand_tracking_microgestures 來實現。
Meta 表示,拇指微手勢可以用於實現無需手柄的瞬移(Teleport)和快速轉向(Snap Turning)等功能,同時也為開發者提供了一種更輕鬆的交互方式,減少了用戶反覆伸手或指向界面元素的動作。此外,Meta 還計劃將這種微手勢技術引入其正在開發的 sEMG 神經腕帶中,這一腕帶將成為 Meta 未來 AR 眼鏡的輸入設備,並有望應用於今年推出的 HUD 眼鏡。
除了拇指微手勢外,Audio To Expression 也是此次更新的重要功能之一。它是一種設備端 AI 模型,通過麥克風音頻輸入即可生成逼真的面部肌肉運動,模擬用戶的面部表情。這一功能在 SDK v71 版本中首次推出,並在 v74 版本中得到了進一步升級,提升了情緒表達、嘴部運動以及非語言發聲(如嘆息、咳嗽等)的準確度。
Audio To Expression 取代了已有十年歷史的 Oculus Lipsync SDK。與 Oculus Lipsync 相比,Audio To Expression 能夠覆蓋更多的面部肌肉動作,並且 CPU 占用率更低。然而,目前 Meta 的 Avatar SDK 尚未整合這一功能,也暫不支持內向外(inside-out)全身追蹤。
此外,此次更新還為開發者提供了便捷工具,幫助他們更容易地訪問 Quest 頭顯的透視相機功能。如果用戶授權,應用程序可以利用 Quest 頭顯的前置彩色攝影機,並獲取鏡頭內部參數(如內參)和頭顯位置數據,從而運行自定義電腦視覺模型。