2024 年，在 Brian Tong 的 YouTube 影片中，Vision Pro 設備上的 FaceTime 通話首次亮相，其逼真的虛擬化身效果令人讚嘆不已。那麼，蘋果是如何實現如此精準的面部表情捕捉的呢？一項新公布的專利為我們揭開了其中的秘密。
本月早些時候，蘋果提交的一項國際專利申請正式公布，該專利聚焦於電子設備用戶面部及手部姿態配置的確定方法、系統和設備。具體而言，它涉及識別頭戴式設備（HMD）用戶臉頰、下巴、嘴唇、舌頭、手部等部位在三維空間中的精確位置。
專利中詳細公開了多種用於區分用戶面部變形、手部姿態配置以及用戶頭部、面部和/或手部表面或組織幾何形狀上各點三維位置的設備、系統和方法。這些技術不僅有助於在 XR 環境中提供更加豐富的虛擬內容，還能通過 XR 頭戴設備利用一個或多個天線獲取的射頻信號，精準區分用戶的面部變形、手部姿態配置及相關表情，並據此預測用戶的面部配置，如臉頰、下巴、嘴唇、舌頭等部位的三維關鍵點，以及手部姿態配置。
該專利主要針對 Vision Pro 設備進行設計，其頭戴式設備形式多樣，包括頭戴式顯示器、抬頭顯示眼鏡、具有透明鏡片的 AR 眼鏡以及矯正視力眼鏡等。設備的一個或多個天線可巧妙地集成在頭戴設備的底部等部位，通過與用戶頭部、面部或手部的特徵進行介電式和非接觸式交互，將用戶面部或手部姿態的變化實時反映在天線的自諧振頻率和/或性能上。
XR 頭戴設備通過測量這些自諧振頻率和/或性能的值，所獲得的數據不僅可用於配置個性化形象，還能深入解讀用戶面部/手部的細微動作，甚至用於唯一標識用戶。個性化形象涵蓋用戶的照片寫實形象、抽象形象（如動畫形象）以及各種類型的虛擬化身等。
為減少用戶手部、面部覆蓋物（如鬍鬚、口罩等）及複雜環境所帶來的干擾，專利中的一些實施方案採用了一種具有方向性輻射模式的天線設計，該模式基於射頻波強度的角依賴性，有效降低了外界干擾。部分實施方案還採用了縫隙天線，這種天線在某些場景下具有低剖面和結構簡單的優勢，進一步提升了信號的穩定性。還有些實施方案採用了可摺疊的縫隙天線，為放置次級天線提供了靈活的位置選擇。例如，在 XR 頭戴設備中心放置垂直極化的 U 形縫隙天線，在側面放置水平極化的天線，這種設計使得天線能夠更全面地捕捉用戶的面部和手部動作。
在專利圖 3A 示例中，可以清晰地看到頭戴設備如何利用天線獲取的射頻信號來預測用戶的面部配置。圖 3A 展示了頭戴設備的底部視圖，其底部裝有交叉極化的天線系統，這些天線通過低剖面的3D列印底座略微朝向用戶面部進行安裝。這種正交定位的交叉極化天線系統有助於降低環境噪聲，提高信號解析度，從而更好地捕捉嘴巴和手部的多種運動細節，如嘴巴閉合、露齒微笑，或手指和關節的運動等。
雖然面部和/或手部姿態表情的捕捉不一定需要高幀率，但高解析度掃描對於區分不同的嘴部或手部姿態至關重要。說話時的嘴部運動雖然迅速，但只需較低解析度即可捕捉到嘴部運動的整體輪廓。對此，專利中提出了一種在特定頻率範圍內採樣 31 個點的方法，從而在 8.5 FPS 下獲得 124 個值，既保證了捕捉的精度，又提高了處理效率。
