（映維網(wǎng)Nweon 2022年05月05日）Meta一直致力于名為Codec Avatar的虛擬數(shù)字人項目，從而幫助克服人與人之間，以及人與機會之間的物理距離挑戰(zhàn)。借助突破性的3D捕獲技術和人工智能系統(tǒng)，Codec Avatar可以幫助人們在未來快速輕松地創(chuàng)建逼真的虛擬化身，令虛擬現(xiàn)實中的社交聯(lián)系變得如同現(xiàn)實世界般自然和常見。這家公司相信，逼真的虛擬表現(xiàn)將會改變一切。

延伸閱讀：Meta 50年征途：Codec Avatars，創(chuàng)造逼真虛擬角色

根據(jù)早前公布的一份論文，Meta Reality Labs的研究人員開發(fā)了一款搭載定制加速器芯片的頭顯原型（基于Quest 2），從而支持一體機頭顯實現(xiàn)照片級真實感的Codec Avatars。

Meta早就在積極探索利用一系列先進機載傳感器來實時創(chuàng)建逼真的虛擬數(shù)字人，例如眼動追蹤、面部追蹤和人工智能處理。

不過，早期的研究依賴于諸如英偉達Titan X GPU這樣的強大顯卡支持。所以，團隊一直致力于研究如何在低功耗VR一體機實現(xiàn)Codec Avatars。

在上月2022 IEEE CICC大會發(fā)表的論文中，Meta表示自己構建了一枚基于7nm工藝的定制芯片，并專門用作Codec Avatars的加速器。

專門定制

據(jù)稱，這種芯片屬于專門定制，footprint僅為1.6mm2。團隊在設計時特別考慮了Codec Avatars處理管道的一個重要環(huán)節(jié)：分析傳入的眼動追蹤圖像，并生成Codec Avatars模型所需的數(shù)據(jù)。

這枚測試芯片采用7nm工藝制造，具有一個由1024個MAC陣列、2MB on-chip SRAM和一個32位RISC-V CPU組成的神經(jīng)網(wǎng)絡（NN）加速器。

他們同時重建了Codec Avatars人工智能模型，以利用芯片的特定架構。

Reality Labs的研究人員寫道：“通過重新設計基于卷積神經(jīng)網(wǎng)絡的眼動追蹤提取模型，并根據(jù)硬件對其進行修改，整個模型可以安裝在芯片，從而降低訪問芯片外存儲器的系統(tǒng)級能量和延遲成本。通過有效地加速電路級的卷積運算，所提出的原型能夠在低形狀參數(shù)下以低功耗實現(xiàn)每秒30幀的性能?！?/span>

通過提速Codec Avatars工作負載的密集環(huán)節(jié)，所述芯片不僅加快了過程，而且降低了所需的功率和熱量。由于芯片的定制設計，它能夠比通用CPU更高效地實現(xiàn)這一點。

但需要注意的是，這款基于Quest 2的頭顯的通用CPU是驍龍XR2芯片。盡管定制芯片可以處理Codec Avatars編碼過程的一部分，但管理解碼過程并呈現(xiàn)虛擬數(shù)字人的實際視覺效果是驍龍XR2。

當然，即便是需要專用芯片，但能夠在VR一體機實現(xiàn)Codec Avatars依然給人留下了深刻的印象。

相關論文：System-Level Design and Integration of a Prototype AR/VR Hardware Featuring a Custom Low-Power DNN Accelerator Chip in 7nm Technology for Codec Avatars

然而，我們暫時無法確定的一個重要信息是：視覺渲染處理的效果。用戶的底層掃描非常詳細，但可能過于復雜，故無法在Quest 2完整呈現(xiàn)。所以不清楚Codec Avatars的“照片級真實感”到底保留了多少。

值得一提的是，這項研究代表了邁克爾·亞伯拉什（Michael Abrash）描述的全新計算架構應用。在早前的一次演講中，他表示為了實現(xiàn)科幻作品描述的真正XR設備，我們需要從高度集中的處理轉(zhuǎn)向一種分布式的處理架構。