來源：《中國科學：信息科學》

2013年以來，隨著虛擬現(xiàn)實(virtual reality，簡稱VR)/增強現(xiàn)實(augmented reality，簡稱AR) 設備(如頭戴式顯示器等) 質量迅速提升、價格大幅降低，VR開始普及化，從軍事、航空航天等高端行業(yè)應用進入大眾生活。在這樣的趨勢下，越來越多的科技公司將眼光投向VR，部署研發(fā)團隊并推出自己的VR創(chuàng)新產品，展開搶占VR產業(yè)制高點的激烈競爭，使得VR 技術進入了前所未有的快速發(fā)展時期。

任何一項新興高技術產業(yè)的可持續(xù)發(fā)展都需要有三方面的條件支撐，VR產業(yè)也不例外，這就是需要關鍵技術突破與科技創(chuàng)新的持續(xù)支持，各類VR人才的強大支撐，以及市場需求的不斷推動，而市場的形成又有賴于VR 應用系統(tǒng)與內容的不斷豐富與創(chuàng)新。

實現(xiàn)一個VR系統(tǒng)，大體需要四方面的技術: 數(shù)據(jù)與獲取、分析與建模、繪制與表現(xiàn)， 以及傳感與交互。這四個方面均涉及硬件平臺與裝置、核心芯片與器件、軟件平臺與工具和軟硬標準與規(guī)范。同時VR應用也需要結合各行業(yè)領域的應用技術，因此VR是學科高度綜合交叉的科學技術領域，是存在許多有待解決的科學技術問題、并不斷產生新科學技術問題的充滿活力的新興領域。

現(xiàn)有VR頭戴式顯示器看不到體驗者自身，輸入不便，也缺少與景物的交互機制，身臨其境的感覺受限。因此，VR 鼠標等便捷友好的VR 輸入方式，能夠實時逼真地表現(xiàn)體驗者肢體、并能與虛擬場景對象實時交互的機制是需要研究的問題。

頭戴式顯示虛擬場景的空間計算，包括體驗者頭部和位置的實時精準跟蹤定位，以及AR頭戴顯示中虛擬對象在現(xiàn)實空間中的位置計算與實時表現(xiàn)是需要進一步研究的問題。與此相關，虛實融合是AR的基本問題之一，包括視頻式AR顯示中圖形對象與視頻圖像的融合，以及光學透視式AR顯示中圖形對象與現(xiàn)實景物的融合。 前者研究的時間比較長，后者隨著光學AR頭戴顯示的實用化，逐步成為這一方向的主流， 許多問題有待解決。同時，光學透視式AR 的室外化，包括室外大場景下的虛實融合是有待探索的一個方向。

VR全景視頻(包括基于桌面、移動終端或Web的VR視頻) 的采集、制作、交互式播放技術與設備，以及跨平臺VR視頻播放器，是一個研究發(fā)展方向。如何在VR 視頻中引入幾何與控制元素，增加VR視頻的交互類型，提高其交互性是值得研究的問題。

基于移動終端和互聯(lián)網(wǎng)的VR具有巨大發(fā)展?jié)摿?。對于前者?低計算、低存儲VR 技術， 云計算VR技術， 低延遲大數(shù)據(jù)傳輸與新型交互等是可創(chuàng)新技術方向。后者需要全屏3D繪制、VR設備接入與更合適的人機交互機制， 以及新型瀏覽器標準。Web VR將對現(xiàn)有瀏覽器和郵件系統(tǒng)等帶來變革和顛覆性影響， 成為互聯(lián)網(wǎng)的新入口。

目前，虛擬對象的物理表現(xiàn)及其物理模型研究主要集中在運動學和動力學方面。物理模型也只有粒子系統(tǒng)、彈簧模型、SPH (smoothed particle hydrodynamics) 方法等少數(shù)幾個。物質的許多物理特征(如材料特征)，爆炸、切割等物理現(xiàn)象，柔、黏、塑、流、氣、場等物質對象的物理特征與交互響應的實時逼真表現(xiàn)，存在許多理論問題。 由于物理模型計算量巨大， 因此具體應用時實時性和逼真性之間的平衡也是需要考慮的問題。提出表現(xiàn)某類物理特征和物理現(xiàn)象的新型物理模型，構造其物理引擎及核心算法芯片PPU (physics processing unit)， 可以帶來原創(chuàng)性、平臺工具性成果。

基于化學、生物學和生命科學的人體器官的生理、化學、生物進化演化模型是有待深入研究的科學問題， 可能產生新的知識型、概率型等模型類型?，F(xiàn)實世界中的每一個(類) 對象，均可以構建虛擬孿生，使其與現(xiàn)實孿生在幾何、物理、生理， 以及進化演化等方面高度相似。人體、城市和復雜裝備的虛擬孿生會成為未來發(fā)展的重點， 并對醫(yī)療健康、城市規(guī)劃管理和裝備設計維護領域產生顛覆性影響。構造虛擬孿生， 特別是可交互幾何類虛擬孿生的理論與方法，既是VR，也是AR，MR (mixed reality，混合現(xiàn)實) 等的基礎。

隨著VR應用領域的不斷擴展，虛擬人(或計算機生成的人) 操縱實體(如飛機、車輛等) 成為VR系統(tǒng)的重要組成部分，這些智能體的行為使得VR 系統(tǒng)所具有的3I (immersion， interaction， imagina-tion) 特征向4I發(fā)展，即VR系統(tǒng)將具有更多的智能(intelligence) 特征。該類問題的解決有賴于人工智能技術和人腦科學的發(fā)展。

人與虛擬對象之間的力/觸覺逼真感知的方式、機制及其設備仍然存在大量的問題， 特別是柔韌感; 此外新的感知通道， 如溫濕感、嗅/味覺等，有的剛起步，有的尚未涉足。這是一個需要多學科交叉研究解決的問題領域。

目前VR內容制作生產力低下，原因一是VR 建模、繪制、修補等生產環(huán)節(jié)的工具和開發(fā)平臺自動化、智能化程度低， 二是VR 硬件不兼容，均采用各自的軟件開發(fā)工具包(software development kit， SDK)。提高3D建模(幾何、圖像、掃描等) 的效率和空洞修補的自動化水平等是需要進一步研究的內容，研發(fā)標準應用程序接口和通用軟件包是提高共享和研發(fā)效率的必然途徑。

VR的逼真性，即虛擬與現(xiàn)實孿生的相似性測度是有待研究解決的一個理論問題。在此基礎上研究各類VR應用的效果評價，特別是對人的心理影響，以及對人類社會帶來的影響，并進行相關約束與法律研究也是必要的，這會形成新的人文學科研究方向。

趙沁平院士：虛擬現(xiàn)實技術方向與趨勢

節(jié)選自科技導報（ID:STReview)

作者：趙沁平，周彬等

1） VR 硬件

VR硬件包括顯示設備、力觸覺交互設備、專用芯片等。

VR顯示設備直接影響了用戶對于虛擬環(huán)境的感受。目前主要的VR 顯示設備有頭盔顯示器、3D立體眼鏡、真三維顯示、全息和環(huán)幕等。頭盔顯示器（head-mounted display，HMD）是VR中最典型的顯示設備[4]。一般而言，HMD上均安裝有頭部運動跟蹤裝置。用戶佩戴上HMD 后，在其頭部運動時，HMD可以計算出對應于用戶當前姿態(tài)的虛擬對象的位姿并將其顯示在HMD的屏幕上。HMD 的近期典型代表包括：1）谷歌于2014年6月推出的紙殼式眼鏡Cardboard。這類設備內部沒有計算平臺和顯示屏，使用時可將智能手機放入鏡片后的托盤中，通過一對凸透鏡將手機畫面?zhèn)魉椭岭p眼以提供三維觀看效果，并通過手機內置螺旋儀檢測頭部轉動以改變顯示內容。此類設備成本低但效果一般。2）三星和OculusVR 于2014 年9 月聯(lián)手設計的Gear VR。該類產品的內容輸出和算法平臺還是智能手機，但產品本身也內置了動作傳感器，可以更精確地感知頭部轉動，因而比VR 眼鏡的沉浸感更強。3）Oculus Rift和HTC Vive等設備將電腦作為主要的VR 內容運行和計算平臺，可以實現(xiàn)六自由度的運動交互，沉浸體驗大幅度提升，Sony Project Morpheus 則是以索尼PlayStation 為運行和計算平臺。4）一體機頭盔是傳統(tǒng)的VR顯示設備，集成了顯示、計算、存儲、交互等所有模塊，其性能高，但體積大，價格偏高，典型代表是微軟的HoloLens。

VR力觸覺交互設備能夠使參與者在虛擬環(huán)境中實現(xiàn)觸覺和力感等視覺、聽覺之外的感覺，目前的研究還處于初級階段。東京大學研制出一種能像人類皮膚一樣，感測出施加在表面上的力的大小和方向的新型傳感器，據(jù)此可以開發(fā)出具有接近人類力覺的機器人手。2009年芬蘭的Linjama等、2010年美國迪斯尼研究中心的Bau等、2012年NOKIA 實驗室與劍橋大學等，分別利用靜電力反饋研制出E- Sense、TeslaTouch、ET 等表面觸覺反饋系統(tǒng)，能在觸摸顯示屏幕表面實現(xiàn)觸覺紋理的再現(xiàn)。2013 年美國西北大學的Colgate 等研制了便攜觸覺再現(xiàn)終端TPaD Fire，在配備6500 mA·h 的電池情況下可連續(xù)工作超過5 h[5]。

此外，VR芯片平臺已經成為國際著名芯片廠商的搶占熱點。例如，AMD 的圖形芯片部門Radeon Technologies Group 于2015年9月推出虛擬現(xiàn)實解決方案LiquidVR，它包含數(shù)據(jù)鎖定、異步著色引擎、多GPU異步渲染等新功能，能夠以更低的延遲實現(xiàn)更優(yōu)質的畫面，以提升VR 沉浸體驗。NVIDIA于2015年11月發(fā)布了兩款虛擬現(xiàn)實開發(fā)工具，包括面向游戲開發(fā)人員的Gameworks VR和面向設計人員的DesignWorks VR。這些工具可以加快立體渲染性能。高通于2015年12月發(fā)布了首款64 位四核CPU Snapdragon 820，其內部集成了新一代GPUAdreno 530，能夠實時呈現(xiàn)立體攝像機拍攝的高清視頻，可以促進頭盔顯示器等VR設備沉浸感體驗的進一步提升。

2）  VR 內容

VR需要處理的數(shù)字化內容類型眾多，按照不同處理階段，可以劃分為獲取、理解、建模、呈現(xiàn)4個方面。

（1） 獲取

VR內容的幾何屬性獲取主要通過光學和立體視覺的方法。近期典型的光學方式是TOF（time-of-flight），其原理是依靠主動光照射到采集對象上，按照返回光線的先后順序來測量對象的深度信息。該方法采集到的三維數(shù)據(jù)精度低，但是設備輕便、便宜。立體視差法是被動式方法的代表，根據(jù)三角測量原理，利用對應點的視差可以計算視野范圍內的立體信息。這種方法模擬人的視覺方式，以2部位于不同位置的相機對同一目標拍攝2幅圖像，得到一組“像對”。對于目標上的一個采樣點，根據(jù)它在2幅圖像中的像點和相機位置，計算它們的交會點坐標，就是采樣點的空間坐標。立體視覺方法在無明顯紋理或者重復性紋理的場景下，由于很難找到“像對”，具有較大的技術難度。

在表面屬性獲取主要通過不同光照和視點條件的圖像獲取物體表面屬性，例如美國麻省理工大學和哥倫比亞大學的4D camera。它將場景的光線和物體進行分離，這樣捕獲的物體就是一個“裸物體”，不受捕獲時的光線影響。目前主要研究難點和熱點在于動態(tài)物體或半透明物的表面屬性獲取[6]。

在人體運動捕捉方面，較為成熟的技術多基于電動機械、電磁和特殊光學標志等，其中基于標志的系統(tǒng)（如ViconMX等）得到了普遍的應用，能獲取精確的運動數(shù)據(jù)，但價格昂貴。近年來隨著廉價數(shù)字攝像機、低成本體感傳感器的普及，基于視頻及少量傳感器的無標志人體運動捕捉越來越成為研究熱點。

（2） 分析

圖像視頻在人類所涉及的數(shù)據(jù)信息中所占比例越來越大，如何進行圖像視頻的語義分析與利用是重要的前沿問題。目前的研究主要包括視覺認知計算模型、特征的提取與表示、特征的融合與處理、特征與語義的關聯(lián)等。但是，底層描述與高層語義之間不是簡單的對應關系，具有語義的中高層特征至關重要，“語義鴻溝”依然是當前的研究難點。語音分析識別技術是讓機器把語音轉變?yōu)橄鄳奈谋净蛎畹募夹g，而且不同語種之間的語音-語音翻譯將成為研究熱點。在文本語義分析利用方面，分詞、檢索等已經達到可用，翻譯、問答需求大，通用、高質量的自然語言處理系統(tǒng)仍然是長期目標。

隨著深度學習、增強學習、自主學習、群智學習等方法技術的發(fā)展，這些技術往往與人類大腦在結構和機理等方面具有相似性?；谶@些技術，近年來對文本、圖像、視頻、音頻、三維模型等素材的分析與理解取得了較大進步，例如無監(jiān)督條件下圖像視頻的語義分割與理解[7]、基于深度學習的三維模型部件級語義分割與理解[8]等，特別是在物體識別等部分領域已經達到甚至超過了人類的表現(xiàn)。隨著計算機對圖像、音頻、視頻等素材的分析能力的提升，根據(jù)用戶的個性化需求，自動大規(guī)模建模生產在視、聽、力、觸、體、味等方面與真實世界類似的VR內容，已經不再是天方夜譚。

（3） 建模

VR內容的幾何外形構建技術已較為成熟，數(shù)據(jù)驅動的三維構建與生成已經成為當前的研究熱點，例如特征結構保持的三維模型編輯傳播[9]、圖像數(shù)據(jù)驅動的人體服裝與室內三維場景演化生成[10,11]等。光場構建在動態(tài)環(huán)境和半透明物體等方面仍需要大量的進一步研究[12,13]。伴隨著多核CPU 和GPGPU的發(fā)展，基于物理的自動化模擬正朝著更大規(guī)模、更多細節(jié)的實時模擬方面發(fā)展，已成為交互式VR技術的重要研究方向。角色肢體動作智能化生成、人臉動態(tài)表情識別與構建、虛擬角色智能行為等智能化建模技術，涉及自動控制、人工智能、生物力學、解剖學等交叉學科，得到了國內外的廣泛關注與研究[14]。

目前VR 主要集中在虛擬環(huán)境與對象的固定拓撲幾何建模和動力學物理建模。如何建立其可變拓撲幾何模型和更為全面的物理模型，甚至建立可自我演化、具備一定“生命力”的智能模型，使得VR系統(tǒng)不僅在視覺上有更全面的逼真表達，而且在功能和環(huán)境/事件的動態(tài)演化、活體對象行為的智能化方面也有較為逼真的體現(xiàn)，是未來VR技術必須解決的關鍵問題。此外，現(xiàn)實世界包含了復雜、動態(tài)、多源、海量的數(shù)據(jù)。如何高效采集這些數(shù)據(jù)并對其進行自動化分析、實時建模，使VR 系統(tǒng)能真實表達瞬息萬變的現(xiàn)實世界，與現(xiàn)實世界“同步”發(fā)展，是一個智能化建模問題，也是未來VR需要解決的另外一個關鍵問題。

（4） 呈現(xiàn)

隨著三維信息數(shù)據(jù)量的不斷增加，海量數(shù)據(jù)的逼真實時繪制技術成為重要研究方向，外存模型的組織與處理、并行繪制和GPU計算等成為研究的關注點。在普適硬件平臺上展示超大規(guī)模復雜場景，特別是對具有逼真效果的場景、多種內容融合等仍是研究難點。

此外，增強現(xiàn)實（augmented reality，AR）是將計算機產生的虛擬對象融合到用戶所觀察的真實環(huán)境中，以拓展和增強用戶對周圍世界的感知能力[15]。與VR相比，AR與真實世界的聯(lián)系并未切斷，交互方式更加自然。事實上，將現(xiàn)實物理世界和虛擬世界實時合并混合，形成新的能夠實時互動的可視環(huán)境，統(tǒng)稱為混合現(xiàn)實（mixed reality，MR）。AR是MR一種典型代表。三維跟蹤定位[16]是實現(xiàn)AR 的主要技術保證，尤其是高精度、無標志物跟蹤定位更是研究中的難點。英國牛津大學采用SLAM技術結合并行運算實現(xiàn)了小范圍未知場景下的實時跟蹤定位；劍橋大學利用慣性傳感器與視覺測量相融合的技術實現(xiàn)了戶外場景（校園范圍）的實時無標識跟蹤定位；美國斯坦福大學利用GPS進行初始定位，結合圖像快速檢索技術，在手機上初步實現(xiàn)了戶外增強現(xiàn)實導航功能；奧地利Graze University of Technology 用FAST 算子代替SIFT 特征提取算子，同時改進Ferns識別分類算法中樹簇的大小，在手機上實現(xiàn)了10幀/s左右的無標識跟蹤定位。

3） VR 交互

VR交互重點研究符合人類習慣的交互技術，以提高人對復雜信息的認知能力。傳統(tǒng)人機交互主要通過鼠標、鍵盤及操縱桿等設備實現(xiàn)。多通道交互方式是以用戶為中心，采用視覺、語音、姿勢、表情等多通道，實現(xiàn)高效的人機交互。

智能語音交互技術包括語音識別、語音合成和語義理解。語音識別技術將用戶輸入的語音轉化為相應的文本或命令，語音合成技術將文本轉換成機器合成的語音，語義理解技術從語音識別輸出的文本中獲取語義信息從而理解用戶的意圖。2011 年，微軟研究院通過引入深度神經網(wǎng)絡，使得在特定語料庫上的語音識別準確率得到了大幅提高，性能改善30%左右。近年來，基于數(shù)據(jù)庫的語音合成方法成為研究熱點，該方法的語音基元來自一個預先錄下的龐大的語音數(shù)據(jù)庫，合成語句的清晰度和自然度均有較大程度提高。

體感交互利用深度相機等對用戶手和身體的運動進行跟蹤，完成自然的人機交互。利用體感交互技術，人們可以很直接地使用肢體動作與周邊裝置或環(huán)境互動。2010年索尼推出新一代體感設備PlayStation Move，該設備不僅會辨識上下左右的動作，還會感應手腕的角度變化，無論是運動般的快速活動還是用筆繪畫般纖細的動作都能重現(xiàn)。同年，微軟也發(fā)表了全新體感設備Kinect，該設備同時使用激光和可見光攝像頭來獲取人體影像信息，捕捉人體3D全身影像，不受任何燈光環(huán)境限制，無需使用任何體感手柄，便可達到體感的效果[17]。2014年5月，美國Leap公司推出了一套體感運動控制系統(tǒng)Leap Motion，該系統(tǒng)可以追蹤多個物體并識別手勢，能夠追蹤到幾毫米范圍的動作，例如用戶寫字或畫畫等精準動作。

腦機接口技術的主要研究途徑是通過在人腦（或動物腦）與外部設備間建立直接連接通道，使人直接通過腦來表達想法或操縱設備。腦機接口系統(tǒng)一般包括信號采集與記錄、數(shù)據(jù)處理、外設與接口等部分。其中，信號采集與記錄部分利用電極采集使用者的腦電信號，并對信號進行放大和濾波；數(shù)據(jù)處理部分利用特征提取、特征選擇分類等，對腦電信號進行分類識別；外設與接口部分通過控制接口將邏輯控制信號轉換成語義控制信號，通過設備控制器將語義控制信號轉換成設備控制信號，通過顯示裝置產生執(zhí)行思維任務的指示。目前絕大部分腦機接口研究仍處于實驗室研究階段，還有許多需要解決的問題。

眼動跟蹤技術主要用于測量用戶注視點或視線方向，可以作為一種替代鼠標和鍵盤的新型交互方式，例如Dasher 眼控打字系統(tǒng)等。2013 年初，韓國三星公司推出了基于這種思想的新型Galaxy S4智能手機，新增基于眼凝視追蹤功能的眼控滾動功能，主要應用于網(wǎng)頁瀏覽和電子書閱讀等。

 新一代VR在建模與繪制方法、交互方式和系統(tǒng)構建方法等方面都提出了更高的需求。為了滿足這些需求，近年來VR研究也取得了快速發(fā)展，表現(xiàn)出了一些新的特點和發(fā)展趨勢。有關學者對這些特點進行總結，歸納為以下7個方面。

1）人機交互的適人化。構建適人化的和諧虛擬環(huán)境是VR的目標。實際上，頭盔等設備雖然能夠增強沉浸感，但在實際應用中效果并不好，并未達到沉浸交互的目的。采用人最為自然的視覺、聽覺、觸覺、自然語言等作為交互方式，會很好地提高VR的交互性。

2）計算平臺的普適化。隨著計算機技術的發(fā)展，計算已經無處不在，計算平臺也發(fā)展為多種類型，從高端的大型機、桌面PC，發(fā)展到低端的各種手持式計算設備。在VR系統(tǒng)中加入這類設備并結合無線網(wǎng)絡，能較好地滿足實際使用中便攜和移動的要求。

3）虛實場景的融合化。VR將現(xiàn)實環(huán)境的要素進行抽象，通過逼真繪制方法進行表現(xiàn)，但畢竟無法完全還原真實世界，因此將真實世界與虛擬世界有效融合具有研究和實際意義，AR就是這樣一種技術。AR作為VR 的一個重要分支，不僅繼承了VR的特點，而且其對真實場景的增強效果，在某些應用領域逐漸顯示出比VR更明顯的優(yōu)勢。

4） 場景數(shù)據(jù)的規(guī)?；?/strong>。數(shù)據(jù)的規(guī)?；谴笮蚔R應用的顯著特點。通常而言，VR系統(tǒng)數(shù)據(jù)的規(guī)模化包括兩方面的含義，一方面是分布式VR 系統(tǒng)中節(jié)點和實體數(shù)量的規(guī)模化，另一方面是建模與繪制過程中場景幾何數(shù)據(jù)的規(guī)?；Ｒ?guī)?；臄?shù)據(jù)即使在高端計算平臺上也是需要研究的問題，而且智能化分析與處理也日益成為關注的問題。

5）環(huán)境信息的綜合化。傳統(tǒng)的VR 系統(tǒng)對自然環(huán)境的建模往往僅考慮地形幾何數(shù)據(jù)，對大氣、電磁等環(huán)境信息采用簡化方式處理。為了更真實表現(xiàn)環(huán)境效果，需要考慮不同類型的數(shù)據(jù)，如地理、大氣、海洋、空間電磁、生化等，并用不同的表現(xiàn)方式進行表現(xiàn)。

6）傳輸協(xié)議的標準化。在構建分布式VR系統(tǒng)的過程中，網(wǎng)絡協(xié)議是研究與應用的一項重要內容。已有的對應國際標準均是基于專用的網(wǎng)絡環(huán)境，所制定的傳輸協(xié)議也都是基于專用網(wǎng)絡環(huán)境和資源預先分配這兩大前提。隨著在Internet上VR應用的開展，基于公網(wǎng)的標準化工作將得到更深入的研究和普及。

7） 領域模型的集成化。分布式VR 系統(tǒng)中各節(jié)點的軟件需要根據(jù)具體的應用需求來研制，軟件開發(fā)與維護工作量大。隨著虛擬樣機、體系模擬等的發(fā)展，需要快速根據(jù)應用的變化對各個分系統(tǒng)進行定制。因此，需要研究VR 系統(tǒng)的節(jié)點軟件設計開發(fā)技術，使之能夠滿足快速適應應用的需要，同時減少開發(fā)與維護的工作量。