虛擬現(xiàn)實(shí)(VR)在經(jīng)歷了幾十年的發(fā)展和技術(shù)儲(chǔ)備后，近幾年呈現(xiàn)出井噴式增長(zhǎng)，美國(guó)高盛公司2016年初預(yù)測(cè)，虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)將繼個(gè)人電腦和智能手機(jī)之后，成為下一代的大型計(jì)算平臺(tái)，其產(chǎn)生的新的市場(chǎng)規(guī)模在未來(lái)十年內(nèi)將有望達(dá)到800億美元。
在VR的競(jìng)技場(chǎng)里，諸如Facebook、Microsoft、Google等高科技巨頭紛紛加入角斗，更有數(shù)量眾多的初創(chuàng)公司推動(dòng)VR技術(shù)的飛速發(fā)展。由于技術(shù)的發(fā)展和資本的注入，一個(gè)新的虛擬現(xiàn)實(shí)產(chǎn)業(yè)生態(tài)正在形成，市場(chǎng)的期望為虛擬現(xiàn)實(shí)相關(guān)的各個(gè)行業(yè)提供了廣闊的發(fā)展機(jī)遇，也對(duì)虛擬現(xiàn)實(shí)技術(shù)的突破提出了巨大的挑戰(zhàn)。
虛擬現(xiàn)實(shí)的目標(biāo)是通過(guò)計(jì)算機(jī)、電子、通信等技術(shù)的結(jié)合，創(chuàng)造出人眼無(wú)法分辨的虛擬場(chǎng)景，使人們能夠產(chǎn)生身臨其境的切身體驗(yàn)，猶如沉浸在這種虛擬的環(huán)境一般。為了使虛擬現(xiàn)實(shí)內(nèi)容更舒適而且真實(shí)地被人眼所接受，虛擬現(xiàn)實(shí)設(shè)備必須產(chǎn)生符合人眼在自然狀態(tài)下觀察物質(zhì)世界習(xí)慣的場(chǎng)景，然而，現(xiàn)有的VR技術(shù)并不能完全滿足這樣的需求，由此帶來(lái)的沉浸感不足、交互感低和健康等問(wèn)題造成VR體驗(yàn)還遠(yuǎn)遠(yuǎn)低于人們的預(yù)期。
近年來(lái)，計(jì)算成像領(lǐng)域的光場(chǎng)技術(shù)憑借其能夠捕獲完整高維度光場(chǎng)信息的能力，為突破虛擬現(xiàn)實(shí)中的技術(shù)瓶頸提供了絕佳的解決方案，從而能使人眼真正獲得“眼見(jiàn)為實(shí)”的沉浸式體驗(yàn)。
人眼無(wú)法分辨的虛擬與現(xiàn)實(shí)
人的眼睛是獲取外界信息最主要的渠道，經(jīng)過(guò)長(zhǎng)時(shí)間的生理進(jìn)化和日常訓(xùn)練，人眼形成了感知外部世界的一種本能，其中很重要的一點(diǎn)就是感知深度信息，這包括雙目視差、運(yùn)動(dòng)視差、單目遮擋和聚散度等幾種方式。在佩戴頭盔的情況下，人眼實(shí)際是聚焦在頭盔的屏幕上，而虛擬現(xiàn)實(shí)則試圖“欺騙”人眼和大腦，仿佛雙眼是聚焦在不同的距離。當(dāng)顯示的內(nèi)容稍有差錯(cuò)或延遲，人眼就會(huì)敏感地察覺(jué)到，并造成相應(yīng)的神經(jīng)系紊亂，引發(fā)諸如頭痛、眩暈、疲勞等不適癥狀。
實(shí)際上，當(dāng)人在自然狀態(tài)下觀察目標(biāo)時(shí)，眼睛是在不斷變焦的，并且能夠通過(guò)前庭視反射消除畫(huà)面切換時(shí)的抖動(dòng)和模糊。這是因?yàn)樵谌搜鄣闹車(chē)袩o(wú)數(shù)的光線，眼睛通過(guò)不斷地改變焦距，采集來(lái)自不同方向和位置的光線，聚焦在不同的平面。加上頭部的運(yùn)動(dòng)，人可以在很大的范圍內(nèi)不斷地聚焦在所關(guān)心的物體上。也就是說(shuō)，人需要時(shí)刻感知到周?chē)鷣?lái)自不同位置和方向的光線，這就是光場(chǎng)。因此，虛擬現(xiàn)實(shí)要呈現(xiàn)人眼無(wú)法分辨的虛擬內(nèi)容，就必須要借助光場(chǎng)技術(shù)來(lái)記錄外部世界的完整信息，并將這些信息無(wú)損失地復(fù)現(xiàn)出來(lái)，才能使人眼獲得在自然狀態(tài)下觀看的真實(shí)感覺(jué)。
傳統(tǒng)的虛擬現(xiàn)實(shí)之所以不能完全符合人眼的觀察習(xí)慣，就是因?yàn)槠淙狈ν暾墓鈭?chǎng)信息。例如，人工合成的360°全景圖片或視頻，并不是真正的虛擬現(xiàn)實(shí)，因?yàn)檫@些圖片或視頻缺乏立體視覺(jué)效果。但是，即便采用了立體相機(jī)拍攝了三維空間信息，獲得了雙目立體視差，也并不是真正意義上的虛擬現(xiàn)實(shí)，因?yàn)檫@樣的系統(tǒng)仍然缺乏運(yùn)動(dòng)視差，不能形成走入走出的沉浸感，只適合觀看。
再進(jìn)一步，完美的沉浸感還需要加入聚焦信息，即人眼對(duì)焦在不同深度時(shí)，雙眼的聚散程度不同，對(duì)焦所在的平面是清晰的，而其他平面則應(yīng)該是模糊的。傳統(tǒng)的VR系統(tǒng)完全沒(méi)有提供對(duì)焦信息，整個(gè)畫(huà)面都是清晰的，這就造成了人們長(zhǎng)時(shí)間佩戴頭盔后產(chǎn)生的各種視覺(jué)上的不適癥狀。真實(shí)世界的光場(chǎng)是四維數(shù)據(jù)，只有完全記錄光場(chǎng)信息，并且不失真地重現(xiàn)出光場(chǎng)，虛擬現(xiàn)實(shí)所需要的沉浸感和走入走出效果才能淋漓盡致地表現(xiàn)出來(lái)。
光場(chǎng)的記錄和復(fù)現(xiàn)
對(duì)于VR應(yīng)用，光場(chǎng)是解決浸入感瓶頸難題的有效方法，其中的關(guān)鍵技術(shù)包括光場(chǎng)的記錄和復(fù)現(xiàn)。光場(chǎng)信息包括二維的空間信息和二維的方向信息，目前主要有兩種方式采集光場(chǎng)：相機(jī)陣列和微透鏡陣列。麻省理工學(xué)院和斯坦福大學(xué)先后采用多相機(jī)陣列的方式搭建了光場(chǎng)采集系統(tǒng)，從每個(gè)相機(jī)拍攝到的圖片進(jìn)行重構(gòu)，計(jì)算出四維光場(chǎng)。斯坦福大學(xué)的Ren Ng則采用把微透鏡陣列置于探測(cè)器附近的方式，設(shè)計(jì)出單鏡頭的光場(chǎng)相機(jī)，通過(guò)重構(gòu)算法得到完整光場(chǎng)。
光場(chǎng)相機(jī)能夠?qū)崿F(xiàn)先拍照后對(duì)焦的功能，初創(chuàng)公司Lytro先后發(fā)布了兩款基于此原理的光場(chǎng)相機(jī)，另外德國(guó)的Raytrix公司也有類(lèi)似的產(chǎn)品問(wèn)世。對(duì)于VR應(yīng)用，Lytro也采用光場(chǎng)技術(shù)，準(zhǔn)備發(fā)布一款名為Immerge的光場(chǎng)虛擬現(xiàn)實(shí)攝像設(shè)備，能夠拍攝360度的全景光場(chǎng)信息。不管采用相機(jī)陣列還是光場(chǎng)相機(jī)，一旦四維的光場(chǎng)信息能夠完整記錄，就可以在后端的顯示設(shè)備中進(jìn)行光場(chǎng)復(fù)現(xiàn)。
光場(chǎng)的復(fù)現(xiàn)包括渲染和顯示兩個(gè)技術(shù)環(huán)節(jié)。由于光場(chǎng)包含了重要的方向信息，在任意指定的對(duì)焦平面和視角方向，通過(guò)簡(jiǎn)單的積分方法就可以渲染出所需要的場(chǎng)景。然而，光場(chǎng)數(shù)據(jù)具有很高的維度，記錄到的光場(chǎng)往往因?yàn)椴蓸硬蛔阍斐苫斓F(xiàn)象，在渲染的圖像上出現(xiàn)“鬼像”。光場(chǎng)渲染中的“鬼像”問(wèn)題可以通過(guò)輔助幾何信息進(jìn)行校正，只需要簡(jiǎn)單的幾何信息，就可以大幅降低重對(duì)焦后的圖像中的混迭現(xiàn)象。而這些輔助的幾何信息直接可以通過(guò)光場(chǎng)相機(jī)進(jìn)行深度估算得到，即通過(guò)綜合利用重對(duì)焦、焦掃描和遮擋檢測(cè)等技術(shù)，得到很好的深度圖。最終，渲染的光場(chǎng)圖像可以通過(guò)頭盔顯示器顯示給人眼觀看。
由于顯示在頭盔屏幕的是渲染的光場(chǎng)圖像，人眼便可以自然地觀看VR內(nèi)容，而不會(huì)產(chǎn)生傳統(tǒng)VR設(shè)備帶來(lái)的不適感。另外，光場(chǎng)顯示設(shè)備將是光場(chǎng)VR研發(fā)和應(yīng)用中的關(guān)鍵技術(shù)，Magic Leap公司所用到的顯示設(shè)備就是基于光場(chǎng)的原理。近年來(lái)，用于近眼顯示的光場(chǎng)頭盔在學(xué)術(shù)界和產(chǎn)業(yè)界引起了極大興趣，這種光場(chǎng)顯示設(shè)備采用兩層LCD液晶顯示屏，將光場(chǎng)分解為兩幅圖像，通過(guò)光線調(diào)制就可以給人眼重現(xiàn)整個(gè)光場(chǎng)，人眼就可以自由地進(jìn)行重對(duì)焦或者改變視角。這種能夠重現(xiàn)完整光場(chǎng)的光場(chǎng)顯示技術(shù)將是光場(chǎng)VR未來(lái)發(fā)展的熱點(diǎn)方向。
光場(chǎng)VR內(nèi)容制作的挑戰(zhàn)
目前國(guó)內(nèi)外光場(chǎng)VR技術(shù)研究仍處于起步階段，美國(guó)的斯坦福大學(xué)在光場(chǎng)成像和光場(chǎng)顯示方面具有深入研究，初創(chuàng)公司Lytro正在研發(fā)影視級(jí)的光場(chǎng)視頻拍攝系統(tǒng)Immerge，NextVR將光場(chǎng)技術(shù)應(yīng)用到全景3D體育賽事直播中。國(guó)內(nèi)上?？萍即髮W(xué)等高校已經(jīng)開(kāi)展了光場(chǎng)VR方面的研究，相關(guān)產(chǎn)品方面，目前僅有疊境數(shù)字(PlexVR)利用光場(chǎng)技術(shù)進(jìn)行光場(chǎng)VR的內(nèi)容制作，包括環(huán)視相機(jī)陣列光場(chǎng)采集、線陣光場(chǎng)成像、全景3D成像等，已有產(chǎn)品應(yīng)用到博物館展品的虛擬現(xiàn)實(shí)演示、房地產(chǎn)業(yè)的虛擬樣板間參觀、中共一大會(huì)址的3D建模和光場(chǎng)重建等。
目前，VR硬件設(shè)備和平臺(tái)在高科技巨頭的紛紛參與下，已經(jīng)日漸成型并有高品質(zhì)的硬件產(chǎn)品可用，而VR內(nèi)容的開(kāi)發(fā)則嚴(yán)重缺乏，尤其是光場(chǎng)VR內(nèi)容的制作更是處于起步階段。在虛擬現(xiàn)實(shí)的產(chǎn)業(yè)鏈生態(tài)系統(tǒng)中，內(nèi)容的制作必然占據(jù)整個(gè)行業(yè)拼圖中的很大份額，VR內(nèi)容制作中涉及的拍攝硬件研制、軟件開(kāi)發(fā)和內(nèi)容顯示等都是關(guān)鍵的核心環(huán)節(jié)，是一個(gè)軟硬件充分結(jié)合的產(chǎn)物，因此存在巨大的挑戰(zhàn)。在產(chǎn)業(yè)形成的初期，我國(guó)與世界領(lǐng)先的VR技術(shù)差距還不明顯，因而具有很大的發(fā)展空間和潛力，應(yīng)盡快提高VR內(nèi)容制作方向的競(jìng)爭(zhēng)力，占據(jù)全球行業(yè)發(fā)展有利地位。
光場(chǎng)VR是世界上最新的虛擬現(xiàn)實(shí)制作概念和技術(shù)，對(duì)提高VR沉浸感體驗(yàn)具有極大的作用，也是能夠改變整個(gè)虛擬現(xiàn)實(shí)領(lǐng)域的顛覆性技術(shù)，我國(guó)極有可能搶占光場(chǎng)VR技術(shù)研究和應(yīng)用的領(lǐng)先地位。不論是光場(chǎng)VR的基礎(chǔ)理論研究，還是應(yīng)用開(kāi)發(fā)，我國(guó)應(yīng)加快相關(guān)的人才培養(yǎng)、應(yīng)用普及和政策扶持，為已經(jīng)來(lái)臨的VR產(chǎn)業(yè)大發(fā)展做好充足的準(zhǔn)備工作。
相關(guān)閱讀：
解讀4維光場(chǎng)：VR設(shè)備真正的殺手锏
Oculus Rift在視覺(jué)體驗(yàn)上已經(jīng)做得很不錯(cuò)了，Oculus花了很長(zhǎng)時(shí)間將硬件提高到目前的水準(zhǔn)，要知道在視覺(jué)上騙過(guò)人類(lèi)的眼睛和大腦是件很困難的事情，我們從出生開(kāi)始就活在3D世界中，所以很容易辨別出來(lái)一個(gè)模擬的3D環(huán)境有哪里不太對(duì)勁。于是就導(dǎo)致了頭暈、惡心等等這些癥狀，甚至于再也不想玩VR了。
導(dǎo)致VR之路如此艱難的很大一部分原因，是我們雖然離VR屏幕只有幾厘米，卻試圖說(shuō)服我們的眼睛，屏中景物在距離我們很遠(yuǎn)的地方。
當(dāng)前這一代的VR顯示設(shè)備，使用了很多不同的方式，在一塊扁平的屏幕上人工地生成擁有深度信息的圖像。但缺忽略了一個(gè)很重要的技術(shù)，這項(xiàng)技術(shù)可以讓VR圖像看起來(lái)非常自然與舒適——4維光場(chǎng)，它允許類(lèi)似Lytro的光場(chǎng)相機(jī)可以接近真實(shí)地還原光場(chǎng)信息，顯示擁有深度信息的圖像，從而更好地緩解“暈動(dòng)癥”難題。
先看看傳統(tǒng)的VR顯示設(shè)備，比如Rift，利用以下幾種因素來(lái)創(chuàng)造擁有深度信息的圖像：
雙目視差
你的左右眼分別看到不一樣的景象，當(dāng)你的大腦處理這兩個(gè)影像的時(shí)候，雙目的視差會(huì)給你帶來(lái)景象的深度信息。
動(dòng)態(tài)視差
當(dāng)你左右搖晃腦袋的時(shí)候，離你近的景物比離你遠(yuǎn)的景物會(huì)移動(dòng)地更迅速一些，因此VR顯示器可以利用此特性將深度信息加入進(jìn)來(lái)。
雙目遮擋
某個(gè)景物在場(chǎng)景的前方，因此會(huì)遮擋住后方其他的景物，這就造就了景物根據(jù)距離的自然排列。因此，假如一部分遮擋信息同時(shí)進(jìn)入雙眼，大腦就會(huì)產(chǎn)生相應(yīng)的深度信息。
視覺(jué)輻輳
當(dāng)你的眼鏡注視某個(gè)物體時(shí)，離你越近的景物，越會(huì)被眼睛向內(nèi)翻轉(zhuǎn)（收斂），以保證其在視域的中心；離你遠(yuǎn)的景物，會(huì)被眼睛向外翻轉(zhuǎn)（發(fā)散），直到無(wú)限遠(yuǎn)。翻轉(zhuǎn)量使得大腦可以計(jì)算出景物的深度信息。
為了更好地利用以上特性，大多數(shù)VR顯示器分別對(duì)每只眼睛顯示單獨(dú)的圖像。假如這些圖像與頭部的運(yùn)動(dòng)同步地調(diào)整與顯示，則可以創(chuàng)造人眼可以承受的視覺(jué)深度信息。
然而，即使像上述那樣欺騙大腦創(chuàng)造出了有深度信息的圖像，你的大腦依舊會(huì)發(fā)現(xiàn)一些地方不對(duì)勁。視覺(jué)輻輳與另一個(gè)深度要素息息相關(guān)：焦點(diǎn)調(diào)節(jié)。當(dāng)你聚焦于近處的景物，晶狀體收斂性調(diào)節(jié)；當(dāng)你聚焦于遠(yuǎn)處的景物，晶狀體發(fā)散性調(diào)節(jié)。大多數(shù)VR頭顯并沒(méi)有將焦點(diǎn)調(diào)節(jié)考慮到其中，導(dǎo)致全部的圖像一直處于某一個(gè)聚焦的狀態(tài)，但是你的晶狀體卻會(huì)隨著立體影像不斷聚散。
你的大腦極其反感這種情況，這種所謂“視覺(jué)輻輳調(diào)節(jié)沖突”便會(huì)導(dǎo)致視疲勞、重影、頭疼、惡心等一系列癥狀，最嚴(yán)重的是，這還有可能導(dǎo)致兒童發(fā)育中的視覺(jué)系統(tǒng)的病變。
那么此時(shí)，有個(gè)方法可以解決這些問(wèn)題：4維光場(chǎng)技術(shù)。
那么什么是光場(chǎng)？
簡(jiǎn)單的說(shuō)，光場(chǎng)是空間中同時(shí)包含「位置」和「方向」的四維光輻射場(chǎng)的參數(shù)化表示，是空間中所有光線光輻射函數(shù)的總體。
其兩個(gè)主要應(yīng)用方向是「光場(chǎng)拍攝」和「光場(chǎng)顯示」，第一種需要記錄下來(lái)整個(gè)空間的所有信息，第二個(gè)則是需要將這些信息完整地復(fù)現(xiàn)出來(lái)。通俗地說(shuō)就是在空間內(nèi)任意的角度、任意的位置都以獲得整個(gè)空間環(huán)境的真實(shí)信息，用光場(chǎng)獲得的圖像信息更全面，品質(zhì)更好。
那么什么是4維光場(chǎng)？
空間中一束光的「位置+方向」信息，需要5個(gè)維度的坐標(biāo)來(lái)確定—位置需要「X，Y，Z」三個(gè)維度（三維坐標(biāo)系中的點(diǎn)），方向需要「θ，φ」兩個(gè)維度（三維坐標(biāo)系中，θ角是某點(diǎn)與原點(diǎn)構(gòu)成的直線在XY平面的投影與X軸的夾角，φ角是某點(diǎn)與原點(diǎn)構(gòu)成的直線在XZ平面的投影與Z軸的夾角）。在計(jì)算中，每多一個(gè)維度，就會(huì)將計(jì)算量大大提高，因此要盡量降低維度，所以使用了一個(gè)簡(jiǎn)單的模型，即利用某條光線與其穿過(guò)的兩個(gè)平面的交點(diǎn)，來(lái)表示這條光線的位置與方向，假設(shè)這兩個(gè)交點(diǎn)在各自的平面的坐標(biāo)是（u，v）和（x，y），則這條光線的坐標(biāo)就是（u，v，x，y），巧妙地從5維降為4維。
為了理解什么是4維光場(chǎng)，以及它何如工作，我們可以從它的實(shí)際應(yīng)用聊起，即4維光場(chǎng)相機(jī)，簡(jiǎn)稱(chēng)“光場(chǎng)相機(jī)”。Lytro是光場(chǎng)相機(jī)品牌中最優(yōu)秀的之一，對(duì)于Lytro相機(jī)原理的解釋?zhuān)袀€(gè)有趣的比喻：它就好像把一大簇迷你相機(jī)捆在一起，同時(shí)從一個(gè)場(chǎng)景的多個(gè)視角捕捉光線信息，當(dāng)捕捉到每束光線的方向信息后，使用一系列數(shù)學(xué)方法重建一個(gè)數(shù)字光場(chǎng)，還原出一個(gè)趨近于真實(shí)世界的光場(chǎng)。
現(xiàn)在你可以使用光場(chǎng)相機(jī)從各個(gè)角度捕捉圖像了，將光場(chǎng)信息從VR頭顯輸出，便可以有效緩解“視覺(jué)輻輳調(diào)節(jié)沖突”和“暈動(dòng)癥”等等這些問(wèn)題了。不過(guò)，僅僅是“緩解”，而不是“解決”。光場(chǎng)技術(shù)仍屬于起步階段，從各個(gè)方面還不夠成熟，從「捕捉」到「顯示」，要解決的問(wèn)題還太多太多，任重而道遠(yuǎn)。
