2.3 3D顯示中的視覺線索

3D顯示采用的基本視覺功能主要是雙目視差、輻輳和視錯覺。其中，雙目視差、輻輳等雙眼深度線索是實現3D顯示的關鍵。

2.3.1 3D空間再現的基本要素

在3D顯示中，為了再現接近自然的客觀空間，顯示技術必須滿足圖2-34所示的視覺功能的空間再現要素，包括檢出物體絕對距離的要素、檢出物體間相對距離的要素、感知空間范圍的要素。

1．檢出物體絕對距離的要素

焦點調節①：因為眼球接合部的焦點深度特性，要求可在模糊狀態檢出數米以內的物體距離，可在近距離主動進行焦點調節的顯示信息量。在顯示分辨率上，需要更高精細度的圖像。

輻輳②：從注視物體時的雙眼運動到數十米之間的距離檢出，因為與要素①聯動，近距離顯示時兩者的平衡成為問題。根據要素①②，近距離安定觀察的距離為40～70cm。

視網膜上的像③：與要素①密切相關，根據物體大小、明暗與顏色的對比，清晰度等圖像信息，能感覺到遠的、大范圍的距離。對物體大小施加規則性的“透視圖法”，是表現平面圖像景深的代表手法。

2．檢出物體間相對距離的要素

運動視差④：移動觀察位置獲取物體間相互位置關系（相互重疊或移動速度）的變化，可以感覺到數百米范圍的前后位置關系。

雙目視差⑤：左右眼分別看到的物體像的偏差（視差），以注視物體為參照物，可以精確地分辨出前后位置關系。雙目視差（ΔD：（AR?AL）/（BR?BL））感知相對距離。不過，由于雙目視差可檢出的最大偏差量（融像范圍）辨別范圍的限制，以及與要素①～④的關系，可以有效辨別100m以內的物體前后關系。

要素④和⑤存在繼時和同時的差，橫向移動時狀態一致。

3．感知空間范圍的要素

視野⑥：根據視網膜位置上信息的差異及產生主觀坐標軸方向誘導效果的視覺信息提示，可以再現與普通生活狀態一樣的空間不受限制的狀態，即寬視野、大畫面顯示。

眼球和頭部運動特性⑦：積極探索信息時發生的眼球和頭部運動不受制約的高精細度和大畫面顯示效果。

要素⑥和⑦都要求大畫面顯示，加上視網膜靜態特性，要求能夠提供信息探索動態特性充足的雙方向系統的信息提示。單眼深度線索伴隨著眼球運動EM、頭部運動HM和姿勢變動BM。

對應圖1-5所示的3D顯示技術分類，3D顯示空間再現方式分為視錯覺3D顯示、2視點及多視點3D顯示、真三維顯示。視錯覺3D顯示是在一幅平面圖像上使用構圖、大畫面、空中像等方式再現景深方向的空間，是一幅景深圖像，要素③④⑥的景深效果明顯。2視點及多視點3D顯示是通過兩幅及兩幅以上的視差圖像再現以顯示屏幕為中心，前后呈一定景深的空間，包括眼鏡式、光柵式等3D顯示方式。僅以要素⑤即可形成立體效果，如果要獲得更加自然的顯示效果，需要增加與要素⑥相關的大畫面化，與要素②相關的安定空間顯示條件。真三維顯示是指超多視點3D顯示及通過空間掃描和物體波面再現等方式形成的空間像，可以再現絕大部分的視覺空間要素。具體的3D顯示方式包括光場3D、體3D、全息3D等。在2視點及多視點3D顯示的基礎上，增加要素①②④⑦，可以再現更自然的空間。

2.3.2 雙目視差式3D顯示

由于兩眼觀察物體的角度不同，兩眼所攝取的像在大小和形狀方面必然有所差異。這種兩眼視網膜上的成像大同小異，是形成立體視覺的基礎。多視點3D顯示技術的基礎是雙眼立體視，是基于雙目視差與輻輳再現的特性化設計構造。

1．視差與視差角

左右視差圖像中的同源像點，在豎直方向的差異稱為垂直視差，在水平方向的差異稱為水平視差。水平視差是實現3D顯示的主要因素，3D顯示中所講的視差一般指水平視差。根據左右視差圖像中同源像點視差大小的不同，視差分為正視差、負視差和零視差。

如圖2-35所示，當左右眼的視差圖像所成像點在顯示屏上重合時，觀看者感知該再現物點位于顯示屏上，無立體效果。這時的左右視差大小為零，稱為零視差，這種視差效應也叫通常視。當左右眼視差圖像的左右位置關系與左右眼的位置關系相同時，視差角為正，稱為正視差，這種視差效應也叫平行視。當左右眼視差圖像的左右位置關系與左右眼的位置關系相反時，視差角為負，稱為負視差，這種視差效應也叫交叉視。3D顯示時，正視差和負視差再現的物點分別位于顯示屏的后方和前方，形成立體視覺。

3D顯示的圖像物體越近，雙目視差越大，雙眼輻輳角越大。圖像物體越遠，雙目視差越小，雙眼輻輳角越小。如圖2-35所示，把左右眼同時聚焦在顯示屏相同點時的輻輳角定義為θ0，相應的視差角為0，即零視差。如果正視差圖像對應的輻輳角θ3=1°，則對應的視差角為1°（θ3?θ0）。如果負視差圖像對應的輻輳角θ1=1°或θ2=2°，則對應的視差角為?1°（θ0?θ1）或者?2°（θ0?θ2）。

2．雙目視差與輻輳

觀看現實世界中撲面而來的物體時，與輻輳聯動的是晶狀體變厚的焦點調節，以減輕模糊，即輻輳距離與焦點調節距離是一致的，如圖2-36（a）所示。觀看普通3D顯示時，雙眼一直聚焦在顯示屏上，晶狀體的大小不變，沒有焦點調節，只存在輻輳運動，如圖2-36（b）所示。

當前大部分3D顯示終端只實現了立體顯示所需的雙目視差深度線索，由于顯示器件空間角度分辨率的限制，無法實現人眼單目聚焦深度線索，人眼在觀看基于雙目視差線索的3D顯示時，存在雙眼輻輳與單眼焦點不協調的問題，這種輻輳與焦點調節不協調是造成立體視覺疲勞的主要原因。如圖2-36（b）所示雙目視差式3D顯示終端，圖像顯示在固定位置屏幕上，所以單眼的焦點調節距離（焦距）是固定的，此時當視線聚焦于顯示面上時，看到清晰圖像。而當人眼觀察顯示的3D物體時，雙眼的輻輳角匯聚于3D物體的虛擬位置，人眼單目聚焦的平面與雙眼匯聚的平面不在同一位置，發生立體視覺沖突。

3．實現雙目視差方式的3D顯示

基于正視差的3D顯示，相應的立體視覺原理如圖2-37所示。以左右雙眼之間的連線為X軸，雙眼中點為原點建立空間坐標系OXYZ。L和R分別代表左眼和右眼的位置坐標，P為物體空間位置坐標，PL和PR分別表示左右眼在屏幕上看到的點P的投影位置，D為人眼到屏幕的觀看距離，e為雙眼瞳距。根據三角形相似原理，可求得雙目視差：

根據式（2-17），通過設置雙目視差H及觀看距離D，可以獲取深度信息zP，從而控制立體深度感。其中，雙目視差H由拍攝系統決定，觀看距離D由顯示系統決定。

如圖2-38所示，顯示屏上同時顯示稍有差異的右眼視差圖像和左眼視差圖像，如果左眼聚焦左邊的視差圖像，右眼聚焦右邊的視差圖像，則兩眼呈平行視，形成正視差效果，顯示的圖像呈“入屏”效果。如果左眼聚焦右邊的視差圖像，右眼聚焦左邊的視差圖像，則兩眼呈交叉視，形成負視差效果，顯示的圖像呈“出屏”效果。

雙目視差式3D顯示，左右眼視差圖像的差異不能太大。差異過大，兩眼合像困難，甚至不能合像，最終只能放棄雙眼單視。一般，圖像差異小于0.25%是感覺不到的，對雙眼單視的合像過程也不會產生任何影響。由于立體視覺是高級的視覺功能，除兩眼圖像之間的幾何差異起著最基本的作用外，視覺的高級神經和精神活動也有很大作用。例如，兩眼像差為5%，本來是難以合像的，但可利用視覺知覺過程中的可塑性予以補償，仍可形成雙眼視覺。兩眼像差超過5%，會使雙眼視覺發生困難，或者根本喪失。

2.3.3 單目聚焦式3D顯示

只有雙目視差深度線索的3D顯示，無法有效利用焦點調節深度線索，因為眼睛一直盯著屏幕，眼睛注視的絕對距離不變。在雙目視差深度線索的基礎上，采用焦點調節深度線索，才能看到更自然的3D顯示效果。單目聚焦式3D顯示可以提供較為全面、接近準確的深度線索，包括光場3D、體3D和全息3D等顯示技術。

1．單目聚焦3D顯示的意義

觀看真實物體和觀看3D顯示時的視網膜成像效果不同。如圖2-39所示，觀看真實物體時，觀測點兩側的圖像是模糊的，眼睛聚焦在物體上；觀看3D顯示的虛擬物體時，觀測點及其兩側的圖像同樣清晰。這說明3D屏幕所發出的光線，并沒有因為各個虛擬對象的深度不同，發出具有差異的光線，而是和平面圖像一樣，相互間基本上是一致的。這樣，眼睛的焦點調節與各個虛擬對象的深度不匹配，產生調節輻輳沖突，與人的正常生理規律相違背，帶來視覺疲勞和不適感。

實現具有單目聚焦功能的3D顯示，就是要讓3D顯示設備渲染出焦點調節深度線索，創造出場景中相應的深度知覺，近似人眼感知真實空間深度的方式。所以，單目聚焦式3D顯示也叫真三維顯示，可以真實再現物理三維空間。對于所顯示物體的每一個物點（x，y，z），在三維空間具有對應的像點（x'，y'，z'），該對應像點稱為體素（Voxel）。即使一個很小、很簡單的物體也都包含有大量的數據信息，這對數據存儲和處理速度提出很高的要求。

真三維顯示通過重建出三維物體表面的體素朝各個方向發出的光線來重建空間三維場景，同一體素發出的光線具有很小的角度間隔，能給周圍的所有觀察者很好的圖像深度暗示，能讓人眼聚焦到光線空間的不同距離，不同位置的觀察者不需要借助任何助視工具就可以看到相應位置的三維圖像，人眼的焦點調節距離與輻輳距離保持一致。

2．單目聚焦功能的實現方式

在真三維顯示系統中，對應每種成像空間的構造方式，有很多種體素生成方式。實現單目聚焦功能的方式有實物散光點連續聚焦方式、虛擬散光點連續聚焦方式和密集幾何光線會聚方式。

實物散光點連續聚焦方式就是體3D顯示技術。體3D顯示技術大體可分為掃描體3D顯示和固態體3D顯示兩種。掃描體3D顯示是在快速移動的鏤空或半透明的介質上投射亮點或圖像，快速移動的介質把投射過來的光束散射開，在成像空間內部形成散光點，利用視覺暫留效應生成3D場景。固態體3D顯示的介質由n個光衰減屏層疊而成，控制光衰減屏的像素透明度。某一時刻的某個像素，其中（n?1）個光衰減屏是透明的，剩下的1個屏是不透明的，呈白色的漫反射狀態，形成散光點。在這n個屏上快速切換，顯示3D物體截面，從而產生縱深感。體3D顯示的單目聚焦點是在顯示屏幕上真實存在的散光點。

虛擬散光點連續聚焦方式就是全息3D顯示的波前聚焦方式。全息3D顯示的基本原理是利用光波干涉法同時記錄原物光波的振幅與相位。由于全息再現像光波保留了原物光波的全部振幅與相位的信息，所以再現像與原物有著完全相同的三維特性。觀看全息像時會得到與觀看原物時完全相同的視覺效果，包括各種位置視差。

密集幾何光線會聚方式就是光場3D顯示技術。經典的光場3D顯示是從（x，y）平面發出的幾何光線經過（u，v）平面的角度調節，重建空間三維場景。如果（x，y）平面發出的幾何光線足夠密集，經過（u，v）平面角度調節后，空間物點進入單只眼睛的視差圖像（視點）數超過2個，就可以形成單目聚焦的功能。幾何光線的不同會聚位置可以實現在不同景深位置的聚焦功能。

2.3.4 2D視圖轉3D顯示

2D視圖轉3D顯示是通過數字技術對2D圖像進行后期處理，制作出左眼及右眼用視差圖像。運用大量的深度線索，在原來只有XY關系的平面圖上增加一個Z軸的深度，以增加景深。

1.2D轉3D的基本過程

2D轉3D的基本過程如下：首先，把2D圖像進行分割，將圖像劃分為與其中含有的真實世界的物體或區域有強相關性的組成部分；然后，從分割后的2D圖像中挖掘深度線索并從中提取深度；最后，根據深度賦值生成3D視差圖（立體圖像對）。

圖像分割算法一般基于亮度值不連續性和相似性的兩個基本特征之一：分割得越細致，通過后期的深度提取與深度賦值產生的3D空間就越有深度感。基于深度提取算法所依賴的深度線索，可以將深度提取算法分為12類。表2-1給出了深度提取算法參數。

從深度圖進行3D圖合成的過程，就是從深度圖到立體圖像對生成的過程，實際上是從原始圖像結合深度圖生成左眼圖像與右眼圖像。而左右眼圖像是通過對分割后物體的平移操作獲得的。最初，將原始的2D圖像作為一個眼的圖像，再平移得到另一個眼的圖像。現在，原始的2D素材被當作介于左右圖像之間的中間圖像，左右眼的圖像都是經過其平移得到的。這樣減小了因為計算造成的圖像變形。

在得到3D圖像對后，根據3D顯示效果要對前面的步驟不斷地進行微調，以達到最好的3D顯示效果。

2.2D轉3D的深度線索

在2D轉3D的深度提取算法中，單目深度技術比較困難，有時僅有一幅圖像得到的只是深度關系，而不是實際的深度。目前的主流算法是利用雙目深度線索，結合多幅圖像在空間維度與時間維度上的相關性來獲取場景的深度信息。特定環境下采用單目深度技術。

雙目視差 通過立體匹配的方法在兩幅圖像中尋找對應的像素，計算雙目視差。視差越大，場景越近；視差越小，場景越遠。最后將雙目視覺轉換為場景深度。常用的立體匹配算法有基于局部窗口相關、基于圖像特征點匹配和基于全局優化的方法。基于局部窗口相關的方法得到一幅密集視差圖；基于圖像特征點匹配的方法得到一幅稀疏視差圖；基于全局優化的方法利用平滑約束，最小化一個能量函數來得到最佳的雙目視差值。

運動視差 相機與場景間的相對運動提供的運動視差是時間維度上的視差，常用運動場來表示。運動場是場景與相機間相對運動產生的圖像點的二維速度矢量。運動場估計常用算法包括基于光流和基于特征的方法。光流是指當觀察者和場景目標之間有相對運動時，圖像亮度模式的表現運動。基于光流方法得到的是密集深度圖，基于特征方法得到的是稀疏深度圖。

散焦 在透鏡系統中，恰好對焦的物體能夠清晰地成像，而其他距離上的物體點就會出現不同程度的散焦現象，表現為以一點為中心的圓形光斑，光斑的半徑越大說明散焦的程度越深。通過相機標定可以得到相機參數，只要調整焦距設置，計算出各個散焦物體對應的光斑半徑，就能夠得到物體深度。在只有一幅圖像的情況下，一種散焦模糊估計的方法是利用高斯濾波器的二階導數對輸入圖像進行濾波，由濾波結果計算得到散焦半徑，結合相機標定得到的相機參數就能計算出密集深度圖。

聚焦 在拍攝一個場景過程中，固定焦平面，不斷改變相機與場景的距離，得到一系列不同聚焦水平的圖像。記錄下每個物體點在最佳聚焦時對應場景相對參平面移動的距離，就能計算出每個物體點的深度，從而得到密集深度圖。

輪廓 物體輪廓是將物體從背景中分離出來的周線。這種方法需要從不同視點對同一場景拍攝多幅圖像，通過背景剪影的方法，從背景中分離出目標物體，然后利用相機標定時得到的相機參數，將目標物體投影回三維空間。多幅圖像向后投影的結果就形成了目標物體在實際空間中的3D模型。

幾何透視 基于幾何透視關系恢復深度的方法首先對輸入圖像應用邊緣檢測，定位主要的直線，找出這些直線的交點，將交點密度最大區域的中點作為滅點，滅點周圍出現的主要直線作為滅線。然后在相鄰滅線之間賦值梯度平面，每一個梯度平面對應一層深度，靠近滅點的梯度平面被賦予較大的深度，梯度平面的密度也較大。沿著滅線往滅點方向，場景深度逐漸加深。

大氣散射 大氣散射的應用性不強，只能處理特定場景的圖像，在計算機視覺領域的研究并不多。

陰影 圖像中物體表面陰影的逐次變化包含了物體的形狀信息。陰影恢復形狀方法就是利用表面幾何與圖像亮度之間的關系，從亮度圖像中恢復出物體三維形狀的一種技術。人腦能夠非常好地利用陰影及一般情況下明暗度提供的線索。檢測到的陰影不僅明確地指示了隱藏邊緣的位置和與其鄰近的表面的可能方向，而且一般的敏感度性質對于導出深度信息有著重要的價值。

圖案紋理 實際大小相同的紋理元在圖像中反映為近大遠小。通過比較一塊紋理區域中不同紋理元的位置和方向，可以估計出這些紋理元的相對位置關系，進而得到它們的深度。紋理恢復形狀的方法致力于根據表面法線得出紋理表面的方向。

遮擋 被遮擋的物體離觀察者更遠一些。一些已有算法通過分割物體，尋找各個分割物體之間的遮擋關系，區別出物體層次，最終得到相對深度圖。

統計模式 基于統計模式的2D轉3D技術，通過機器學習的方法，將事先準備好的大量有代表性的訓練圖像和它們對應的標準深度圖輸入系統進行有監督的學習，使系統能對實際待處理的輸入圖像進行準確分類，找到最適合的深度賦值方法。

3．人工智能2D轉3D技術

將計算機視覺和人工智能技術用于3D顯示內容制作，實現單視點和多視點重建更多視點的方法逐漸替代了直接拍攝。相比通過計算機軟件人工輔助方式實現2D轉3D，人工智能2D轉3D技術具有高效、精確等優點。

在傳統的2D轉3D技術中，畫面生成的立體效果精確度取決于分割層次。通過精選數據集和優化算法，人工智能2D轉3D技術能自動將畫面里的每一個物體、元素都精確分割、繪制，最大限度地還原畫面的真實立體感。在圖2-40中，左側原圖用傳統手工轉3D方式繪制深度，很難看到左上角的半張人臉。而人工智能系統在對場景進行三維重建時，能清晰勾勒出左上角的人臉，通過對原圖進行調色觀察，可看到左上角的人臉。

人工智能2D轉3D內容制作，現有效果主要采用人工制作的樣本數據對2D轉3D內容制作模型進行訓練。通過增加樣本數據所包含場景，增加數據量，可以有效地提升模型適用范圍。提升模型轉換效果，主要采用構建多級時空視差提取神經網絡，通過樣本數據訓練神經網絡參數，取得多級時空2D轉3D制作模型。

人工智能自動2D轉3D內容制作技術支持常見2D內容3D轉制后達到50視點，實現更為平滑的視點變化，觀影效果更加逼真。其解決方式主要采用構建對抗判別深度匹配模型并加入新型針對局部錯誤區域進行優化判別損失函數，由多視點圖像，通過對抗判別深度匹配模型，提取匹配后多視點圖像視差信息，進行三維重建模型和重建更多視點。

在傳統影視3D內容制作中，采用人工方式對圖像中對象的深度信息進行設置，給定對象合理的相對深度位置，獲取對應原始2D圖像內容的視差圖像，經過立體渲染，獲取3D圖像。在立體渲染技術中，視差圖的質量直接影響著渲染后3D圖像效果，而視差角度數量也直接對應著轉換后3D圖像空間感。如圖2-41所示，采用左右2視點進行三維重建，重建后隨著立體感增大，會出現重影現象，導致空間感受限。解決以上問題，可以通過將已有視點圖像進行立體匹配，并結合針對局部錯誤區域的損失判別方式，提取更多視點、更準確視差信息的方式，轉制3D顯示內容。