第1章　AR Foundation入門

1.1　增強現(xiàn)實技術概述

增強現(xiàn)實（Augmented Reality, AR）技術是一種將虛擬信息與真實世界融合展示的技術，其廣泛運用了人工智能、三維建模、實時跟蹤注冊、虛實融合、智能交互、傳感計算等多種技術手段，將計算機生成的文字、圖像、三維模型、音頻、視頻、動畫等虛擬信息模擬仿真后，應用到真實世界。增強現(xiàn)實技術考慮了真實世界與虛擬信息的相互關系，虛實信息互相補充，從而實現(xiàn)對真實世界的增強，如圖1-1所示。

▲圖1-1　AR技術將虛擬信息疊加在真實環(huán)境之上從而達到增強現(xiàn)實的目的

1.1.1　AR概述

VR、MR、AR這些英文縮寫有時讓初學者感到困惑。VR是Virtual Reality的縮寫，即虛擬現(xiàn)實，是一種能夠創(chuàng)建和體驗虛擬世界的計算機仿真技術，它利用計算機生成交互式的全數(shù)字三維視場，能夠營造全虛擬的環(huán)境。MR是Mix Reality的縮寫，即混合現(xiàn)實，是融合真實和虛擬世界的技術?；旌犀F(xiàn)實概念由微軟公司提出，強調(diào)物理實體和數(shù)字對象共存并實時相互作用，如實時遮擋、反射等。本書主要關注AR技術，并將在后文詳細講述如何用AR Foundation來開發(fā)構建移動端AR應用。

第一個為用戶提供沉浸式混合現(xiàn)實體驗功能的AR系統(tǒng)是在20世紀90年代初發(fā)明的，虛擬裝置及系統(tǒng)于1992年在美國空軍阿姆斯特朗實驗室開發(fā)。在AR技術萌芽后，經(jīng)過無數(shù)人的努力，最早將AR技術帶到大眾視野的產(chǎn)品是Google公司的Google Glass增強現(xiàn)實眼鏡，雖然Google Glass項目最終并未能繼續(xù)下去，但它給整個AR行業(yè)帶來了生機和活力，AR研究及應用由此進入蓬勃發(fā)展時期。2017年Apple公司的ARKit和Google公司的ARCore SDK的推出，把AR從專門的硬件中剝離了出來，使得人們可以通過普通手機體驗到AR帶來的奇妙感受。AR越來越受到各大公司的重視，技術也是日新月異，百花齊放。

顧名思義，增強現(xiàn)實是對現(xiàn)實世界環(huán)境的一種增強，即現(xiàn)實世界中的物體被計算機生成的文字、圖像、視頻、3D模型、動畫等虛擬信息“增強”。疊加的虛擬信息可以是建設性的（即對現(xiàn)實環(huán)境的附加），也可以是破壞性的（即對現(xiàn)實環(huán)境的掩蔽），并與現(xiàn)實世界無縫地交織在一起，讓人產(chǎn)生身臨其境的感覺，分不清虛實。通過這種方式，增強現(xiàn)實可以改變用戶對真實世界環(huán)境的持續(xù)感知能力，這與虛擬現(xiàn)實將虛實隔離，用虛擬環(huán)境完全取代用戶所處的真實世界環(huán)境完全不一樣。

增強現(xiàn)實的主要價值在于它將數(shù)字世界帶入個人對現(xiàn)實世界的感知，而不是簡單地顯示數(shù)據(jù)，通過與被視為環(huán)境自然部分的沉浸式集成來實現(xiàn)對現(xiàn)實的增強。借助先進的AR技術（例如計算機視覺和物體識別），用戶周圍的真實世界變得可交互和可操作。簡而言之，AR就是將虛擬信息放在現(xiàn)實世界中展現(xiàn)，并且讓用戶和虛擬信息進行互動，AR通過環(huán)境理解、注冊等技術手段將現(xiàn)實與虛擬信息進行無縫對接，將在現(xiàn)實中可能不存在的事物構建在與真實環(huán)境一致的同一個三維場景中并予以展現(xiàn)、銜接融合。增強現(xiàn)實技術將改變我們觀察世界的方式，想像在路上用戶行走或者驅(qū)車行駛，通過增強現(xiàn)實顯示器（AR眼鏡或者全透明擋風玻璃顯示器），信息化圖像將出現(xiàn)在用戶的視野之內(nèi)（如路標、導航、提示），并且所播放的聲音與用戶所看到的場景保持同步，這些增強信息將實時進行更新，從而引發(fā)人們對世界認知方式的變革。

1.1.2　AR技術

AR技術是一門交叉綜合學科的技術，其涉及數(shù)學、物理、工程技術、信息技術、計算機技術等多領域的知識，相關專業(yè)術語、概念也非常多，其中重要的概念術語主要有以下這些。

1．硬件

硬件是AR的物質(zhì)基礎，增強現(xiàn)實需要的硬件主要包括處理器、顯示器、傳感器和輸入設備。有些需要一些特殊的硬件，如深度傳感器、眼鏡，通常這類AR往往價格昂貴，有些則不需要專門的硬件，普通的移動端，如智能手機和平板電腦就能滿足，但也通常包括照相機和MEMS傳感器，如加速度計、GPS和固態(tài)電子羅盤等。

2．顯示

在增強現(xiàn)實中疊加的虛擬信息需要借助顯示設備反饋到人腦中，這些顯示設備包括光學投影系統(tǒng)、顯示器、手持設備和佩戴在人體上的顯示系統(tǒng)。頭戴式顯示器，簡稱頭顯。頭顯（Head Mounted Display，HMD）是一種佩戴在前額上的顯示裝置。HMD將物理世界和虛擬物體的圖像放置在用戶的眼球視場上，現(xiàn)代HMD常使用傳感器進行六自由度監(jiān)控，允許系統(tǒng)將虛擬信息與物理世界對齊，并根據(jù)用戶頭部運動相應地調(diào)整虛擬信息；眼鏡是另一個常見的AR顯示設備，眼鏡相對更便攜也更輕巧；移動端如手機屏幕也是AR常見顯示設備。

3．眼鏡

眼鏡（Glasses），這里特指類似近視眼鏡的AR顯示器，但它遠比近視眼鏡復雜，它使用相機采集真實環(huán)境場景，通過處理器對環(huán)境進行跟蹤并疊加虛擬信息，并將增強的虛擬信息投射在目鏡上。

4．HUD（Head Up Display）

平視顯示器（HUD）是一種透明的顯示器，可謂是增強現(xiàn)實技術的先驅(qū)設備，在20世紀50年代首次為飛行員開發(fā)，它將簡單的飛行數(shù)據(jù)投射到他們的視線中，從而讓他們保持“抬頭”而不用看儀器設備。因為HUD可以顯示數(shù)據(jù)、信息和圖像，同時允許用戶查看真實世界，所以它也是一種AR顯示設備。

5．SAR

空間增強現(xiàn)實（Spatial Augmented Reality，SAR）利用數(shù)字投影儀在物理對象上顯示圖形信息，其系統(tǒng)的虛擬內(nèi)容直接投影在現(xiàn)實世界中。任何物體表面，如墻、桌、泡沫、木塊表面甚至是人體表面都可以成為可交互的顯示屏。隨著投影設備尺寸的減小，成本、功耗的降低以及3D投影技術的不斷進步，SAR也處于快速發(fā)展階段。

6．跟蹤

跟蹤是AR實現(xiàn)定位的基礎，增強現(xiàn)實系統(tǒng)可使用以下跟蹤技術中的一種或多種：RGB相機或其他光學傳感器、加速度計、GPS、陀螺儀、固態(tài)羅盤、RFID、深度相機、結(jié)構光、TOF。這些技術為跟蹤提供了測量方面的支持。跟蹤最重要的是需要跟蹤用戶頭部或虛擬現(xiàn)實設備的姿態(tài)，跟蹤用戶的手或手持式輸入設備，提供六自由度交互。

7．網(wǎng)絡

隨著移動設備、可穿戴設備的普及，AR正在變得越來越受歡迎。但是，虛擬現(xiàn)實往往依賴于計算密集型計算機視覺及人工智能算法，所以對處理及傳輸延遲方面有非常高的要求。為了彌補單臺設備計算能力的不足，有時還需要將數(shù)據(jù)處理功能移到中心服務器上，這在延遲和帶寬方面對網(wǎng)絡提出了非常高的要求，而5G技術的發(fā)展有利于解決這個問題。

8．輸入設備

輸入技術包括普通的屏幕輸入、手柄輸入、將聲音翻譯成計算機指令的語音識別設備、用戶身體運動的肢體識別和手勢識別設備等。

9．處理器

處理器負責與增強現(xiàn)實相關的圖形及算法運算，使得虛實融合、顯示等。處理器接收來自傳感器的數(shù)據(jù)——獲取的環(huán)境信息，理解注冊跟蹤環(huán)境，生成圖像視頻模型等虛擬信息并疊加到合適的位置，最后渲染到顯示設備上供用戶查看。處理器也可從硬盤或者數(shù)據(jù)庫中讀取信息，隨著技術和處理器的改進，處理器的運算速度越快，增強現(xiàn)實能處理的信息就越多，增強現(xiàn)實效果就越流暢越真實。

10．軟件與算法

AR系統(tǒng)的一個關鍵指標是虛擬信息與現(xiàn)實世界的結(jié)合度。AR系統(tǒng)從攝像機圖像中獲取與攝像機無關的真實世界坐標，這個過程被稱為圖像配準。這個過程通常由兩個階段組成：第一階段是在攝像機圖像中檢測特征點、基準標記或光流。在第一個階段中可以使用特征檢測方法，如角點檢測、斑點檢測、邊緣檢測或閾值處理等圖像處理方法；第二階段是用第一階段獲得的數(shù)據(jù)恢復真實世界坐標系，在某些情況下，場景三維結(jié)構應預先計算。在第二階段中可以使用的數(shù)學方法包括射影（極線）幾何、幾何代數(shù)、指數(shù)映射旋轉(zhuǎn)表示、卡爾曼濾波和粒子濾波、非線性優(yōu)化、穩(wěn)健統(tǒng)計等。在AR中，軟件與算法大多與計算機視覺相關，且主要與圖像識別跟蹤相關，增強現(xiàn)實的許多計算機視覺方法是從視覺測徑法繼承的。

11．交互

AR中疊加的虛擬信息應該支持與用戶的交互，它最令人興奮的因素是對3D虛擬空間的引入能力，并能在現(xiàn)實中與虛擬信息進行交互。這個交互包括對用戶操作的反饋，也包括程序自發(fā)的主動交互，如隨著距離的不同顯示不同的細節(jié)信息等。

1.1.3　AR技術應用

AR系統(tǒng)具有3個突出的特點：

① 真實世界和虛擬信息融合；

② 具有實時交互性；

③ 在三維空間中定位AR子流產(chǎn)生的虛擬物體。

AR技術可以將虛擬信息疊加到現(xiàn)實世界之上，因而在很多領域都有廣泛的應用前景和發(fā)展?jié)摿?。AR技術可廣泛應用于數(shù)字領域。游戲娛樂領域是最顯而易見的應用領域，AR游戲最早并非起源于手機，而是起源于NDS。此類游戲大多數(shù)的玩法是在桌面上擺放識別卡，然后玩家可通過手機屏幕與識別出來的內(nèi)容進行交互。2011年任天堂3DS主機內(nèi)置的“AR游戲”可利用攝像頭拍攝“AR卡片”，利用AR技術將攝像頭拍攝到的內(nèi)容以另外一種形式展現(xiàn)在屏幕內(nèi)；2019年4月，國內(nèi)AR探索手游《一起來捉妖》上線，這是與Pokémon Go差不多的捉怪游戲。在娛樂、游戲領域中，AR正處于快速發(fā)展階段。

除此之外，AR技術在文學、考古、博物、建筑、視覺藝術、零售、應急管理/搜救、教育、社會互動、工業(yè)設計、醫(yī)學、空間沉浸與互動、飛行訓練、導航、旅游觀光、音樂、虛擬裝潢等領域都有著廣闊的應用前景。

提示　

在本書中：1．虛擬對象、虛擬信息、虛擬物體均指在真實環(huán)境上疊加的由計算機處理、生成的文字、圖像、3D模型、視頻等非真實信息，嚴格來講這三者是有差別的，但有時我們在描述時并不嚴格區(qū)分這三者；2．Unity、Unity3D均指Unity 3D引擎軟件；3．Vertex Shader、頂點著色器、頂點Shader均指頂點Cg代碼，F(xiàn)ragment Shader、片元著色器、片元Shader均指片元Cg代碼。