2.1 視覺傳感器的種類和原理

視覺傳感器成本低廉，獲取的環境信息直觀，在車載領域得到了廣泛應用，比如目前常見的倒車影像和360°全景環視系統，都使用了魚眼攝像頭。同時，隨著各類圖像處理方法的發展，以及圖像處理芯片成本的持續降低，使用視覺傳感器實時獲取環境信息成為一種可行的車載應用方案。因此，視覺傳感器成為目前智能網聯汽車廣泛使用的傳感器。目前，具備圖像識別能力的視覺傳感器主要是前視攝像頭，如圖2-1所示。

視覺傳感器又稱為成像裝置或攝像裝置，是智能車輛路徑識別模塊中攝像頭的重要組成部分，可以檢測可見光、紫外線、X射線、近紅外光等，實現視覺功能的信息采集、轉換和擴展，提供可視化、真實、多級、多內容的視覺圖像信息。圖像傳感器控制芯片如圖2-2所示，按安裝位置分，有前視、后視和環視；按鏡頭類型分，有長焦、魚眼；按傳感器的原理分，有單目可見光、雙目可見光和紅外夜視等多種類型。

視覺傳感器的感知核心是電荷耦合元件（Charge-coupled Device，CCD），是一種半導體器件，能夠把光學影像轉化為數字信號。CCD上植入的微小光敏物質稱為像素（Pixel）。一塊CCD上包含的像素數越多，其提供的畫面分辨率也就越高。CCD的作用就像膠片一樣，但它是把光信號轉換成電荷信號。CCD上有許多排列整齊的光電二極管，能感應光線，并將光信號轉換成電信號，經外部采樣放大及模數轉換電路轉換成數字圖像信號。CCD作為一種新型的光電轉換器，現已被廣泛應用于攝像、圖像采集、掃描儀以及工業測量等領域。CCD圖像傳感器可分為兩類：一類用于獲取線陣圖像，稱為線陣CCD；另一類用于獲取表面圖像，稱為面陣CCD。對于線陣CCD，它可以直接接收一維光學信息，但是不能直接將二維圖像轉換成一維電信號輸出，為了獲得整個二維圖像的輸出，必須采用線掃描方法來實現。面陣CCD的感光單元以二維矩陣排列，可以檢測二維平面圖像。

涂在CCD表面的硅半導體光敏器件捕獲光子并產生光生電子，這些電子首先聚集在CCD下的絕緣層中，然后由控制電路串行輸出到模擬電路，再通過成像電路（如DSP）進行傳輸形成一個圖像。

視覺傳感器的鏡頭和CCD將獲取到的光信號轉換為可以由計算機處理的圖像編碼后，內部的光敏元件電路和控制元件對圖像編碼進行處理，并將其轉換成控制單元可處理的數字信號，進一步使用各類圖像處理算法從圖像中提取并跟蹤相關特征，即可實現對車輛周圍路況的識別，為決策系統做出前方碰撞警告、車道偏移報警和行人檢測等提供有效的環境感知信息。

單目攝像頭、雙目立體攝像頭、紅外攝像頭是目前在汽車上應用比較廣泛的視覺傳感器，它們的檢測原理、處理算法及特點各有不同，下面分別介紹這幾種典型的車載視覺傳感器。

2.1.1 單目視覺傳感器的原理和特點

單目傳感器的工作原理是先識別后測距，首先通過圖像匹配對圖像進行識別，然后根據圖像的大小和高度進一步估計障礙物和車輛移動時間。在算法設計過程中，需要將標記有待識別目標的圖片建立成為樣本數據庫，并由算法去學習這些圖片中的特征，在實際應用時，就可以根據已經學習到的特征，識別出待識別目標。要識別各種車型，需要建立車型數據庫；要識別動物就需要建立動物數據庫；要識別人類或者自行車等交通參與者，也需要建立相應的模型數據庫。樣本數據庫容量越大，通過學習得到的計算機視覺算法就可以越準確地識別目標，同時避免誤識別。

目前的輔助駕駛領域的單目攝像頭可識別40～120m的范圍，未來將達到200m或更遠。單目攝像頭的視角越寬，可以實現的精確檢測距離越近；視角越窄，可以檢測到的精確距離越遠。

單目攝像頭是自動駕駛車輛系統中最重要的傳感器之一，通過車道線檢測和車輛檢測，可以實現車道保持和自適應巡航功能，如圖2-3所示。它具有成本低、幀速率高、信息豐富、檢測距離遠等優點，但易受光照、氣候等環境影響，缺乏目標距離等深度信息，對目標速度的測量也有一定影響。

智能網聯汽車傳感系統使用單目攝像頭是一種很好的方法，但也有明顯的問題，比如依賴大量訓練樣本、特征提取過程難以觀測和調整等。由于傳感器的物理特性，攝像頭測距精度遠低于激光雷達和毫米波雷達。因此，在實際應用中，需要結合激光雷達和毫米波雷達等其他傳感器進行探測，這些傳感器在各自的約束條件下能夠發揮各自最優的性能，各類傳感器的融合將大大提高目標檢測的精度。傳感器融合是感知的核心理念，不同的傳感器需要利用各自的優點，克服各自的缺點，實現相互補償。

另外，單一的攝像頭由于鏡頭角度、探測范圍和精度有所不同，在實際應用中也經常采用組合的單目攝像頭來實現不同的環境檢測，如：

①長焦攝像頭和短焦攝像頭組合的方式，提供遠距離精確探測和近距離大探測范圍的綜合檢測。

②四個魚眼攝像頭分別布置在車輛的前后左右，通過圖像拼接提供環視功能。

2.1.2 雙目視覺傳感器的原理和特點

雙目視覺傳感器的工作原理是先對物體與本車距離進行測量，然后再對物體進行識別，車載雙目攝像頭如圖2-4所示。

在距離測量階段，先利用視差直接測量物體與汽車之間的距離，原理與人眼相似。當兩只眼睛注視同一物體時，會有視差，分別閉上左右眼看物體時，會發現感覺位移，這種位移大小可以用來測量目標物體的距離。

在目標識別階段，雙目攝像頭仍然使用與單目視覺相同的特征提取和機器學習算法來進一步識別目標。

雙目攝像頭利用仿生學原理，通過校準后的雙目攝像頭獲得同步曝光圖像，然后計算得到二維圖像像素的三維深度信息。利用視覺計算原理，可以計算出拍攝場景中物體的三維空間位置信息。在此基礎上，可以實現環境感知、體感、建模和行為識別等多種應用。與單目攝像頭相比，雙目攝像頭更適用于獲取單目攝像頭無法準確識別的信息。

如圖2-5所示，雙目攝像頭由于自身的測距原理，會要求兩個鏡頭之間的誤差越小越好。如果兩個鏡頭的誤差都大于5%，那么識別過程中調整的算法難度就會大得多，不能保證測距確定性。

雙目攝像頭可以在不識別目標的情況下獲得距離數據。雙目攝像頭輸出深度圖不能直接用于自動緊急制動系統等功能，與單目攝像頭一樣，也需要對目標做出識別，此時仍然要利用單目攝像頭一樣的特征提取和自學習等圖像處理算法。

雙目攝像頭本身的安裝要求很高，例如，攝像頭之間的距離在10～20cm之間，這個距離需要非常精確，因為它直接關系到測距的精度。由于汽車所處的環境復雜多變，工作環境溫度要求在-40～85℃之間。另外，傳統器材必然存在熱脹冷縮問題，這將影響兩個攝像頭透鏡之間的距離。

由于目標距離越遠、視差越小，雙目攝像頭在20m內測距精度較高，隨著距離增加，可以通過高像素攝像頭和更優秀的算法來提升測距性能。雙目鏡頭間距對測距精度也有較大影響，鏡頭間距越小，檢測距離越近；鏡頭間距越大，檢測距離越遠，同時標定和安裝難度越大。考慮車載設備安裝布置和標定等因素，鏡頭間距也不能過大，因此雙目攝像頭的測距能力也受到了約束。

雙目攝像頭兼具了圖像和激光測量的特點，也有自身安裝、標定和算法方面的挑戰。在實際應用中，雙目攝像頭可以獲取的點云數量遠多于激光雷達，但是要強大的算法適配才能進一步做出分類、識別和目標跟蹤，同時也需要具有較強計算力的嵌入式芯片，才能使其優勢得到發揮。

2.1.3 紅外夜視視覺傳感器的原理和特點

由于夜間可見光成像的信噪比較低，從而導致基于可見光的視覺傳感器夜間成像的難度增大，而遠紅外系統在這個時候就能發揮自身獨特的優勢。

自然界中一切溫度高于絕對零度的物體，每時每刻都會向外輻射紅外線。紅外線輻射的物理本質是熱輻射，也是一種電磁波。紅外線是從物質內部發射出來的，產生紅外線的根源是物質內部分子熱運動。

紅外線通常指波長從0.78～1000μm的電磁波，紅外波段的短波端與可見光的紅光部分相鄰，長波端與微波相接，如圖2-6所示。紅外線與電磁頻譜的可見光一樣，以光速傳播，遵守同樣的反射、折射、衍射和偏振等定律，因此其成像的原理與前面介紹的視覺傳感器完全一樣。

基于紅外熱成像原理，通過能夠透過紅外線的紅外光學系統，將視場內景物的紅外線聚焦到紅外探測器上，紅外探測器再將強弱不等的輻射信號轉換成相應的電信號，然后經過放大和視頻處理，形成可供人眼觀察的視頻圖像，如圖2-7所示。

紅外夜視可以分為主動和被動兩種類型。被動紅外夜視技術，利用目標發出的紅外線形成環境的熱圖像；主動紅外夜視技術，通過主動向外發射強紅外線，再由反射光學系統的物鏡組接收，在紅外成像管的光電陰極表面形成被測目標的紅外圖像。

紅外夜視系統是視覺傳感器一個獨特的分支，圖像處理算法在處理遠紅外夜視圖像過程中依然能夠發揮作用，因此紅外夜視系統能夠像可見光攝像頭一樣，獲取環境中的目標大小和距離等信息，在光照不足條件下是對基于可見光的視覺傳感器的一種有效補充。

2.1.4 多個視覺傳感器的組合應用

在汽車智能駕駛中，通過不同焦距和不同仰角的多個單目攝像頭，可以獲得不同位置的交通標志、信號燈和各種道路標志的檢測和識別能力。例如，在長焦攝像頭的成像中，100m處的交通燈足夠大，100m處的交通標志上的數字也清晰可見。而在短焦距攝像頭的成像中，100m處的交通標志上的數字是完全不清楚的。因此多個單目視覺傳感器的組合方案在智能網聯汽車領域也得到了廣泛的應用。

汽車駕駛的動態環境是不斷變化的，正確而充分地理解環境是智能網聯汽車感知系統面臨的重要挑戰。如圖2-8所示，由三個單目攝像頭構成的三目攝像頭劃分為不同的視場角，如25°視場、50°視場和150°視場。其中，25°視場探測距離遠，用于檢測前車道線、交通燈；50°視場探測距離和范圍均衡，用于一般的道路狀況監測；150°視場探測范圍廣，用于檢測平行車道、行人和非機動車行駛的狀況。三目攝像頭可以獲得覆蓋范圍更大的視場角，可以有效獲得道路狀況、行人和交通燈等信息。

隨著智能駕駛水平的提高，對車上傳感器的數量和要求也會增加。單就視覺而言，僅僅通過環視或二維視覺很難滿足復雜環境感知的需求，對多維立體視覺的需求會越來越突出，如何通過各類傳感器的組合實現對環境變化的適應和感知，是視覺傳感器及圖像算法領域面臨的挑戰。