- 基于單目視覺的智能汽車行人檢測技術(shù)研究
- 于立萍 辛?xí)?/a>
- 3958字
- 2019-10-23 18:31:08
1.2 國內(nèi)外研究的進(jìn)展與典型系統(tǒng)
世界上第一輛智能汽車于1979年在日本研制成功[16],裝有2臺攝像機(jī)及專用的信號處理系統(tǒng)和控制系統(tǒng),測試時速達(dá)30km/h。但全面的研究是于20世紀(jì)80年代早期同時在美國和德國基于不同的目的完全獨(dú)立開始的,其起源可以追溯到當(dāng)時由美國發(fā)起的星球大戰(zhàn)(Star War)計劃和歐洲發(fā)起的尤里卡(Eureka)計劃[17]。進(jìn)入20世紀(jì)90年代后,隨著持續(xù)增加的由道路交通擁擠、堵塞等情況所引發(fā)的交通安全性、效率的下降以及交通成本和環(huán)境污染加大等問題的日益嚴(yán)重,各國紛紛成立了專門解決這些問題的相關(guān)組織并啟動了相應(yīng)的項目計劃,導(dǎo)致了與智能汽車相關(guān)的研究領(lǐng)域的興起。在美國、歐洲、日本、中國都出現(xiàn)了大量的研究機(jī)構(gòu)并研制了眾多的原型系統(tǒng)。下面將對其中一些典型的系統(tǒng)及其相關(guān)技術(shù)進(jìn)行介紹。
1.2.1 美國的研究進(jìn)展及典型系統(tǒng)介紹
美國卡內(nèi)基·梅隆大學(xué)(CMU, Carnegie Mellon University) NavLab實驗室已經(jīng)先后開發(fā)了從NavLab 1到NavLab 11一系列的智能汽車實驗平臺和多種視覺導(dǎo)航系統(tǒng),如SCARF、UNSCARF、YARF、ALVINN以及RALPH等[18]。圖1-1所示的是Navlab家族中的最新成員——Navlab11原型車,該車由一輛Wrangler吉普車改裝而成,裝備了差分GPS全球定位系統(tǒng)、陀螺儀與磁羅盤、激光雷達(dá)、全向攝像系統(tǒng)、激光線發(fā)生器等設(shè)備。該車?yán)眉す饫走_(dá)和視覺傳感器,可以對道路上的車輛、行人等運(yùn)動目標(biāo)和其他靜止目標(biāo)進(jìn)行探測。

圖1-1 CMU的NavLab11系統(tǒng)
美國軍方的Demo計劃是1992年由DARPA(The Defense Advanced Research Projects Agency)及國防部長辦公室聯(lián)合機(jī)器人計劃處(JRP, Joint Robot Program)資助進(jìn)行的,主要研究高速遙控及簡單的“學(xué)習(xí)”功能等近期技術(shù),如自動返回能力等。1996年JRP/DARPA又資助了DemoII計劃[19],演示了越野自主機(jī)動性,它采用立體視覺探測障礙物,車輛速度達(dá)到12.9km/h。
1997年,美國國防部正式啟動了DemoIII計劃[20, 21]。該計劃是自地面自主車輛計劃以來最重要的半自主機(jī)器人計劃。它主要研究感知、智能控制及人機(jī)接口技術(shù),以便使機(jī)器人車輛能夠以32km/h的速度自主越野行駛。DemoIII計劃的實驗車外形如圖1-2所示。

圖1-2 美國國防部DemoIII計劃實驗車
1.2.2 歐洲的研究進(jìn)展及典型系統(tǒng)介紹
早在20世紀(jì)80年代早期,德國的聯(lián)邦國防大學(xué)UBM就開始了專門用于高速公路的智能汽車視覺導(dǎo)航技術(shù)的研究。VaMoRs是UBM開發(fā)的第一款智能汽車實驗平臺,由一輛5噸貨車MB 508D改裝而成,VAMP(VaMoRs-P)是UBM開發(fā)的第二款智能汽車實驗平臺,由一輛轎車MB 500 SEL改裝而成[22, 23](如圖1-3所示)。傳感器系統(tǒng)是由4個小型彩色CCD攝像機(jī)構(gòu)成的兩組主動式雙目視覺系統(tǒng),其中一組雙目彩色CCD攝像機(jī)完成道路前方障礙物的探測。

圖1-3 UBM的VAMP與VaMoRs智能汽車實驗車
ARGO是由意大利帕爾馬大學(xué)于20世紀(jì)90年代中期研制成功的智能汽車系統(tǒng)(如圖1-4所示)。車體由Lancia Thema 2000客車改制。視覺傳感器包括兩部焦距為6mm的黑白CCD攝像機(jī),這兩部攝像機(jī)組成了一套雙目立體視覺系統(tǒng)。視覺信息的處理由GLOD(Generic Lane and Obstacle Detection System)來完成[24, 25],GLOD可以實現(xiàn)車道檢測、障礙物檢測等功能。GLOD通過逆投影映射(IMP, Inverse Perspective Mapping)、區(qū)域增長、逐行掃描等技術(shù)來識別車道線。障礙物檢測采用立體視覺的方法,把檢測障礙物退化為檢測車輛前方的自由空間,即搜索車輛可以安全行駛的區(qū)域。利用IPM轉(zhuǎn)換得到了兩幅重建的圖像(Remapped Image),根據(jù)路面水平的假設(shè),兩幅重構(gòu)的圖像在沒有障礙物時應(yīng)該是相同的,如果發(fā)現(xiàn)不同則說明存在障礙物,因為障礙物具有一定的高度,以此障礙物上同一點(diǎn)在左右投影圖像中的對應(yīng)像素位置不同,就會產(chǎn)生平面視差,從而確定障礙物的存在,并估算障礙物與智能汽車之間的距離。

圖1-4 Parma的ARGO系統(tǒng)
另外,2000年,由歐盟贊助,包括戴姆勒—克萊斯勒、德國大眾、菲亞特、西門子等在內(nèi)的多家汽車相關(guān)企業(yè)和研究單位共同合作開發(fā)旨在研究行人保護(hù)方案的名為“PROTECTOR(Preventive Safety for Unprotected Road User)”項目,采用立體視覺、激光掃描儀和雷達(dá)等多種傳感器來有效地保護(hù)行人等道路交通參與者,已經(jīng)取得了初步的成效[26]。2002~2005年的SAVE-U(Sensors and System Architecture for Vulnerable Road Users Protection)[27,28]項目實現(xiàn)的目標(biāo)就是減少行人和車輛碰撞造成的傷亡數(shù)量和事故等級,并在危險狀況下警告駕駛員或車輛自動減速停車。SAVE-U項目采用單目彩色攝像機(jī)、紅外攝像機(jī)和雷達(dá)等融合的方法來實現(xiàn)車輛前方5~25m、側(cè)向1.4~4m范圍內(nèi)行人的有限保護(hù)。安裝各種傳感器的智能汽車如圖1-5所示。

圖1-5 SAVE-U項目的智能汽車及其傳感器
1.2.3 日本的研究進(jìn)展及典型系統(tǒng)介紹
作為世界上第一輛智能汽車[29](如圖1-6所示)的誕生地,日本也是最早研究智能汽車及相關(guān)技術(shù)的國家之一。日本一直將智能汽車研究的重點(diǎn)放在智能交通系統(tǒng)(ITS, Intelligent Transportation System)領(lǐng)域,其研究與應(yīng)用開發(fā)工作主要圍繞三個方面進(jìn)行:汽車信息和通信系統(tǒng)(VICS, Vehicle Information and Communication System)、不停車收費(fèi)系統(tǒng)(ETC, Electronic Toll Collection)和自動高速公路系統(tǒng)(AHS, Automated Highway System)。此外,日本還制定了智能道路(Smartway)計劃和先進(jìn)安全型汽車(SASV,Smartcar Advanced Safety Vehicle)計劃。SASV計劃通過汽車上的電子導(dǎo)航系統(tǒng)、車輛間通信設(shè)備和自動駕駛裝置,獲取行車路途上的交通狀況并選擇最佳行車路線,依靠車道白線、車輛間通信等信息進(jìn)行自動或半自動駕駛。

圖1-6 世界上第一輛智能汽車
從1995~2000年,全球范圍內(nèi)共召開了8次大型的AHS研究成果演示試驗[29]。圖1-7所示為2000年演示時的相關(guān)圖片。該次演示主要對巡航輔助系統(tǒng)的7個主要方面進(jìn)行了測試(如圖1-8所示)。
(1)前方障礙物檢測和避障。當(dāng)檢測到前方車輛或其他障礙物時,提醒駕駛員注意,給出駕駛信息、警報或操作支持。
(2)曲線路段轉(zhuǎn)彎防超調(diào)。在接近轉(zhuǎn)彎道路時檢測轉(zhuǎn)彎曲線的距離和形狀,給出駕駛信息、警報或操作支持。
(3)車道線防偏離。根據(jù)道路上的車道線得到車輛的橫向信息,給出駕駛信息、警報或操作支持。
(4)十字路口防碰撞。檢測可通行路口的接近車輛,給出駕駛信息和警報。
(5)右轉(zhuǎn)防碰撞。檢測可右轉(zhuǎn)十字路口及接近車輛,給出駕駛信息。
(6)過街行人防碰撞。檢測過街行人,給出駕駛信息。
(7)路面信息檢測及車距保持。評估路面狀況并保持與前方車輛的適當(dāng)距離,給出駕駛信息。

圖1-7 Joint Tests Demo2000演示

圖1-8 Joint Tests Demo2000功能測試
1.2.4 中國的研究進(jìn)展及典型的系統(tǒng)介紹
我國對智能汽車的研究起步相對較晚,但也已取得了很大的進(jìn)展。國內(nèi)對智能汽車的研究基本上集中在高校,十幾年來先后有多所高校開發(fā)出了自己的智能汽車原型系統(tǒng)。
清華大學(xué)計算機(jī)系智能技術(shù)與系統(tǒng)國家重點(diǎn)實驗室THMR課題組[30]從20世紀(jì)80年代后期開始研究移動機(jī)器人技術(shù)。從1992年開始,THMR課題組在成功完成THMR-I、THMR-II、THMR-IIA三輛室內(nèi)移動機(jī)器人開發(fā)的基礎(chǔ)上,開始研究室外移動機(jī)器人視覺導(dǎo)航技術(shù)和遙操作技術(shù),先后開發(fā)了THMR-III和THMR-V兩款室外移動機(jī)器人實驗平臺。THMR-V系統(tǒng)[31~35](如圖1-9所示)是清華大學(xué)智能移動機(jī)器人課題組自主研制開發(fā)的新一代多功能室外移動機(jī)器人實驗平臺,不僅具有面向高速公路和一般道路的功能,而且還包括臨場感遙控駕駛功能。車體采用道奇7座廂式車改裝,裝備有彩色攝像機(jī)、GPS、磁羅盤光碼盤定位系統(tǒng)、激光測距儀LMS220等。計算機(jī)系統(tǒng)采用普通的計算機(jī)兩臺,其中一臺進(jìn)行視覺信息處理、檢測和識別車輛前方的障礙物,另一臺完成信息融合、路徑規(guī)劃、行為控制、決策控制等功能。4臺IPC工控機(jī)分別完成激光測距信息處理、定位信息處理、通信管理、駕駛控制等功能。

圖1-9 清華大學(xué)THMR-V系統(tǒng)
國防科技大學(xué)自動化研究所無人駕駛技術(shù)課題組長期以來都在進(jìn)行自主駕駛技術(shù)的研究,先后獨(dú)立或協(xié)作進(jìn)行了多項自主駕駛技術(shù)的研究工作。在車輛視覺導(dǎo)航、路徑規(guī)劃、智能系統(tǒng)結(jié)構(gòu)、車輛操縱控制等多個相關(guān)的領(lǐng)域,均獲得了重要進(jìn)展。其研制的CITAVT-IV型自主駕駛吉普車(如圖1-10左圖所示)是以在結(jié)構(gòu)化道路環(huán)境下的自主駕駛技術(shù)的研究為主要目標(biāo)的[36]。車體采用BJ2020SG吉普車改裝。配備了里程儀、激光陀螺、磁敏感轉(zhuǎn)速儀來感知車體自身狀態(tài),視覺傳感器采用了遠(yuǎn)近距雙目攝像機(jī)系統(tǒng)。2001年9月,與中國第一汽車集團(tuán)公司合作,研究高水平的汽車自主駕駛技術(shù)——紅旗CA7460自主駕駛汽車[37](如圖1-10右圖所示)。其多項指標(biāo)均達(dá)到或超過了當(dāng)今世界汽車自主駕駛的先進(jìn)水平。

圖1-10 國防科技大學(xué)的CITAVT-IV自主車和紅旗自主車
西北工業(yè)大學(xué)自動化學(xué)院常好麗等[38]提出了一種在攝像機(jī)靜止情況下基于單目視覺的運(yùn)動行人檢測與跟蹤方法。檢測階段通過自適應(yīng)背景模型快速提取背景圖像,用動態(tài)多閾值方法二值化差分圖分割運(yùn)動行人;跟蹤階段引入灰色模型作為行人運(yùn)動模型,預(yù)測行人運(yùn)動,融合行人多種特征建立目標(biāo)匹配模板,對行人連續(xù)跟蹤。圖1-11所示為系統(tǒng)對單人、多人進(jìn)行檢測和跟蹤的結(jié)果。

圖1-11 單目視覺行人檢測與跟蹤結(jié)果
SpringRobot系統(tǒng)是西安交通大學(xué)人工智能與機(jī)器人研究所智能車輛課題組搭建的一個智能汽車實驗平臺,車體由一輛運(yùn)動多功能車改裝,裝備有彩色攝像機(jī)、差分GPS、毫米波雷達(dá)和激光雷達(dá)等傳感器。該系統(tǒng)可以實時地完成道路檢測、行人檢測、車輛檢測等任務(wù),并根據(jù)檢測的結(jié)果給出相應(yīng)的警告信息和控制信號。基于該實驗平臺,程宏等[39]利用支持向量機(jī)來進(jìn)行行人檢測,通過稀疏Gabor濾波器提取行人樣本圖像中的特征,然后利用支持向量機(jī)來訓(xùn)練分類器,并用訓(xùn)練得到的分類器通過遍歷圖像的方式將圖像中可能屬于行人的窗口提取出來,如圖1-12所示。

圖1-12 西安交通大學(xué)的SpringRobot系統(tǒng)與行人檢測結(jié)果
吉林大學(xué)研制的JLUIV-IV智能汽車系統(tǒng)(如圖1-13所示),裝備了CCD攝像機(jī)、激光雷達(dá)、全球定位系統(tǒng)、速度傳感器等。基于該實驗平臺,郭烈等[40]利用視覺傳感器信息豐富的特性,提出了一種基于邊緣對稱性的行人檢測方法。利用Sobel算子和Hough變換確定車輛前方的感興趣區(qū)域(ROI, Region of Interest),然后提取感興趣區(qū)域圖像的垂直邊緣,根據(jù)行人腿部的垂直邊緣對稱性確定垂直邊緣對稱軸,并結(jié)合行人形態(tài)特征以確定行人初始候選區(qū)域,最后采用灰度對稱性和局部熵對行人候選區(qū)域進(jìn)行目標(biāo)識別驗證。部分行人檢測的結(jié)果如圖1-14所示。

圖1-13 吉林大學(xué)JLUIV-IV系統(tǒng)

圖1-14 行人檢測結(jié)果
除了上述典型系統(tǒng)之外,國內(nèi)還有其他一些高校也研制出了自己的智能汽車試驗平臺,如清華大學(xué)汽車系汽車安全與節(jié)能國家重點(diǎn)實驗室研制的THASV-I實驗車(如圖1-15所示),包含了前向避障與報警輔助駕駛系統(tǒng)、自適應(yīng)巡航系統(tǒng)和車道保持系統(tǒng)三個子系統(tǒng)。

圖1-15 清華大學(xué)汽車系THASV-I實驗車