前言

東南大學于2016年開設了全國首個機器人工程本科專業。該專業建設之初，筆者在開展機器人感知方向科研工作的同時一直在思考，如何培養機器人專業人才，特別是如何高質量、高效率地培養機器人感知方向的專業人才。依據江蘇省高等學校重點教材項目的要求，筆者結合多年科研和一線教學實踐經驗，以及對專業特點與技術變革的思考，探索并嘗試編寫了本教材。

機器人是科技發展的重要結晶，是人在改造世界過程中的產物。人對智能機器的幻想與癡迷由來已久，中國著名古籍《列子·湯問》中就曾記載偃師造人的傳說，這或許是人最早對自動機器與環境（音律環境）和諧關系、人機共融情景的憧憬。在如此憧憬下，人們經過長期孜孜不倦的研究，終于在20世紀60年代開發出了最早的智能機器人。隨后，智能機器人滲透到生活、生產等越來越多的領域，帶來了良好的經濟效益和社會效益。2021年我國工業和信息化部等15個部門發布的《“十四五”機器人產業發展規劃》進一步推動了智能機器人產業的高質量發展，“機器人+”的行業應用模式將成為經濟發展新動能，催生經濟新格局。這也對筆者所從事的機器人感知領域的研究和教學工作提出了新的挑戰。

我們知道，人生活在五彩斑斕的世界中，時時刻刻都在感知周圍的環境并與其進行交互，人對環境的感知是人行為的基礎。人研究智能機器人的目的是讓機器人具有類人智能，將人的智能賦予機器人。在此進程中，賦予機器人智能環境感知能力是重要一環，對機器人的自主性、智能性、社會性提升均具有重要意義。機器人通過自身攜帶的傳感器（如GPS、IMU、視覺、激光雷達、超聲波等），或者智能空間中的傳感器，來獲取周圍的靜態物理環境、動態目標等傳感數據；然后，數據經過處理形成有用信息，進而實現環境的重構，完成對周圍環境的客觀表達；最后，再形成機器人本體內的“主觀”理解。更進一步，機器人在對自然環境感知的基礎上，針對復雜的社會環境，也可以像人一樣感知，具備了較高的社會感知和智能能力。當機器人具備一定社會感知能力后，也就具有了社交能力。

如今，隨處可見各種機器人在運行，它們時刻對所處環境進行著感知。如：在馬路上行駛的無人駕駛汽車，對路面、車道線、障礙物、行人、其他車輛等進行實時感知；服務機器人在從一個位置移動到另一個位置的過程中，對環境地圖、服務目標、操作對象、場所語義等進行感知；無人自主潛水器在水下航行時，自主進行探測、建圖與導航；無人機或無人機群置空后，對任務目標、環境對象、任務態勢進行捕獲與感知……然而，我們也應當清醒地認識到，機器人目前的感知能力仍遠達不到人們期望的水平。一個現實的例子是現在還沒有一輛汽車可以達到L5級別的自動駕駛，甚至L4級別的自動駕駛也很難完成。因此，研究人員和相關工程技術人員還需再接再厲，在相關領域持續發揮才智，培養該領域后繼人才成為當下的迫切需求。

機器人感知技術作為機器人技術的一個基礎分支，受到多個行業、領域的重點關注。然而目前熟練掌握該方向技術的專業人員尚鳳毛麟角，專業用人荒與就業難的自相矛盾在該領域也逐漸顯現。企業所需要的機器人感知技術研發人員，不僅要有扎實的理論基礎、廣泛的知識面，更要有豐富的動手實踐經驗。由此，對機器人感知技術專業人才的培養方案，不僅要貼近前沿需求和“實戰”要求，同時也要涵蓋理論和技術前沿，并且易于初學者上手。

本書是筆者在多年的科研與教學實踐基礎上，參考相關領域優秀成果編寫而成的，內容力求做到由淺入深、循序漸進、條理清晰，既強調了基本原理和工程應用，又反映了國內外研究和應用的最新進展，具有系統性、實用性、前沿性和易讀性。

1）系統性。相關理論脈絡清晰，全面梳理從度量層到語義層、從靜態對象到動態對象以及多種模態信息下的機器人感知技術，此外對常用的數學工具做了系統性歸納。

2）實用性。根據機器人系統應用需求，對應用中使用的大量經典方法進行了詳細闡述，并在實驗部分對部分重要方法給出了實現過程，希望讀者通過本書的學習能掌握這些實用方法，快速投入“實戰”。

3）前沿性。展現國際上最新的研究成果，反映機器人感知領域的最先進水平。

4）易讀性。文字表述力求通俗易懂。在內容安排上力求由淺入深，循序漸進。

本書共7章并附相關的實驗指導。

第1章介紹機器人環境感知技術的有關概念和現狀，并對相關研究類別的特點進行了討論。

第2章介紹在機器人感知系統設計過程中主要使用的數學工具，包括線性代數、求導法則、優化算法、解析幾何、概率等。

第3章從自主移動機器人攜帶的常用環境感知傳感器入手，介紹了傳感器感知方式和方法，以及從度量層面對傳感器信息進行分析的方法。

第4章主要從靜態對象感知角度出發，介紹用于靜態對象的自主感知技術，主要包括目標的檢測和識別，所用到的對象信息有二維信息、三維信息和觸覺信息。

第5章主要從動態對象感知角度出發，介紹一般動態障礙物的檢測方法以及對動態人臉和人體的檢測與跟蹤方法。

第6章介紹幾種語義級別的環境描述和理解方法。

第7章面向機器人導航應用，介紹利用高層語義信息進行導航的方法。

在本書的每章后面都附有一定數量的習題，以鞏固所學知識。為了強化讀者的問題探究意識，習題中包含一定量的開放性問題，這類問題需要讀者自行查閱資料找出答案。為了加強課程的實踐環節，附錄“實驗指導書”對一些關鍵教學知識點和學生興趣點設計了實驗，使讀者能夠應用所學內容并結合相關資料解決實際問題。

本書可以作為高等院校機器人工程、自動化等相關專業的本科生和研究生的機器人感知課程教材，也可以供從事機器人感知研究與應用的科技人員學習參考。希望本書能夠給無人自動駕駛領域研究者和自主智能機器人專業學生以及相關工程技術人員提供幫助。

本書包含了筆者在機器人感知領域多年的科研和教學實踐，也汲取了國內外同類教材和有關文獻的精華，在此謹向這些教材和文獻的作者表示感謝。在本書的編寫過程中，筆者得到了各方面的大力支持和幫助，十分感謝筆者工作單位東南大學自動化學院的領導和同事的支持和幫助，非常感謝機器人和人工智能領域的前輩和朋友的關心和支持，也向提供幫助的許多老師和學生表示感謝，特別感謝研究生肖明靜、吳藝虹同學，兩位同學完成了大量的文字整理和圖文校對工作。

筆者的研究工作曾得到國家自然科學基金、863重點項目、國防重點預研項目、江蘇省基礎前沿引領項目、江蘇省自然科學基金項目、江蘇省重點研發計劃重點項目、江蘇省優勢學科或雙一流學科經費、各種人才計劃等的大力資助，對這些給予資助的相關部門表示衷心的感謝。在本書編寫和出版過程中，得到了機械工業出版社的大力支持，在此謹表誠摯的謝意。

機器人環境感知與理解的內容十分廣泛，涉及諸多學科領域。由于筆者的水平和寫作時間有限，經驗不足，書中不妥之處在所難免，敬請讀者批評指正。

李新德

2023.1.31