二、多源數(shù)據(jù)的采集與應(yīng)用

在智能網(wǎng)聯(lián)汽車中，傳感器融合是融合來自多個(gè)傳感器數(shù)據(jù)的過程。該步驟在機(jī)器人技術(shù)中是強(qiáng)制性的，因?yàn)樗峁┝烁叩目煽啃浴⑷哂嘈砸约白罱K的安全性。

為了更好地理解上述概念，我們考慮一個(gè)簡單的例子——激光雷達(dá)和相機(jī)都在看著行人：

1）如果兩個(gè)傳感器中的一個(gè)沒有檢測到行人，我們將使用另一個(gè)傳感器作為冗余來增加檢測到行人的機(jī)會(huì)。

2）如果兩個(gè)傳感器都檢測到了行人，傳感器融合技術(shù)將使我們更準(zhǔn)確地知道行人的位置。

由于傳感器是有噪聲的，因此需要傳感器融合算法來處理這些噪聲，并盡可能進(jìn)行最精確的估計(jì)。

在融合傳感器時(shí)，我們實(shí)際上是在融合傳感器數(shù)據(jù)，或者叫作數(shù)據(jù)融合。有九種方法可以構(gòu)建數(shù)據(jù)融合算法，這九種方法又可以分為三大類，分別是按抽象級(jí)別的傳感器融合、按中心化級(jí)別的傳感器融合和按競爭級(jí)別的傳感器融合。

1.按抽象級(jí)別的傳感器融合

最常見的融合類型是抽象級(jí)別的。在這種情況下，問題是“應(yīng)該在什么時(shí)候進(jìn)行融合？”

激光雷達(dá)和攝像頭的融合中描述了早期（EARLY）和后期（LATE）融合兩種過程。

在業(yè)界，還有其他稱呼：低級(jí)別（Low-Level）、中級(jí)別（Mid-Level）和高級(jí)別（High-Level）傳感器融合。

（1）低級(jí)別融合

低級(jí)別傳感器融合是融合來自多個(gè)傳感器的原始數(shù)據(jù)。例如，融合來自激光雷達(dá)的點(diǎn)云數(shù)據(jù)和來自攝像頭的像素級(jí)數(shù)據(jù)，這種類型的融合在未來幾年具有很大的潛力，因?yàn)槠淇紤]了所有數(shù)據(jù)，如圖1-1所示。在此過程中使用了對(duì)象檢測，但真正完成這項(xiàng)工作的是將3D點(diǎn)云投影到圖像中，然后將其與像素關(guān)聯(lián)起來。

低級(jí)別融合幾年前還很難做到，因?yàn)樗璧奶幚砹亢艽蟆Ｃ亢撩肟梢詫?shù)十萬個(gè)點(diǎn)與數(shù)十萬個(gè)像素融合在一起。

（2）中級(jí)別融合

中級(jí)別傳感器融合是將傳感器獨(dú)立檢測到的物體進(jìn)行融合。如果攝像頭檢測到障礙物，雷達(dá)也檢測到它，我們把這些結(jié)果融合在一起形成對(duì)障礙物的位置、類別和速度的最佳估計(jì)，如圖1-2所示。通常使用的方法是卡爾曼濾波器（貝葉斯算法）。這個(gè)過程很容易理解，并且包含了幾個(gè)現(xiàn)有的實(shí)現(xiàn)。它嚴(yán)重依賴于檢測器。如果一個(gè)失敗，整個(gè)融合都可能失敗。卡爾曼濾波器可以解決這個(gè)問題。

將來自激光雷達(dá)的3D邊界框與來自對(duì)象檢測算法的2D邊界框融合在一起，也可以將3D激光雷達(dá)的結(jié)果映射到2D中，并在2D影像中進(jìn)行數(shù)據(jù)融合。

（3）高級(jí)別融合

高級(jí)別傳感器融合是融合對(duì)象及其軌跡。我們不僅依賴于檢測，還依賴于預(yù)測和跟蹤。此過程高一級(jí)，其優(yōu)點(diǎn)是簡單。一個(gè)主要問題是可能會(huì)丟失太多信息。如果追蹤是錯(cuò)誤的，那么整件事都是錯(cuò)誤的。雷達(dá)和攝像頭之間按抽象級(jí)別的數(shù)據(jù)融合如圖1-3所示。

2.按中心化級(jí)別的傳感器融合

融合算法的第二類方法是按中心化級(jí)別來區(qū)分的。該場景下的問題是“融合在哪里發(fā)生？”主計(jì)算機(jī)可以做，或者每個(gè)傳感器可以做自己的檢測和融合。一些方法是通過使用稱為衛(wèi)星架構(gòu)的技術(shù)來做融合的。

有三種類型的融合：

1）中心化：一個(gè)中央單元處理融合（低級(jí)別）。

2）去中心化：每個(gè)傳感器融合數(shù)據(jù)并將其轉(zhuǎn)發(fā)到下一個(gè)。

3）分布式：每個(gè)傳感器在本地處理數(shù)據(jù)并將其發(fā)送到下一個(gè)單元（后期融合）。

以自動(dòng)駕駛汽車為例，每個(gè)傳感器都有自己的計(jì)算機(jī)，所有這些計(jì)算機(jī)都連接到一個(gè)中央計(jì)算單元。

3.按競爭級(jí)別的傳感器融合

對(duì)傳感器融合算法進(jìn)行分類的最后一種方法是按競爭級(jí)別。在抽象級(jí)別，問題是“什么時(shí)候”融合應(yīng)該發(fā)生；在中心化級(jí)別，它是關(guān)于“在哪里”的；在競爭級(jí)別，問題是“融合應(yīng)該做什么？”同樣，有三種可能。

（1）競爭融合

競爭融合是指傳感器用于相同目的。例如，當(dāng)同時(shí)使用雷達(dá)和激光雷達(dá)來檢測行人時(shí)。這里發(fā)生的數(shù)據(jù)融合過程稱為冗余，使用術(shù)語“競爭”。

（2）互補(bǔ)融合

互補(bǔ)融合是指使用不同的傳感器觀察不同的場景來獲取我們使用其他方式無法獲得的東西。例如，使用多個(gè)攝像頭構(gòu)建全景圖時(shí)。由于這些傳感器相互補(bǔ)充，使用術(shù)語“互補(bǔ)”。

（3）協(xié)同融合

協(xié)同融合是關(guān)于使用兩個(gè)或更多傳感器來產(chǎn)生一個(gè)新場景，但是是關(guān)于同一個(gè)對(duì)象的，例如，在使用2D傳感器進(jìn)行3D掃描或3D重建時(shí)。