基于點(diǎn)云與圖像融合的可行駛區(qū)域檢測(cè)

邵哲欽，黃影平，郭志陽(yáng)

（上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院，上海 200093）

0 引言

交通場(chǎng)景感知是智能汽車環(huán)境感知的基本任務(wù)，汽車只有自主感知交通道路場(chǎng)景環(huán)境后，才能進(jìn)行車的移動(dòng)控制決策。無(wú)人駕駛汽車主要通過(guò)激光雷達(dá)、相機(jī)、毫米波雷達(dá)、GPS 全球定位系統(tǒng)等探測(cè)車輛周圍的環(huán)境信息。其中，相機(jī)和激光雷達(dá)是智能汽車中運(yùn)用最廣泛的2 類傳感器，能準(zhǔn)確地感知物體的三維信息，相機(jī)則能夠獲取環(huán)境豐富的紋理信息?，F(xiàn)有的研究表明，將相機(jī)與激光雷達(dá)兩種傳感器數(shù)據(jù)進(jìn)行融合，可以提高道路檢測(cè)精度。因此，相機(jī)與激光雷達(dá)融合是目前無(wú)人駕駛領(lǐng)域的熱點(diǎn)和難點(diǎn)問(wèn)題之一。

Shinzato 等人提出了一種基于傳感器融合的魯棒方法。該方法基于單目相機(jī)和3D 雷達(dá)的空間關(guān)系將雷達(dá)點(diǎn)云投影至相機(jī)圖像之上，使用一種障礙物分類方法，將雷達(dá)點(diǎn)云分為障礙物點(diǎn)和非障礙物點(diǎn)，進(jìn)而處理圖像得到可行駛區(qū)域。Ren 等人于2003 年首次提出了超像素的概念，超像素是指具有相似紋理、顏色、亮度等特征的相鄰像素構(gòu)成的有一定視覺(jué)意義的不規(guī)則像素塊。Achanta 等人于2010 年提出了SLIC 超像素算法、即簡(jiǎn)單的線性迭代聚類，首先將彩色圖像轉(zhuǎn)化為CIELAB 顏色空間和XY 坐標(biāo)下的5 維特征向量，對(duì)5 維特征向量構(gòu)造距離度量標(biāo)準(zhǔn)，對(duì)圖像像素進(jìn)行局部聚類。SLIC 算法能生成緊湊、近似均勻的超像素，在運(yùn)算速度、物體輪廓保持、超像素形狀方面的綜合性能上都獲得較高評(píng)價(jià)。

本文先將雷達(dá)點(diǎn)云投影至圖像中，對(duì)點(diǎn)云進(jìn)行德洛內(nèi)三角剖分；其次，用兩點(diǎn)之間的角度閾值區(qū)分障礙物與地面點(diǎn)；最后，使用超像素聚類，對(duì)點(diǎn)云分類結(jié)果在圖像中進(jìn)行補(bǔ)全，完成圖像中可行駛區(qū)域檢測(cè)。

1 方法

本文基于稀疏非結(jié)構(gòu)化的三維激光雷達(dá)點(diǎn)云與相機(jī)圖像融合，首先利用相機(jī)坐標(biāo)與激光雷達(dá)的空間關(guān)系，進(jìn)行雷達(dá)到圖像的投影；其次，對(duì)投影至圖像中離散無(wú)序的點(diǎn)云構(gòu)建局部空間關(guān)系，并結(jié)合點(diǎn)云的三維度量來(lái)判斷該點(diǎn)是否為障礙物；最后，在圖像中以點(diǎn)云為核心，對(duì)圖像所有像素點(diǎn)進(jìn)行聚類，完成可行駛區(qū)域的劃分。該方法包括5 個(gè)處理步驟：

（1）傳感器融合。將三維空間中的雷達(dá)點(diǎn)云數(shù)據(jù)投影至相機(jī)坐標(biāo)系中。

（2）構(gòu)造離散點(diǎn)云的局部空間關(guān)系。通過(guò)德洛內(nèi)三角剖分，構(gòu)建德洛內(nèi)三角網(wǎng)絡(luò)，找出點(diǎn)云中最接近的點(diǎn)，并以直線連接，構(gòu)成三角網(wǎng)絡(luò)。

（3）點(diǎn)云分類。通過(guò)三角網(wǎng)絡(luò)中點(diǎn)的空間關(guān)系，將點(diǎn)云分類為障礙物與非障礙物。

（4）聚類。借鑒SLIC 超像素算法中的聚類算法，在圖像中以分類后的點(diǎn)云為中心進(jìn)行聚類，將圖像中所有像素點(diǎn)分為障礙物點(diǎn)與非障礙物點(diǎn)，對(duì)圖像的分割結(jié)果進(jìn)行補(bǔ)全。

（5）可行駛區(qū)域的提取。以視覺(jué)中心點(diǎn)、即圖像最底部的中點(diǎn)為基準(zhǔn)點(diǎn)，對(duì)可行駛區(qū)域做進(jìn)一步分割。

1.1 坐標(biāo)系融合

不同傳感器有著不同的獨(dú)立坐標(biāo)系，必須把不同坐標(biāo)系的數(shù)據(jù)變換到同一坐標(biāo)系，找到同一時(shí)刻點(diǎn)云數(shù)據(jù)和圖像中對(duì)應(yīng)的像素點(diǎn)，才能實(shí)現(xiàn)融合。坐標(biāo)變換主要分為2 個(gè)步驟，擬做分述如下。

（1）根據(jù)相機(jī)的內(nèi)參和外參，將雷達(dá)坐標(biāo)系下的點(diǎn)云P＝ (X，Y，Z，1)通過(guò)坐標(biāo)變換到相機(jī)坐標(biāo)系，得到P＝ (X，Y，Z，1)，對(duì)此可表示為：

（2）為了得到像素坐標(biāo)（，），將所有P代入公式（3）：

其中，P為矯正后的相機(jī)坐標(biāo)系至像素坐標(biāo)系的投影矩陣。

由于激光雷達(dá)的探測(cè)視野較大，有些點(diǎn)云會(huì)投影至圖像外，直接剔除這部分圖像外的點(diǎn)云，投影結(jié)果如圖1 所示。圖1 中，顏色越紅，表示離激光雷達(dá)越近，越藍(lán)則表示越遠(yuǎn)，將像素坐標(biāo)（，）與（X，Y，Z）組成新的集合（X，Y，Z，，）。

圖1 激光雷達(dá)點(diǎn)云投影至圖像上的結(jié)果Fig.1 Results of LIDAR point cloud projection on images

1.2 構(gòu)造離散點(diǎn)云的局部空間關(guān)系

利用得到的點(diǎn)的（，）坐標(biāo)構(gòu)造一個(gè)德洛內(nèi)三角網(wǎng)，這是一系列相連但不重疊的三角形集合，以最近3 個(gè)點(diǎn)形成一個(gè)三角形。這種網(wǎng)絡(luò)擁有以下特性：

（1）最接近性。以最近的3 個(gè)點(diǎn)形成一個(gè)三角形，且各三角形的邊皆不相交。

（2）唯一性。無(wú)論從區(qū)域何處開(kāi)始構(gòu)建，最終都將得到一致的網(wǎng)絡(luò)結(jié)果。利用這兩點(diǎn)特性，可以保證所有點(diǎn)云都被包含在網(wǎng)絡(luò)中，并能找出兩兩之間距離最接近的點(diǎn)云，將其作為三角形的頂點(diǎn)。利用德洛內(nèi)三角網(wǎng)絡(luò)將原本非結(jié)構(gòu)化的離散點(diǎn)云數(shù)據(jù)結(jié)構(gòu)化，其網(wǎng)絡(luò)結(jié)構(gòu)良好，數(shù)據(jù)冗余度小，大大減少障礙物分類的運(yùn)行時(shí)間，其中所有小三角形頂點(diǎn)是上一步中投影得來(lái)的所有點(diǎn)，如圖2 所示。

圖2 德洛內(nèi)三角網(wǎng)絡(luò)Fig.2 Delaunay triangle network

1.3 障礙物點(diǎn)分類

本文采用基于點(diǎn)云三維坐標(biāo)的障礙物分類方法，該方法簡(jiǎn)單高效，僅利用點(diǎn)的(X，Y，Z) 數(shù)據(jù)，即可完成分類，達(dá)到可行駛區(qū)域的初步分割。利用德洛內(nèi)三角網(wǎng)，取所有三角形的每條邊所連接的2 個(gè)點(diǎn)和為一對(duì)，使用公式（4）即可將障礙物與非障礙物節(jié)點(diǎn)區(qū)分開(kāi)。此方法不用設(shè)定任何高度閾值，便可將點(diǎn)分類為障礙物與非障礙物點(diǎn)。函數(shù)() 在公式（4）中定義，如果函數(shù)() 返回正值1，則將節(jié)點(diǎn)分類為障礙物；如果函數(shù)返回0，則將其分類為非障礙物。這里用到的數(shù)學(xué)公式可寫(xiě)為：

其中，［y］［y］ 為這兩點(diǎn)之間的高度差；是一個(gè)閾值，Shinzato 等人使用該方法得到77°、為最優(yōu)分類角度閾值，故直接取77°；‖‖ 是向量（）長(zhǎng)度，即，兩點(diǎn)的距離。

分類結(jié)果如圖3 所示，該方法將鐵軌、汽車、樹(shù)木上的點(diǎn)云都分類為障礙物點(diǎn)，而道路、2 條鐵軌之間、以及草坪等比較平坦的地方分類為非障礙物點(diǎn)。

圖3 障礙物點(diǎn)分類結(jié)果Fig.3 Obstacle points classification results

1.4 基于超像素算法的聚類

超像素是由一系列位置相鄰，且顏色、亮度紋理等特征相似的像素點(diǎn)組成的小區(qū)域，可將一個(gè)小區(qū)域內(nèi)具有相似特性的像素聚集起來(lái)，形成一個(gè)大元素、即一個(gè)超像素。使用超像素算法總能將原有物體的邊界分割出來(lái)，利用該算法，對(duì)可行駛區(qū)域的檢測(cè)結(jié)果進(jìn)行補(bǔ)全，進(jìn)一步細(xì)化障礙物的邊界。常規(guī)超像素算法初始時(shí)，通過(guò)人為設(shè)置需要將圖像分割成的超像素個(gè)數(shù)，并將聚類中心均勻置于圖像中。若設(shè)置太小，則分割結(jié)果不一定能夠覆蓋物體所有的邊界；若設(shè)置過(guò)大，雖然能更好地將物體輪廓覆蓋，但會(huì)加深過(guò)分割的程度，一個(gè)物體會(huì)被分成許多區(qū)域，故而就要在后期合并相似區(qū)域來(lái)消除過(guò)分割的影響。

本文借鑒了SLIC 算法中用到的聚類方法，在其基礎(chǔ)上進(jìn)行改動(dòng)，取消了迭代過(guò)程。本文的方法無(wú)需設(shè)定超像素的個(gè)數(shù)，而是直接將圖像中所有分類后的點(diǎn)云作為聚類中心，以點(diǎn)云的數(shù)量作為值。此外，由于只將圖像分為障礙物與非障礙物兩類，故只要將同一類區(qū)域合并，即可很好地消除過(guò)分割的負(fù)面影響，同時(shí)又能夠?qū)⒄系K物邊界精準(zhǔn)地分割出來(lái)，簡(jiǎn)單又高效。具體步驟如下：

（1）初始化聚類中心（種子點(diǎn)）。將分類后的點(diǎn)云對(duì)應(yīng)的圖像位置的點(diǎn)設(shè)為聚類中心點(diǎn)（種子點(diǎn)）。

（2）計(jì)算距離度量。在每個(gè)種子點(diǎn)的22范圍內(nèi)搜索所有像素點(diǎn)，對(duì)于每個(gè)搜索到的像素點(diǎn)，分別計(jì)算這個(gè)像素點(diǎn)和該種子點(diǎn)的顏色距離與空間距離，推導(dǎo)得到的數(shù)學(xué)公式分別如下：

結(jié)合顏色距離與空間距離，得到距離度量，計(jì)算方法見(jiàn)式（7）：

式（5）～式（7）中，D表示顏色距離；D表示空間距離；N是類內(nèi)最大空間距離。

進(jìn)一步，研究給出的數(shù)學(xué)定義表示式為：

其中，為圖片被點(diǎn)云覆蓋區(qū)域的面積，如圖4所示。為圖像上點(diǎn)云個(gè)數(shù)，也是超像素的個(gè)數(shù)。最大顏色距離N隨圖片不同而不同，也隨聚類不同而不同，取一個(gè)固定常數(shù)，取值范圍［1，40］，一般取10。

圖4 點(diǎn)云覆蓋區(qū)域Fig.4 Point cloud coverage area

由于每個(gè)像素點(diǎn)都會(huì)被多個(gè)種子點(diǎn)搜索到，所以每個(gè)像素點(diǎn)都會(huì)有一個(gè)與附近不同種子點(diǎn)的距離，取距離度量最小值對(duì)應(yīng)的種子點(diǎn)作為該像素點(diǎn)的聚類中心。

（3）分配類標(biāo)簽。在每個(gè)種子點(diǎn)周圍的22鄰域內(nèi)為每個(gè)像素點(diǎn)分配類標(biāo)簽。

（4）后處理。使用中值濾波以及平滑濾波對(duì)聚類結(jié)果進(jìn)行處理，將障礙物邊界提取出來(lái)，覆蓋于原圖中，得到圖5。圖5（a）中綠色區(qū)域代表非障礙物區(qū)域，紅色代表了障礙物區(qū)域，圖5（b）中藍(lán)線為障礙物邊界。

圖5 障礙區(qū)域及其邊界Fig.5 Obstacle area and boundary

1.5 可行駛區(qū)域提取

以視覺(jué)中心位置，即圖片底部的中間位置的像素點(diǎn)為起始點(diǎn)，向兩邊延伸，若遇到障礙物邊界，則停止延伸，并將沿途經(jīng)過(guò)的像素點(diǎn)標(biāo)記為0；此后，再以底部所有標(biāo)記為0 的像素點(diǎn)為起始點(diǎn)，向上延伸遇到障礙物邊界，則停止；最終得到可行駛區(qū)域邊界，如圖6 所示。

圖6 可行駛區(qū)域邊界Fig.6 Boundary of drivable region

2 實(shí)驗(yàn)結(jié)果與分析

2.1 Kitti 數(shù)據(jù)集

Kitti 數(shù)據(jù)集是目前國(guó)際上最大的自動(dòng)駕駛場(chǎng)景下的計(jì)算機(jī)視覺(jué)算法評(píng)測(cè)數(shù)據(jù)集。該數(shù)據(jù)集用于評(píng)測(cè)立體圖像（stereo）、光流（optical flow）、視覺(jué)測(cè)距（visual odometry）、道路（road）、3D 物體檢測(cè)（object detection）和3D 跟蹤（tracking）等計(jì)算機(jī)視覺(jué)技術(shù)在車載環(huán)境下的性能。KITTI 包含市區(qū)、鄉(xiāng)村和高速公路等場(chǎng)景采集的真實(shí)圖像數(shù)據(jù)，每張圖像中最多達(dá)15 輛車和30 個(gè)行人，還有各種程度的遮擋與截?cái)?。KITTI 數(shù)據(jù)集中道路又分為urban marked（um）城市有標(biāo)線、urban unmarked（uu）城市無(wú)標(biāo)線和urban multiple marked（umm）城市多標(biāo)線場(chǎng)景，共包含289 張訓(xùn)練圖片和290 張測(cè)試圖片，圖像分辨率為1 240×375。定量評(píng)價(jià)時(shí)，需要將道路分割結(jié)果以二值形式的800×400 像素鳥(niǎo)瞰圖（bev）上傳至官網(wǎng)，進(jìn)行評(píng)估。

2.2 評(píng)價(jià)指標(biāo)

主要評(píng)價(jià)指標(biāo)由KITTI 數(shù)據(jù)集官方指定，即加權(quán)調(diào)和平均作為最終的評(píng)價(jià)指標(biāo)，計(jì)算方式見(jiàn)式（8）：

其中，為準(zhǔn)確度（），即正確預(yù)測(cè)為正的像素點(diǎn)，占所有預(yù)測(cè)為正的像素點(diǎn)的比例；為召回率（），即正確預(yù)測(cè)為正的像素點(diǎn)占所有正樣本的比例。

此外該數(shù)據(jù)集也提供平均準(zhǔn)確率（）、假陽(yáng)性率（）、假陰性率（）指標(biāo)的評(píng)估。

2.3 性能評(píng)估及比較

2.3.1 典型場(chǎng)景的可視化結(jié)果

從Kitti 公共數(shù)據(jù)集road 中選擇uu 場(chǎng)景作為實(shí)驗(yàn)數(shù)據(jù)，得到可行駛區(qū)域的邊界結(jié)果如圖7 所示，綠線為可行駛區(qū)域邊界。將實(shí)驗(yàn)結(jié)果上傳至Kitti 官網(wǎng)評(píng)估，得到的部分評(píng)估結(jié)果如圖8 所示。圖8 中，綠色區(qū)域?yàn)檎_分割像素，藍(lán)色為假陽(yáng)性像素，紅色為假陰性像素。不難看出，本文的方法可以將可行駛區(qū)域與明顯高出地面的障礙物，如草坪、汽車、路沿石等很好地分割出來(lái)。本文的算法不會(huì)因?yàn)榈缆分嘘幱安糠峙c正常道路之間的紋理區(qū)別，而造成誤分割。對(duì)于一些高度不明顯的路緣石，以及禁止行駛的標(biāo)記區(qū)域，本文不能很好地將其識(shí)別出來(lái)。

圖7 實(shí)驗(yàn)結(jié)果Fig.7 Experimental results

圖8 評(píng)估結(jié)果Fig.8 Evaluation results

2.3.2 與其他方法的比較

本文選取了Shinzato等人的方法以及基于條件隨機(jī)場(chǎng)CRF 的方法進(jìn)行檢測(cè)結(jié)果對(duì)比，對(duì)比結(jié)果見(jiàn)表1。本文的達(dá)到了84.96，平均準(zhǔn)確率達(dá)到了74.43%，分別超過(guò)了Shinzato 的方法將近3%和4%；本文與一些CRF 的方法對(duì)比，在指標(biāo)上相差不大，但是在運(yùn)行速度上，本文的速度比FusedCRF 和MixedCRF 這2 個(gè)方法提升了許多。

表1 Kitti 數(shù)據(jù)集評(píng)估與比較Tab.1 Kitti dataset evaluation and comparison

總的來(lái)說(shuō)，本文提出的方法在檢測(cè)精度和速度方面，展現(xiàn)出了更加全面的優(yōu)勢(shì)。但本文采用的思想對(duì)于高出地面的障礙物檢測(cè)效果很好，對(duì)于一些地勢(shì)平坦、但禁止行駛的區(qū)域不能很好地識(shí)別出來(lái)。

3 結(jié)束語(yǔ)

本文融合了單目相機(jī)圖像的顏色信息和激光雷達(dá)的三維空間關(guān)系，結(jié)合了兩者的優(yōu)勢(shì)，同時(shí)借鑒了超像素的思想，提出了一種新穎簡(jiǎn)單的可行駛區(qū)域檢測(cè)方法，并取得了較好的檢測(cè)效果。采用Kitti 數(shù)據(jù)集進(jìn)行驗(yàn)證，結(jié)果表明，該方法可以有效地檢測(cè)出可行駛區(qū)域，具有運(yùn)行速度和精度的綜合優(yōu)勢(shì)。