基于深度學(xué)習(xí)的雙目測(cè)距系統(tǒng)分析

李 丹,洪明峰

(安徽工業(yè)大學(xué) 電氣與信息工程學(xué)院,安徽 馬鞍山 243002)

0 引言

無(wú)人駕駛技術(shù)對(duì)室外環(huán)境中的目標(biāo)檢測(cè)與距離測(cè)量有著極高的要求.傳統(tǒng)的目標(biāo)檢測(cè)采用了諸如梯度直方圖[1]和尺度不變特征變換[2]等方法,在視覺(jué)導(dǎo)航[3]和智能視頻監(jiān)控[1]中獲得良好的檢測(cè)效果.但傳統(tǒng)的目標(biāo)檢測(cè)方法計(jì)算量較大,時(shí)間復(fù)雜度高.隨著深度學(xué)習(xí)的發(fā)展,目標(biāo)檢測(cè)方向上提出了越來(lái)越多的基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的方法,例如2014年提出的基于分類思想的R-CNN,之后被改進(jìn)為fast-R-CNN[5]和faster-R-CNN[6].Yang等[7]提出了Fast-YOLO模型,并結(jié)合半全局匹配(Semi-global Matching, SGM)算法識(shí)別和定位物體.Liu Wei[8]等提出SSD,使用多尺度特征圖進(jìn)行目標(biāo)檢測(cè).Howard Andrew G[9]等人提出了深度可分離卷積MobileNet網(wǎng)絡(luò),使深度學(xué)習(xí)以較高的速度運(yùn)行在移動(dòng)端以及嵌入式平臺(tái)上.基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法,比傳統(tǒng)算法具有速度快、精度高、魯棒性高等特點(diǎn).

在距離測(cè)量上,現(xiàn)有的應(yīng)用技術(shù)是激光雷達(dá)等主動(dòng)式傳感器[10-11]但其造價(jià)昂貴,且測(cè)量范圍有限;而攝像頭作為一種被動(dòng)式傳感器,價(jià)格低廉,測(cè)量范圍廣,具有廣闊的應(yīng)用前景.在攝像頭測(cè)距這一方面,雙目視覺(jué)技術(shù)是一種常用的方法,它利用兩個(gè)及以上攝像頭同時(shí)拍攝得到不同視角的同一目標(biāo)圖像,并借助雙目相機(jī)模型[12]矯正左右圖像的畸變,最后通過(guò)圖像點(diǎn)的立體特征匹配計(jì)算出目標(biāo)物的部分三維信息,完成目標(biāo)檢測(cè)及距離測(cè)量.其中立體特征匹配方法是從圖像的邊緣,顏色和紋理等特征中找到圖像對(duì)的對(duì)應(yīng)點(diǎn)[13].如背景差異方法[14]和光流方法[15]可用于從連續(xù)視頻幀的背景中提取運(yùn)動(dòng)對(duì)象,并將它們應(yīng)用于智能交通的背景[16].

本文設(shè)計(jì)了一種新型的雙目測(cè)距系統(tǒng),結(jié)合實(shí)時(shí)性的要求,使用MobileNetv3-ssdlite進(jìn)行目標(biāo)檢測(cè)后截取目標(biāo)圖片,通過(guò)特征點(diǎn)匹配算法,獲得雙目圖像上相匹配的特征點(diǎn),最終利用三角測(cè)量原理計(jì)算得出目標(biāo)障礙物的深度信息.該系統(tǒng)能夠在樹(shù)莓派4B上實(shí)現(xiàn)目標(biāo)物的距離測(cè)量,具有成本低、精度較高,實(shí)時(shí)性強(qiáng),并能獲得豐富的目標(biāo)深度信息等優(yōu)勢(shì).

1 硬件平臺(tái)設(shè)計(jì)

實(shí)驗(yàn)主體是雙目攝像頭拍攝的圖片,經(jīng)過(guò)樹(shù)莓派進(jìn)行處理,實(shí)現(xiàn)對(duì)目標(biāo)物的檢測(cè)并測(cè)量距離.實(shí)驗(yàn)所使用的硬件平臺(tái)主要由雙目視覺(jué)傳感器和樹(shù)莓派2部分組成.

本文采用的照片采集設(shè)備是具有100萬(wàn)像素的高清同步雙目攝像頭模組,模組實(shí)物如圖1所示.

該攝像頭焦距為2.1mm,具體參數(shù)性能如表1所示.

表1 相機(jī)性能參數(shù)

實(shí)驗(yàn)系統(tǒng)采用樹(shù)莓派4B,在Linux中處理雙目攝像頭采集圖像及后續(xù)相關(guān)操作,樹(shù)莓派4B如圖2所示.

圖2 樹(shù)莓派系統(tǒng)

2 基于Matlab的雙目相機(jī)標(biāo)定及誤差分析

由于 OpenCV 的標(biāo)定結(jié)果極不穩(wěn)定,所以本文中相機(jī)標(biāo)定的方法采用張正友平面標(biāo)定法,并通過(guò)使用Matlab進(jìn)行標(biāo)定實(shí)驗(yàn)的操作.標(biāo)定完成后將獲取的參數(shù)保存?zhèn)溆?通過(guò)讀入左右相機(jī)采集的標(biāo)定板圖像同時(shí)進(jìn)行標(biāo)定,獲取相機(jī)內(nèi)外參數(shù)、畸變系數(shù)及右側(cè)攝像機(jī)相對(duì)于左側(cè)攝像機(jī)的位置參數(shù).標(biāo)定過(guò)程如下所述.

1) 左右相機(jī)標(biāo)定.

使用標(biāo)準(zhǔn)黑白棋盤(pán)格來(lái)制作標(biāo)定板,然后獲取不同角度的標(biāo)定板圖像.本文實(shí)驗(yàn)一共采集40對(duì)標(biāo)定板圖片,共計(jì)80張圖片.采集的標(biāo)定板樣本圖如圖 3所示.

圖3 標(biāo)定板圖片

2) 雙目相機(jī)立體標(biāo)定.

將攝像機(jī)拍攝到的左右目的標(biāo)定板的圖片加載到Matlab標(biāo)定工具箱的雙目標(biāo)定程序中,如圖4所示.

圖4 雙目標(biāo)定棋盤(pán)格角點(diǎn)檢測(cè)圖

由攝像機(jī)標(biāo)定實(shí)驗(yàn)所得到最終的參數(shù)如表2～3所示. 雙目攝像機(jī)外參為右攝像機(jī)相對(duì)左攝像機(jī)的變換參數(shù),旋轉(zhuǎn)矩陣為

3) 攝像機(jī)標(biāo)定誤差分析.

圖5為雙目立體標(biāo)定重投影誤差圖,重投影誤差均值為0.5.從圖6中標(biāo)定板相對(duì)攝像機(jī)的空間位置可看出,本實(shí)驗(yàn)采集的標(biāo)定板圖像移動(dòng)角度較明顯,有利于提高攝像機(jī)的標(biāo)定精度.

表2 左側(cè)攝像機(jī)標(biāo)定

[0.081 65 -0.066 90 -0.000 26 -0.000 47 0.000 00].

表3 右側(cè)攝像機(jī)標(biāo)定

[0.090 47 -0.090 38 0.000 01 -0.000 21 0.000 00].

圖5 雙目立體標(biāo)定誤差

圖6 標(biāo)定板空間位置圖

3 深度學(xué)習(xí)雙目測(cè)距算法

本文將MobileNetv3-SSDlite模型用于目標(biāo)物檢測(cè)識(shí)別,提取前方視野中的物體.具體描述為利用自己的數(shù)據(jù)訓(xùn)練出MobileNetV3,并抽出其中的兩層特征層作為Backbone加入到SSD中,同時(shí)在SSD網(wǎng)絡(luò)中補(bǔ)充四層卷積層進(jìn)行特征提取,最后通過(guò)訓(xùn)練進(jìn)行分類和回歸.MobileNetv3是一種基于深度可分離卷積的分類網(wǎng)絡(luò),適于在嵌入式平臺(tái)上使用.MobileNetv3網(wǎng)絡(luò)結(jié)構(gòu)如圖 7所示,結(jié)合了v1,v2和MnasNet的結(jié)構(gòu),在達(dá)到相同精度下相對(duì)于v2速度提升了25%.

圖7 MobileNetv3網(wǎng)絡(luò)結(jié)構(gòu)

為了降低在移動(dòng)設(shè)備上的計(jì)算開(kāi)銷,MobileNetv3使用改進(jìn)后的swish作為激活函數(shù),即hard-swish激活函數(shù),其表達(dá)式為

(1)

SSD利用多尺度特征圖進(jìn)行目標(biāo)檢測(cè),對(duì)較小物體的檢測(cè)能力,明顯優(yōu)于同類型的YOLO模型,其網(wǎng)絡(luò)結(jié)構(gòu)如圖8所示.

本文選擇差異值哈希算法(dHash)對(duì)提取出的目標(biāo)圖像計(jì)算指紋信息和漢明距離,通過(guò)漢明距離的大小判斷兩張圖片的相似性并匹配出左右目中的同一物體.同時(shí),本文提出了一種改進(jìn)的ORB特征匹配算法,利用一種高效且魯棒性較強(qiáng)的LDB (Local Different Binary)[17]描述子代替BRIEF描述子進(jìn)行匹配,并引用一種基于網(wǎng)格的運(yùn)動(dòng)統(tǒng)計(jì)匹配方法剔除誤匹配點(diǎn),完成特征點(diǎn)的提純,算法流程如圖9所示.

圖8 SSD網(wǎng)絡(luò)結(jié)構(gòu)

圖9 基于網(wǎng)格運(yùn)動(dòng)約束的ORB特征匹配算法流程

本文通過(guò)使用局部圖像的特征點(diǎn)匹配來(lái)獲取雙目圖像上目標(biāo)物對(duì)應(yīng)特征點(diǎn).這種基于檢測(cè)目標(biāo)特征點(diǎn)的測(cè)距算法只關(guān)注部分點(diǎn)對(duì),減少了計(jì)算量.同時(shí)采用Bouguet算法進(jìn)行立體校正,將圖片上的點(diǎn)映射到理想狀態(tài)下,之后通過(guò)三角測(cè)距算法進(jìn)行距離計(jì)算.

3.1 Bouguet算法

Bouguet算法將標(biāo)定獲取的旋轉(zhuǎn)矩陣分解成rl和rr,分解后的旋轉(zhuǎn)矩陣稱為合成旋轉(zhuǎn)矩陣.接著利用雙目立體標(biāo)定求得的平移矩陣T,構(gòu)造變換矩陣Rrect,將圖像校準(zhǔn)為行對(duì)準(zhǔn)狀態(tài).

通過(guò)變換矩陣將左視圖的極點(diǎn)變換至無(wú)窮遠(yuǎn)處.左右攝像機(jī)的投影中心之間的平移向量就是左極點(diǎn)的方向,構(gòu)造的e1為

(2)

e2的方向與主光軸方向正交,沿著圖像的方向,與e1垂直;e2方向可通過(guò)e1與主光軸方向的叉積并歸一化獲得.

(3)

e3與e1和e2正交,即e3是e1和e2的叉積.

e3=e1×e2.

(4)

則變換矩陣Rrect為

(5)

左右攝像機(jī)的成像平面行對(duì)準(zhǔn)的旋轉(zhuǎn)矩陣為

(6)

最后計(jì)算出平行校正后雙目攝像機(jī)的內(nèi)參數(shù)矩陣和重投影矩陣,通過(guò)重映射的方法,完成立體校正,如圖10所示.

(a) 立體校正前

(b) 立體校正后圖10 立體校正效果

3.2 三角測(cè)距算法

如圖11所示,P點(diǎn)是待測(cè)量點(diǎn),OR、OT為左右相機(jī)的光學(xué)中心,p和p’為P在左右相機(jī)上的成像點(diǎn),XR、XT為圖像上的橫坐標(biāo)值,B為相機(jī)間距,f相機(jī)焦距,Z為待求的距離.

圖11 三角測(cè)量原理

設(shè)d為p和P’的距離,則

d=B-(XR-XT).

(7)

根據(jù)相似三角形原理

(8)

可得

(9)

完成立體校正后,點(diǎn)對(duì)滿足共面行對(duì)準(zhǔn)關(guān)系,根據(jù)三角測(cè)距算法即可求得待測(cè)物體的實(shí)際距離.

4 實(shí)驗(yàn)結(jié)果分析

4.1 MobileNetv3-SSDlite網(wǎng)絡(luò)目標(biāo)檢測(cè)結(jié)果

利用MobileNetv3-SSDlite網(wǎng)絡(luò)進(jìn)行室外目標(biāo)檢測(cè)的效果如圖12所示,左右2張圖是雙目攝像模組同時(shí)拍攝得到.在較為復(fù)雜的外部環(huán)境下,MobileNetv3-SSDlite網(wǎng)絡(luò)對(duì)目標(biāo)車輛的識(shí)別度依舊良好.

圖12 MobileNetv3-SSDlite識(shí)別效果

4.2 dHash算法匹配結(jié)果

通過(guò)dHash算法進(jìn)行左右目同一目標(biāo)物匹配的效果如圖13所示,同種顏色款代表同一目標(biāo)物,可以看出,dHash算法對(duì)室外場(chǎng)景下目標(biāo)車輛的匹配準(zhǔn)確率較高.

圖13 dHash匹配效果

4.3 改進(jìn)的ORB特征點(diǎn)匹配算法結(jié)果

經(jīng)由MobileNetv3-SSDlite獲取到目標(biāo)圖片后,再經(jīng)過(guò)改進(jìn)的ORB算法進(jìn)行特征點(diǎn)匹配,特征點(diǎn)匹配結(jié)果如圖14所示.在室外環(huán)境下,改進(jìn)后的ORB算法剔除了錯(cuò)誤的匹配點(diǎn),特征點(diǎn)的匹配精確度較高,體現(xiàn)出改進(jìn)ORB算法的優(yōu)越性.

4.4 距離測(cè)量結(jié)果

對(duì)實(shí)際距離與測(cè)量距離進(jìn)行擬合,擬合結(jié)果如圖15所示.將擬合的距離值與實(shí)際測(cè)量值對(duì)比可知,誤差范圍為(28.56±0.012) mm.滿足無(wú)人駕駛車輛對(duì)距離測(cè)量的誤差要求.

圖14 匹配結(jié)果

圖15 測(cè)量值擬合結(jié)果

5 結(jié)語(yǔ)

隨著計(jì)算機(jī)視覺(jué)與無(wú)人車技術(shù)的發(fā)展,本文探索了基于深度學(xué)習(xí)的雙目測(cè)距系統(tǒng).該系統(tǒng)利用樹(shù)莓派對(duì)雙目相機(jī)拍攝的二維圖像進(jìn)行處理,通過(guò)相機(jī)標(biāo)定、立體校正后,使用MobileNetv3-SSDlite深度學(xué)習(xí)網(wǎng)絡(luò)模型識(shí)別目標(biāo)物體,利用特征點(diǎn)匹配算法獲取物體特征點(diǎn)對(duì),通過(guò)三角測(cè)量實(shí)現(xiàn)對(duì)目標(biāo)物距離的測(cè)量,在實(shí)際應(yīng)用中驗(yàn)證了本系統(tǒng)的有效性.