基于融合動(dòng)態(tài)模板匹配的雙目測距算法①

史珂路,田軍委,雷志強(qiáng),張歡歡,孫 雷

1(西安工業(yè)大學(xué) 電子信息工程學(xué)院,西安 710021)

2(西安工業(yè)大學(xué) 機(jī)電工程學(xué)院,西安 710021)

當(dāng)高層建筑發(fā)生火災(zāi)時(shí),若遇內(nèi)部停電停水則消防設(shè)備難以使用,在城市道路擁堵且云梯長度有限的情況下,消防設(shè)備不易接近起火點(diǎn),嚴(yán)重影響高層建筑火災(zāi)撲救,對(duì)生命財(cái)產(chǎn)造成不可估量的破壞[1].高空滅火無人機(jī)因其地形適應(yīng)性好、具備垂直起降能力和懸停能力,能很好的承擔(dān)高層建筑滅火任務(wù).

高空無人機(jī)在滅火時(shí)首先需要精確測量滅火點(diǎn)和無人機(jī)的間距.目前,常見的檢測方法有: 超聲波測距[2]、激光脈沖測距[3]、紅外測距[4]、光學(xué)測距[5]和立體視覺測距[6]等.超聲、激光、紅外測距法屬于主動(dòng)測距法,因其發(fā)射和接收設(shè)備價(jià)格昂貴,反射、噪音、交叉等環(huán)境問題難以解決,因而主動(dòng)法測距不具有普遍應(yīng)用性.

雙目立體視覺測距系統(tǒng)具有信息豐富,探測距離廣,外界干擾較小,反應(yīng)快,響應(yīng)時(shí)間短,系統(tǒng)構(gòu)成簡單,成本低等優(yōu)點(diǎn)[7].雙目視覺系統(tǒng)的測距精度,主要難點(diǎn)在于圖像匹配的精度,本文目的旨在解決這一難點(diǎn).左右圖像匹配目前最常用的是動(dòng)態(tài)模板匹配,目前已有不少研究成果.李軍將動(dòng)態(tài)模板匹配應(yīng)用到導(dǎo)彈跟蹤鎖定目標(biāo)的過程中[8]; 陳永雷將動(dòng)態(tài)模板匹配應(yīng)用到確定動(dòng)態(tài)圖像中的目標(biāo)識(shí)別與跟蹤方面[9].

Long Van、Nguyen-Dinh,Daniel等人[10]將動(dòng)態(tài)模板匹配應(yīng)用到小型可穿戴設(shè)備的在線手勢識(shí)別系統(tǒng)中,提高了系統(tǒng)的抗干擾性.以上三種算法計(jì)算量大且實(shí)時(shí)性難以滿足高空滅火的需求,本文結(jié)合實(shí)際應(yīng)用環(huán)境,提出了一種權(quán)重融合的動(dòng)態(tài)模板匹配算法.通過給三種動(dòng)態(tài)模板匹配算法分配相應(yīng)的權(quán)重,來達(dá)到去除誤匹配點(diǎn)的目的,來提高測距精度.

1 雙目立體視覺測距模型的建立

本文所采用的雙目立體視覺系統(tǒng),將左右兩個(gè)攝像機(jī)平行放置,點(diǎn)O1和X1Y1Z1組成的直角坐標(biāo)系為左攝像機(jī)坐標(biāo)系,點(diǎn)O2和X2Y2Z2組成的直角坐標(biāo)系為右攝像機(jī)坐標(biāo)系,x1y1z1為左圖像坐標(biāo)系,x2y2z2為右圖像坐標(biāo)系.測距原理圖如圖1所示.

從圖1可得,設(shè)在攝像機(jī)坐標(biāo)系下,P點(diǎn)的坐標(biāo)為(X， Y， Z),左圖像坐標(biāo)系下坐標(biāo)為 (x1,y),右圖像坐標(biāo)系下的坐標(biāo)為(x2,y).P點(diǎn)在X-Z平面投影如圖2所示.

根據(jù)圖2,下列關(guān)系式成立:

圖1 雙目測距原理圖

圖2 X-Z平面投影圖

2 雙目視覺測距系統(tǒng)

雙目視覺測距系統(tǒng)可實(shí)現(xiàn)遠(yuǎn)距離目標(biāo)搜索、定位、測距和跟蹤等功能,并實(shí)時(shí)將目標(biāo)相對(duì)坐標(biāo)位置和距離參數(shù)傳送給主控系統(tǒng).系統(tǒng)結(jié)構(gòu)如圖3所示.

圖3 雙目測距系統(tǒng)總體方案框圖

該系統(tǒng)由云臺(tái)子系統(tǒng)、視覺測距子系統(tǒng)和電源子系統(tǒng)三部分構(gòu)成,其中云臺(tái)子系統(tǒng)實(shí)現(xiàn)遠(yuǎn)距離目標(biāo)搜索和跟蹤等功能,視覺測距子系統(tǒng)用于遠(yuǎn)距離測量(距離、尺寸、坐標(biāo))等參數(shù)、并將這些參數(shù)通過通訊總線傳送到無人機(jī)的中央信息處理系統(tǒng).

雙目視覺測距系統(tǒng)的實(shí)驗(yàn)平臺(tái)主要由: 兩個(gè)200萬像素的攝像機(jī)、一個(gè)三腳架、一個(gè)微型主控板、一個(gè)顯示屏、一個(gè)測距儀、供電電源等組成.本文后續(xù)的測距實(shí)驗(yàn)是在兩攝像頭平行放置,并且基線距離為300 mm的情況下進(jìn)行的.其中精密測距儀,可以精確測量目標(biāo)的距離,測程范圍為2～2000 m,測量誤差為±1 m,本實(shí)驗(yàn)最終會(huì)將實(shí)驗(yàn)平臺(tái)所測的數(shù)據(jù)與測距儀測得的數(shù)據(jù)進(jìn)行對(duì)比和分析,得出結(jié)果.

2.金融支持下第一產(chǎn)業(yè)增長效率實(shí)證分析。測算結(jié)果顯示2000-2017年間，陜西省金融支持第一產(chǎn)業(yè)增長效率測度結(jié)果可以分為2000-2009年和2010-2017年兩個(gè)階段。2000-2008年之間，陜西省金融支持第一產(chǎn)業(yè)增長效率經(jīng)過一段波動(dòng)調(diào)整時(shí)期，表現(xiàn)為2002年、2003年和2006年，技術(shù)效率指數(shù)均小于1，均無效。金融支持第一產(chǎn)業(yè)增長效率低這一現(xiàn)象在2003年前后表現(xiàn)最明顯。2004年、2005年、2007年和2009年，金融支持第一產(chǎn)業(yè)增長的過程中，存在技術(shù)效率為1，而綜合效率無效的情況，說明第一產(chǎn)業(yè)的規(guī)模效率無效，需要通過產(chǎn)業(yè)結(jié)構(gòu)的優(yōu)化配置等途徑提高規(guī)模效益和生產(chǎn)效率。

3 雙目測距算法

3.1 圖像預(yù)處理

為了減少后續(xù)算法的計(jì)算量,首先雙目攝像機(jī)將采集到的彩色圖像使用加權(quán)平均值法轉(zhuǎn)化為灰度圖像;然后對(duì)左攝像頭采集圖像進(jìn)行感興趣區(qū)域提取,獲得模板圖像; 然后對(duì)模板圖像和右目指定區(qū)域進(jìn)行中值濾波,平滑掉圖像的噪聲,保留圖像細(xì)節(jié),然后對(duì)圖像進(jìn)行直方圖均衡化,提高目標(biāo)與背景的反差,達(dá)到增強(qiáng)圖像的目的; 最后使用Soble算子對(duì)圖像的邊緣進(jìn)行處理,提高邊緣的清晰度.預(yù)處理算法流程圖見圖4.

圖4 圖像預(yù)處理算法流程圖

3.2 感興趣區(qū)域提取

感興趣區(qū)域(簡稱ROI)即一幅圖像中最能引起觀察者的關(guān)注的部分,最能表達(dá)圖像的重點(diǎn)內(nèi)容的區(qū)域.只對(duì)圖像的感興趣區(qū)域進(jìn)行相應(yīng)的操作,這樣可提高系統(tǒng)的運(yùn)行效率,還可降低非感興趣區(qū)域?qū)Y(jié)果產(chǎn)生干擾[11].

本文采用基于圖像分割技術(shù)來提取ROI,但是傳統(tǒng)的圖像分割算法復(fù)雜度高、效率較低,不能滿足本課題實(shí)時(shí)性的需求,因此,筆者提出一種新的提取感興趣區(qū)域的思路,即我們設(shè)定左目中心虛框內(nèi)獲取到的圖像為模板圖像T,將模板圖像T從整幅圖像中提取出來,然后右目在區(qū)域S內(nèi)進(jìn)行逐點(diǎn)掃描,進(jìn)行相關(guān)匹配:

本系統(tǒng)的感興趣區(qū)域是左目的模板圖像T,如圖5(a)所示,和右目的指定區(qū)域S,如圖5(b)所示.

圖5 ROI提取示意圖

3.3 模板匹配算法

圖像匹配是圖像處理領(lǐng)域中極為重要的技術(shù),它是在不同傳感器對(duì)同一目標(biāo)在不同視角下得到的兩幅圖像中找出相似的特征點(diǎn),根據(jù)匹配算法計(jì)算兩幅圖像的關(guān)聯(lián)程度[12].目前,應(yīng)用比較廣泛的匹配方法是基于圖像灰度的模板匹配方法,模板匹配算法原理通俗易懂,算法實(shí)現(xiàn)相對(duì)容易,匹配精度高.目標(biāo)不確定的情況下,如果根據(jù)固定不變的預(yù)知模板圖像進(jìn)行模板匹配,則很容易導(dǎo)致本測距系統(tǒng)應(yīng)用范圍狹窄.為此,我們采用動(dòng)態(tài)模板匹配算法.動(dòng)態(tài)模板匹配算法不是預(yù)先制定目標(biāo)模板,而是在無人機(jī)探測的過程中,根據(jù)當(dāng)前的圖像動(dòng)態(tài),自動(dòng)生成目標(biāo)圖像作為模板進(jìn)行匹配.

3.4 權(quán)重融合動(dòng)態(tài)模板匹配算法

本文所使用的OPENCV環(huán)境提供了六種動(dòng)態(tài)模板匹配方法,以此為基礎(chǔ),本文提出一種基于權(quán)重融合的動(dòng)態(tài)模板匹配算法.三種動(dòng)態(tài)模板匹配的相似性度量函數(shù)如下:

1) 歸一化平方差匹配法(TM_SQDIFF_NORMED)

3) 歸一化相關(guān)系數(shù)匹配法(TM-CCOEFF_NORMED)

以上三種歸一化的匹配方法中,歸一化相關(guān)系數(shù)匹配法的誤判率是最低的,但是在實(shí)際應(yīng)用中對(duì)于運(yùn)動(dòng)目標(biāo)匹配的實(shí)時(shí)性和準(zhǔn)確性還不能滿足我們的要求.因此我們采用融合以上三種匹配方法,就是給以上三種歸一化的匹配方法分配不同的權(quán)重,誤判率相對(duì)較低的分配的權(quán)重最高,誤判率相對(duì)較高的分配的權(quán)重最低.通過融合可以進(jìn)一步提高算法的性能[13].其相似性度量函數(shù)為:

其中,公式(6)中R1(x，y)表示歸一化平方差匹配法,R2(x，y)表示歸一化相關(guān)匹配法,R2(x，y)表示歸一化相關(guān)系數(shù)匹配法.R(x，y)越大表示匹配效果越好.

完整的雙目測距算法流程如圖6所示.

圖6 雙目測距算法軟件流程框圖

4 實(shí)驗(yàn)分析及測距模型的建立

4.1 匹配實(shí)驗(yàn)及分析

實(shí)驗(yàn)設(shè)置和流程如下: 實(shí)驗(yàn)是由A、B、C、D人組成,測量范圍0～100 m,實(shí)驗(yàn)時(shí)間2017年3月26日,下午4點(diǎn),晴天,光照良好.A為目標(biāo),以固定間距運(yùn)動(dòng),每次間隔5 m; B負(fù)責(zé)用本文設(shè)計(jì)的測距系統(tǒng)測量出目標(biāo)人物與攝像頭的距離; C負(fù)責(zé)記錄視差和距離的實(shí)驗(yàn)數(shù)據(jù),D負(fù)責(zé)錄像.

實(shí)驗(yàn)過程如圖7(a)所示; 顯示屏中的內(nèi)容截圖如圖7(b)所示,其中,上圖為左目攝像頭的圖像,下圖為右目攝像頭的圖像,右上角顯示視差信息.

圖7 實(shí)驗(yàn)過程與顯示截屏圖

匹配實(shí)驗(yàn)數(shù)據(jù)如表1.

表1 匹配實(shí)驗(yàn)數(shù)據(jù)

通過對(duì)表1中的實(shí)驗(yàn)數(shù)據(jù)得知: 5 m到10 m,視差變化了422個(gè)像素,距離變化了5 m; 10 m到15 m,視差變化了113個(gè)像素,距離變化了5 m; 15 m到20 m,視差變化了49個(gè)像素,距離變化了5 m; …,95 m到100 m,視差變化了4個(gè)像素,距離變化了5 m,從而得知視差與距離是非線性的關(guān)系.

根據(jù)表1匹配實(shí)驗(yàn)數(shù)據(jù)畫出距離與視差的曲線關(guān)系,如圖8所示.

圖8 距離與視差的曲線關(guān)系圖

4.2 構(gòu)建模型

通過以上分析可知: 視差與距離是非線性的關(guān)系,因此我們采用多段非線性補(bǔ)償法求視差與距離的關(guān)系.根據(jù)測量誤差小于一米的要求將視差曲線分成n條小線段或者切線,將這些小線段連起來形成折線,從而實(shí)現(xiàn)非線性補(bǔ)償?shù)男Ч?為了保證補(bǔ)償曲線精度,曲線劃分段數(shù)需保證一定數(shù)目.

根據(jù)表1的匹配實(shí)驗(yàn)數(shù)據(jù),并經(jīng)多次實(shí)驗(yàn)最終確定n=10.采用非線性補(bǔ)償法對(duì)視差曲線進(jìn)行分段,對(duì)每一段進(jìn)行求解,得到距離d1與視差的非線性關(guān)系,如式(7)所示:

4.3 模型驗(yàn)證實(shí)驗(yàn)及結(jié)論

將已經(jīng)建好的距離與視差曲線幾何關(guān)系模型加入到算法程序中去,再進(jìn)行相關(guān)實(shí)驗(yàn),實(shí)驗(yàn)過程如匹配實(shí)驗(yàn)所描述,得到的數(shù)據(jù)結(jié)果如表2所示.

將表2中的實(shí)際距離和絕對(duì)誤差繪制成曲線圖,如圖9所示(單位: m).

表2 距離與視差關(guān)系模型d的實(shí)測結(jié)果

圖9 模型的絕對(duì)誤差圖

從圖9可以看出,模型d在50 m內(nèi)誤差在1 m以內(nèi),在50～100 m誤差保持在2 m以內(nèi),精度比較好,可以滿足系統(tǒng)要求.從表2中可以計(jì)算出匹配精度: 首先計(jì)算每5 m視差的變化量,然后求100 m內(nèi)視差變化量的平均值,通過計(jì)算可得匹配精度為6.947 pix/m.

5 結(jié)論與展望

為了解決傳統(tǒng)的雙目測距算法存在的缺點(diǎn): 實(shí)時(shí)性差,算法復(fù)雜,匹配精度差等.本文提出了一種基于融合動(dòng)態(tài)模板匹配的雙目測距算法,該算法具體實(shí)現(xiàn)相對(duì)簡單、容易理解實(shí)時(shí)性和匹配精度高等優(yōu)點(diǎn),經(jīng)過實(shí)驗(yàn)驗(yàn)證滿足高空無人機(jī)滅火在徑向100 m以內(nèi)的精確測距需求.在下一步的工作中,筆者將進(jìn)一步提高匹配算法的精度,使匹配結(jié)果更加準(zhǔn)確.