基于合作目標(biāo)的儀表盤自適應(yīng)虛實(shí)配準(zhǔn)方法

李浩銘, 付戰(zhàn)平, 胡文婷, 王曼曼, 馮亞杰

(1.海軍航空大學(xué),a.青島校區(qū)，山東 青島 266000； b.岸防兵學(xué)院，山東 煙臺(tái) 264000；2.永吉縣第七中學(xué)，吉林 吉林 132000)

0 引言

基于圖像識別的算法已經(jīng)比較成熟，算法種類多、效果好且精度高，但針對視頻流進(jìn)行目標(biāo)識別的算法比較少。本文針對雙目攝像頭獲得的視頻流進(jìn)行操作，在已經(jīng)進(jìn)行過圖像矯正并能得到深度圖像的基礎(chǔ)上，基于OpenCV和C++編程，結(jié)合合作目標(biāo)對視頻流中的模擬器座艙儀表盤進(jìn)行了識別定位。對視頻流中儀表盤上的合作目標(biāo)進(jìn)行跟蹤定位，獲得每一幀圖像中的合作目標(biāo)坐標(biāo)，結(jié)合深度圖像獲取原理，還原合作目標(biāo)的三維坐標(biāo)，從而得到實(shí)物儀表盤相對于頭盔攝像頭的三維坐標(biāo)，為UE4場景中虛擬儀表盤的三維坐標(biāo)的校正提供數(shù)據(jù)。通過實(shí)現(xiàn)虛擬儀表盤與實(shí)物儀表盤的對準(zhǔn)，進(jìn)而實(shí)現(xiàn)虛擬座艙蓋與實(shí)物座艙的準(zhǔn)確融合，為進(jìn)一步調(diào)整虛實(shí)交界處的邊緣融合進(jìn)行鋪墊。

1 從圖像識別到視頻流識別

在模式識別領(lǐng)域，模板匹配屬于比較常規(guī)的成熟算法。選擇合適的數(shù)學(xué)工具，通過自適應(yīng)控制、模糊邏輯、神經(jīng)網(wǎng)絡(luò)等方法的應(yīng)用，建立科學(xué)的數(shù)學(xué)模型，此類技術(shù)是模式識別領(lǐng)域目前的重要發(fā)展方向[1]。例如，文獻(xiàn)[2]提出了一種將傳統(tǒng)的模板匹配算法與深度神經(jīng)網(wǎng)絡(luò)識別算法相結(jié)合的電能表示數(shù)及標(biāo)簽的自動(dòng)識別算法，有效解決了復(fù)雜條件下小尺寸電能表的信息檢測難問題以及噪聲條件下的信息識別問題；文獻(xiàn)[3]提出了一種基于模板匹配與Hough圓檢測的儀表識別方法，對于指針式圓形儀表識別效果顯著，定位表盤位置準(zhǔn)確，指針識別和角度計(jì)算均有較高的精度。

1.1 經(jīng)典圖像識別

基于圖像的模板匹配是在圖像中尋找與既定模板圖像最匹配或最相似部分的技術(shù)。利用預(yù)知的目標(biāo)特征模板在待匹配圖像中進(jìn)行搜索，并結(jié)合相關(guān)函數(shù)進(jìn)行目標(biāo)的識別[4]。模板匹配技術(shù)得以實(shí)現(xiàn)的關(guān)鍵前提在于得到數(shù)學(xué)函數(shù)的支撐，準(zhǔn)確確定模板在被搜索圖中的坐標(biāo)關(guān)系，并將其代入數(shù)學(xué)模型做相應(yīng)的處理[5]。

OpenCV提供了matchTemplate函數(shù)實(shí)現(xiàn)模板匹配算法[6]。其中可用的方法有以下6種。

1) 平方差匹配(TM_SQDIFF)

(1)

2) 標(biāo)準(zhǔn)平方差匹配(TM_SQDIFF_NORMED)

(2)

3) 相關(guān)匹配(TM_CCORR)

(3)

4) 標(biāo)準(zhǔn)相關(guān)匹配(TM_CCORR_NORMED)

(4)

5) 相關(guān)系數(shù)匹配(TM_CCOEFF)

(5)

式中：

(6)

(7)

6) 標(biāo)準(zhǔn)相關(guān)系數(shù)匹配(TM_CCOEFF_NORMED)

(8)

TM_SQDIFF和TM_SQDIFF_NORMED利用平方差來衡量匹配效果，匹配得越好,得到的匹配值就越小，最優(yōu)匹配值為0；TM_CCORR和TM_CCORR_NORMED采用模板和圖像間的乘法操作獲取匹配值，所以匹配值越大代表匹配程度越高,0表示最壞的匹配效果；TM_CCOEFF和TM_CCOEFF_NORMED兩種方法將模板對均值的相對值與圖像對均值的相關(guān)值進(jìn)行比較得到匹配值，0表示沒有任何相關(guān)性，最優(yōu)匹配值為1，最壞匹配值為-1。

通過上述算式可見，從簡單的平方差匹配到復(fù)雜的相關(guān)系數(shù)匹配，計(jì)算代價(jià)不斷增大，匹配精度相對提高。為了挑選出最適合本文實(shí)驗(yàn)的方法，在同樣條件下對6種方法進(jìn)行測試，計(jì)算識別速率和精度，在算法識別速率滿足最低限制(30幀/s)的條件下，會(huì)多做一些測試實(shí)驗(yàn),選擇出兼顧識別速度和精度的最佳方案。

1.2 視頻流識別原理

基于模板匹配的視頻流識別算法的基本原理為：將視頻流劃分成視頻幀或視頻圖像序列，選擇合適的匹配函數(shù)在視頻幀中尋找與合作目標(biāo)最相似的區(qū)域[7]。根據(jù)視頻流識別原理，制定程序流程如圖1所示。

圖1 視頻流識別流程圖

隨機(jī)取出總計(jì)30 s左右、幀率為60 幀/s的雙目視頻流，盡量涵蓋頭盔與合作目標(biāo)的多角度變化，基于vs2019與OpenCV4.5進(jìn)行視頻流劃分，得到1820幅1440×1600(單位為像素，下同)的圖像。

2 測試算法性能

2.1 合作目標(biāo)的設(shè)定

計(jì)算機(jī)視覺領(lǐng)域的目標(biāo)跟蹤識別主要有基于合作目標(biāo)和非合作目標(biāo)兩種研究方案[8]。合作目標(biāo)是進(jìn)行跟蹤識別最常用的輔助手段，具有相對成熟、穩(wěn)定性高、成本低等優(yōu)勢，而且便于根據(jù)實(shí)驗(yàn)應(yīng)用情況對合作目標(biāo)的設(shè)計(jì)進(jìn)行調(diào)節(jié)，有利于提高識別的魯棒性。文獻(xiàn)[9]提出一種簡單、高效的二維合作目標(biāo)設(shè)計(jì)方案，8個(gè)圓形斑塊等距分布在目標(biāo)圓的圓周上，適用于距離較長的靶標(biāo)識別。文獻(xiàn)[10]設(shè)計(jì)了與地面機(jī)器人特征統(tǒng)一的合作目標(biāo)，主體由3個(gè)同心圓組成，不僅可以為無人機(jī)提供識別參考和定位基準(zhǔn)，外側(cè)的小圓也可為無人機(jī)提供與地面機(jī)器人之間的相對方向角度。

考慮到模擬飛行的應(yīng)用，合作目標(biāo)的設(shè)計(jì)不需要考慮遠(yuǎn)距離識別，但是要滿足頭盔攝像頭快速移動(dòng)時(shí)的實(shí)時(shí)性要求，合作目標(biāo)數(shù)量設(shè)計(jì)為1即可。為了提高匹配精度，增加合作目標(biāo)的可區(qū)分度和穩(wěn)定性，將合作目標(biāo)設(shè)計(jì)成圖2樣式，設(shè)置大尺寸的合作目標(biāo)，可以較好地與實(shí)物模擬器上其他復(fù)雜按鈕區(qū)分開，有效提高了識別精度。

圖2 合作目標(biāo)樣式

2.2 計(jì)算識別精度

通過標(biāo)點(diǎn)程序，對視頻流劃分的總計(jì)1820幅圖像中合作目標(biāo)的中心點(diǎn)二維坐標(biāo)進(jìn)行標(biāo)定并記錄。通過6種函數(shù)對視頻流分別進(jìn)行合作目標(biāo)識別實(shí)驗(yàn)，記錄程序運(yùn)行返回的坐標(biāo)序列和運(yùn)行時(shí)間。

程序運(yùn)行過程中，通過紅色矩形框標(biāo)注最匹配區(qū)域，可以目測出是否準(zhǔn)確識別了合作目標(biāo)，圖3(a)和3(b)分別是實(shí)驗(yàn)過程中正確框出合作目標(biāo)和錯(cuò)誤框出合作目標(biāo)的情況。

圖3 識別合作目標(biāo)過程截圖

為了獲取函數(shù)識別精度，得出精度最高的函數(shù)，分別用執(zhí)行6種函數(shù)標(biāo)注的中心點(diǎn)坐標(biāo)與實(shí)際合作目標(biāo)中心點(diǎn)坐標(biāo)進(jìn)行均方根誤差計(jì)算，函數(shù)如下。

計(jì)算結(jié)果如表1所示，函數(shù)序號與1.1節(jié)中函數(shù)介紹序號相同，可見標(biāo)準(zhǔn)相關(guān)匹配函數(shù)的誤差最低，識別精度最高，接下來在標(biāo)準(zhǔn)相關(guān)匹配函數(shù)的基礎(chǔ)上對算法進(jìn)行改進(jìn)。

表1 6種函數(shù)識別誤差

3 自適應(yīng)模板匹配改進(jìn)識別率

合作目標(biāo)在視頻流中的相對大小會(huì)隨著攝像機(jī)鏡頭的拉近、拉遠(yuǎn)而發(fā)生變化，但是傳統(tǒng)識別方法中的待匹配矩形窗口大小固定，特別是在獲取中心點(diǎn)坐標(biāo)時(shí)存在匹配誤差。自適應(yīng)窗口可以通過設(shè)置相似度閾值調(diào)節(jié)匹配窗口的半徑，極大地提高識別的精度[11]。文獻(xiàn)[12]提出一種異形自適應(yīng)窗口局部立體匹配算法，通過雙螺旋路徑法得到形狀多變的待匹配窗口，提高了復(fù)雜圖像邊界的貼合性和圖像描述性；文獻(xiàn)[13]提出一種基于Camshift和ORB算法的自適應(yīng)跟蹤注冊方法,將高斯背景建模和Camshift算法融入到跟蹤過程中，實(shí)現(xiàn)對目標(biāo)尺度變化的自適應(yīng)跟蹤。

在上面的實(shí)驗(yàn)中，可以觀察到在鏡頭拉近和拉遠(yuǎn)的情況下，紅色矩形框均比實(shí)際合作目標(biāo)大小要大。實(shí)驗(yàn)設(shè)計(jì)相似度閾值，通過循環(huán)不斷縮小矩形窗口的大小，直到窗口與合作目標(biāo)大小最為適應(yīng)為止，結(jié)束循環(huán)并輸出中心點(diǎn)坐標(biāo)。自適應(yīng)匹配改進(jìn)后識別合作目標(biāo)的效果如圖4所示。

圖4 自適應(yīng)識別合作目標(biāo)

同時(shí)改變相似度閾值及循環(huán)次數(shù)，考慮到窗口縮小存在最低底線，分別測試相似度閾值為5%、循環(huán)次數(shù)為6～10，相似度閾值為10%、循環(huán)次數(shù)為5～10，相似度閾值為15%、循環(huán)次數(shù)為3～6，以及相似度閾值為20%、循環(huán)次數(shù)為4～5情況下的均方根誤差以及算法識別速率。由于實(shí)驗(yàn)結(jié)果比較復(fù)雜、龐大，且需要同時(shí)考慮誤差以及識別速率，分別繪制均方根誤差折線圖和識別速率折線圖，如圖5所示。

圖5 均方根誤差折線圖和識別速率折線圖

在識別速率滿足最低限制(30幀/s)的情況下，通過分析圖5中2幅折線圖可以看出，相似度閾值為10%、循環(huán)6次，以及相似度閾值為15%、循環(huán)4次時(shí)，誤差均小于5，相對最小，根據(jù)實(shí)際實(shí)驗(yàn)卡頓情況，最終選擇出相似度為15%、循環(huán)4次的自適應(yīng)窗口進(jìn)行接下來的實(shí)驗(yàn)。

4 校正三維坐標(biāo)實(shí)現(xiàn)虛實(shí)融合

將合作目標(biāo)設(shè)計(jì)在儀表盤正中央，得到的合作目標(biāo)二維坐標(biāo)即為儀表盤中心坐標(biāo)，視為儀表盤像素坐標(biāo)。雙目視覺測量過程較為復(fù)雜，牽扯到多個(gè)坐標(biāo)系的相互轉(zhuǎn)換，包括像素坐標(biāo)系、圖像坐標(biāo)系、相機(jī)坐標(biāo)系和世界坐標(biāo)系[14]。

在自適應(yīng)匹配實(shí)驗(yàn)基礎(chǔ)上，為實(shí)現(xiàn)UE4場景中虛擬儀表盤與真實(shí)儀表盤的匹配融合，設(shè)計(jì)方案如圖6所示，將每一幀獲取的真實(shí)儀表盤坐標(biāo)實(shí)時(shí)賦值給UE4場景中的虛擬儀表盤。

圖6 儀表盤虛實(shí)坐標(biāo)匹配方案

4.1 從像素坐標(biāo)系到相機(jī)坐標(biāo)系

雙目攝像機(jī)與人眼視物原理相似，可以通過目標(biāo)物在左右相機(jī)成像時(shí)存在的視差與目標(biāo)物到相機(jī)的距離存在的反比例關(guān)系，得到目標(biāo)物的深度信息[15]。文獻(xiàn)[16]基于雙目測距原理，提出了一種水下引導(dǎo)光源檢測和測距的方案，不僅優(yōu)化了實(shí)時(shí)性，水下對接精度也得到了滿足；文獻(xiàn)[17]提出了一種改進(jìn)ORB算法的雙目視覺測距方法，有效降低了誤匹配率，提高了測量精度；文獻(xiàn)[18]基于雙目視覺測距原理建立了雙目測距軟、硬件架構(gòu)。

假設(shè)儀表盤為點(diǎn)A，其坐標(biāo)轉(zhuǎn)換示意圖見圖7。

圖7 坐標(biāo)系轉(zhuǎn)換圖

點(diǎn)A在相機(jī)坐標(biāo)系下的坐標(biāo)為(X,Y,Z)，在圖像坐標(biāo)系下的坐標(biāo)為(x,y)，在像素坐標(biāo)系下的坐標(biāo)為(u,v)，圖像坐標(biāo)系原點(diǎn)在像素坐標(biāo)系下的坐標(biāo)為(u0,v0)，f為固定的焦距，p，q分別代表圖像坐標(biāo)系中x′，y′軸每毫米存在的像素?cái)?shù)。得到如下算式

u=px+u0

(9)

v=qy+v0

(10)

(11)

(12)

整理得到

(13)

(14)

利用HTC VIVE Pro Eye進(jìn)行實(shí)驗(yàn)，其SDK中寫好的深度模塊，將RGB(RED，GREEN，BLUE)圖像轉(zhuǎn)換為RGB-D(DEPTH)圖像，其中，DEPTH存儲(chǔ)目標(biāo)點(diǎn)的景深信息。由此可以更精準(zhǔn)地獲取到儀表盤的第三維坐標(biāo)，得到儀表盤在相機(jī)坐標(biāo)系的坐標(biāo)，也為快速進(jìn)行目標(biāo)檢測、識別并與跟蹤算法相結(jié)合做鋪墊[19]。

4.2 從本地坐標(biāo)系到世界坐標(biāo)系

UE4場景中坐標(biāo)系是左手坐標(biāo)系，以相機(jī)為原點(diǎn)的儀表盤坐標(biāo)在UE4場景中屬于本地坐標(biāo)，賦值運(yùn)算時(shí)需要獲取到儀表盤在世界坐標(biāo)系下的坐標(biāo)。根據(jù)UE4場景中坐標(biāo)軸的變化，將儀表盤的相機(jī)坐標(biāo)轉(zhuǎn)換為本地坐標(biāo)。坐標(biāo)軸轉(zhuǎn)化如圖8所示。

圖8 坐標(biāo)軸轉(zhuǎn)化圖

如圖8所示，兩個(gè)坐標(biāo)系的原點(diǎn)都是相機(jī)，通過

(X1，Y1，Z1)=(Z，X，Y)

(15)

得到儀表盤本地坐標(biāo)。

列出部分坐標(biāo)轉(zhuǎn)換過程數(shù)值，如表2所示。

表2 坐標(biāo)轉(zhuǎn)換數(shù)值

UE4提供了藍(lán)圖函數(shù)Transform Location，可以將本地坐標(biāo)系的點(diǎn)轉(zhuǎn)換為世界坐標(biāo)系下的點(diǎn)。坐標(biāo)轉(zhuǎn)化藍(lán)圖如圖9所示，將獲取的攝像機(jī)在世界坐標(biāo)系下的三維坐標(biāo)、三維旋轉(zhuǎn)角度以及儀表盤的本地坐標(biāo)輸入到函數(shù)中，輸出的三維坐標(biāo)即儀表盤在世界坐標(biāo)系下的坐標(biāo)，賦值給虛擬儀表盤，即可有效實(shí)現(xiàn)虛擬儀表盤和真實(shí)儀表盤的實(shí)時(shí)對準(zhǔn)。

圖9 坐標(biāo)轉(zhuǎn)化藍(lán)圖

5 實(shí)驗(yàn)結(jié)果與結(jié)論

實(shí)驗(yàn)隨機(jī)取出總計(jì)30 s左右?guī)蕿?0幀/s的雙目視頻流，涵蓋了頭盔與合作目標(biāo)的多角度變化，通過搭建基于vs2019與OpenCV4.5的識別定位環(huán)境，得到1820幅1440×1600的圖像。

通過標(biāo)定軟件獲取每一幅圖像中合作目標(biāo)的坐標(biāo)，與通過經(jīng)典模板匹配6種算法得到的坐標(biāo)進(jìn)行誤差計(jì)算，得出1.1節(jié)方法4(標(biāo)準(zhǔn)相關(guān)匹配)誤差最小。通過增加自適應(yīng)識別匹配功能對方法4進(jìn)行改進(jìn)，改進(jìn)后誤差有效減小，但相對處理時(shí)間增幅較大，有待進(jìn)一步改進(jìn)。通過多個(gè)坐標(biāo)系的坐標(biāo)轉(zhuǎn)換，并通過UE4藍(lán)圖編程，實(shí)現(xiàn)了儀表盤的虛實(shí)配準(zhǔn)。得到相關(guān)虛實(shí)配準(zhǔn)參數(shù)，如表3所示。

表3 虛實(shí)配準(zhǔn)參數(shù)

目前為提高識別率，合作目標(biāo)選取得比較明顯，直接識別儀表盤的識別率不高，后期實(shí)際應(yīng)用中可以考慮開通實(shí)物座艙的儀表盤顯示，將儀表盤的顯示畫面中特征比較明顯的不變化因素作為合作目標(biāo)，會(huì)更好地提高實(shí)驗(yàn)虛實(shí)融合顯示效果。