基于LBP特征的多視點(diǎn)目標(biāo)分辨技術(shù)研究

孫維亞，陳科仲，李忠新，吳志林

(1.南京理工大學(xué) 機(jī)械工程學(xué)院，江蘇 南京 210094；2.陸裝裝駐重慶地區(qū)軍事代表局，重慶 400060)

0 引 言

戰(zhàn)爭的走向是一種多源信息的融合[1-2]，從戰(zhàn)場走向中能獲得更多作戰(zhàn)信息。在未來作戰(zhàn)中，多視點(diǎn)的應(yīng)用將會(huì)使得作戰(zhàn)部隊(duì)獲得更多的態(tài)勢信息，而在多視點(diǎn)條件下，己方單兵在各自的視點(diǎn)看到了一個(gè)敵方人員，這就需要進(jìn)行信息的交互來確定是否為同一個(gè)敵人。能夠分辨多視點(diǎn)中的目標(biāo)是否為同一目標(biāo)，作戰(zhàn)部隊(duì)就能清楚前方的目標(biāo)個(gè)數(shù)，這對(duì)我方作戰(zhàn)方式的決策有著重要的意義。在戰(zhàn)爭場景、戰(zhàn)場環(huán)境下，單兵往往因一些戰(zhàn)術(shù)動(dòng)作的需要或者由于戰(zhàn)場環(huán)境的限制，其姿態(tài)往往不能保持正常行人的姿態(tài)且部分戰(zhàn)術(shù)動(dòng)作可能保持一致，所以通過行人姿態(tài)并按照身軀進(jìn)行多尺度的行人重識(shí)別方法，往往不能滿足戰(zhàn)爭環(huán)境的需求。戰(zhàn)場中單兵所穿著的迷彩服，在形狀、顏色等方面也往往保持一致，很難通過顏色、形狀或大小等特征來進(jìn)行一致性判斷，所以需要針對(duì)目標(biāo)的有效信息進(jìn)行判斷。和人形姿態(tài)、軍裝顏色等特征不同，人臉檢測技術(shù)通過提取目標(biāo)的臉部特征信息進(jìn)而實(shí)現(xiàn)目標(biāo)人臉的檢測，該技術(shù)的算法很成熟，最常用的算法是基于Haar-like的人臉檢測，如賀瑜飛利用Haar特征并結(jié)合改進(jìn)的adaboost算法進(jìn)行人臉的檢測[3]，倪朋朋等人利用Haar-like和adaboost算法進(jìn)行車輛檢測算法研究[4]。在提取到目標(biāo)有效的信息后，需要對(duì)提取的信息進(jìn)行分析，而人臉的特征可以看作一種局部的紋理特征，每個(gè)人的面部特征都不同，所以可以利用人臉紋理進(jìn)行目標(biāo)的分辨，如張雪梅等人利用LBP和WLD算法識(shí)別人臉面部表情[5]，王強(qiáng)等人利用LBP和GLCM算法識(shí)別煤巖圖像[6]。綜上所述，本試驗(yàn)利用Haar-like人臉檢測算法和LBP紋理檢測算法進(jìn)行不同視點(diǎn)的目標(biāo)分辨試驗(yàn)。

1 試驗(yàn)算法原理

對(duì)于圖像特征的提取，通常是基于三種特征算法：Haar[7]、HOG[8]以及LBP[9-10]?；贖aar-like特征的目標(biāo)識(shí)別算法由Paul Viola和Michael jones提出[11-12]，該算法結(jié)合Adaboost[13]算法廣泛應(yīng)用于人臉檢測領(lǐng)域。LBP特征描述的側(cè)重點(diǎn)則是對(duì)圖像在局部范圍內(nèi)對(duì)應(yīng)的紋理信息，因此LBP特征檢測廣泛應(yīng)用于特定圖像的特征提取[14-15]等方面。

1.1 Haar-like算法原理

Haar-like目前常用的特征分為四類：邊緣特征、線型特征、中心特征、對(duì)角線特征。為了解決矩形特征計(jì)算量過大影響速度等問題，利用積分圖的方法獲取Haar-like特征，如圖1所示。ii(1)表示區(qū)域A的像素值，ii(2)表示區(qū)域A+B的像素值，ii(3)表示區(qū)域A+C的像素值，ii(4)表示區(qū)域A+B+C+D的像素值。D區(qū)域的像素值可用ii(1)+ii(2)+ii(3)+ii(4)。進(jìn)行Haar-like特征計(jì)算時(shí)，利用積分圖原理，在對(duì)某一區(qū)域的像素和計(jì)算時(shí)，只需要對(duì)特定的點(diǎn)進(jìn)行計(jì)算，所以在時(shí)間上會(huì)大大減少。

圖1 積分圖原理

在對(duì)圖像進(jìn)行特征值的計(jì)算后，利用adaboost算法[16]，實(shí)現(xiàn)對(duì)目標(biāo)的檢測。首先定義弱分類器，弱分類器是由單個(gè)Haar特征值組成，adaboost算法對(duì)其進(jìn)行訓(xùn)練。弱分類器定義為：

式中，pj保證方向的不變，θj為閾值，fj(x)為提取的特征值。

強(qiáng)分類器由許多弱分類器組成，其訓(xùn)練過程首先取樣本，將權(quán)值初始化，進(jìn)行循環(huán)，對(duì)權(quán)重歸一化，訓(xùn)練每一個(gè)特征值，并選取最低誤差的分類器，更新權(quán)重，達(dá)到循環(huán)次數(shù)后為最終的分類器。多個(gè)強(qiáng)分類器組成級(jí)聯(lián)分類器。本試驗(yàn)利用Haar-like算法和adaboost算法實(shí)現(xiàn)對(duì)視點(diǎn)中目標(biāo)的檢測。

1.2 LBP原理

原始的LBP[17]算子定義像素在三階矩陣?yán)?，其原理為將圖像中心像素及其鄰域?qū)?yīng)的像素進(jìn)行比較，大于圖像的中心像素則記1，反之記0，從而得到二進(jìn)制數(shù)字，計(jì)算公式如下：

式中，(xc,yc)為中心像素的坐標(biāo)，p為鄰域的第p個(gè)像素，ip為鄰域像素的灰度值，ic為中心像素的灰度值，S(x)為符號(hào)函數(shù)。

由于原始的LBP特征在特定的區(qū)域內(nèi)，不能很好地滿足使用要求，且圖像存在旋轉(zhuǎn)，所以采用圓形LBP特征代替正方形鄰域，并不斷旋轉(zhuǎn)圓形LBP特征，每旋轉(zhuǎn)一次會(huì)獲得一個(gè)新的LBP算子,從這些特征算子中選取最小的作為中心像素的LBP特征算子。本試驗(yàn)利用LBP算法對(duì)視點(diǎn)中的目標(biāo)進(jìn)行紋理計(jì)算。

2 試驗(yàn)流程

本試驗(yàn)主要包括三個(gè)部分：目標(biāo)采集系統(tǒng)、測試程序和人臉數(shù)據(jù)集。利用光電感知系統(tǒng)采集視點(diǎn)中出現(xiàn)的目標(biāo)，經(jīng)過測試程序檢測計(jì)算，與人臉數(shù)據(jù)集進(jìn)行一致性判斷，實(shí)現(xiàn)對(duì)視點(diǎn)中目標(biāo)的分辨。

圖2 試驗(yàn)流程

2.1 目標(biāo)采集系統(tǒng)

本試驗(yàn)利用光電感知系統(tǒng)對(duì)視場中的目標(biāo)進(jìn)行采集。其主控開發(fā)板為stm32H743系列，是一個(gè)工作頻率可高達(dá)480 MHz的ARM Cortex M7控制器，并嵌入感光元件模組，即攝像系統(tǒng)，視場大小可達(dá)到640×480。將此模塊與計(jì)算機(jī)進(jìn)行交互，能夠?qū)崟r(shí)顯示視點(diǎn)前方的視場。

2.2 測試程序邏輯

本試驗(yàn)測試程序采用python語言編寫，當(dāng)光電感知模塊與計(jì)算機(jī)交互并顯示采集的視場圖像后，初始化該系統(tǒng)的攝像模塊并進(jìn)行灰度處理，當(dāng)目標(biāo)出現(xiàn)在視場當(dāng)中，調(diào)用人臉檢測模塊，即利用Haar-like算法進(jìn)行檢測并標(biāo)記目標(biāo)的ROI區(qū)域，計(jì)算其區(qū)域坐標(biāo)，再調(diào)用紋理檢測模塊，即利用LBP算法計(jì)算該目標(biāo)的ROI區(qū)域坐標(biāo)范圍內(nèi)的紋理特征。視場中目標(biāo)檢測的ROI區(qū)域如圖3所示，該區(qū)域頂點(diǎn)坐標(biāo)為A(x,y),長和寬分別為w和h，所以ROI區(qū)域范圍為(x,y,w,h)，完成該區(qū)域范圍的計(jì)算后進(jìn)行紋理計(jì)算。

圖3 ROI區(qū)域示意圖

完成上述的計(jì)算后，將計(jì)算結(jié)果與人臉數(shù)據(jù)集進(jìn)行目標(biāo)一致性判斷。本試驗(yàn)?zāi)繕?biāo)一致性判斷依據(jù)為：在完成對(duì)視場中目標(biāo)檢測圖像的LBP特征計(jì)算后，對(duì)其LBP特征圖像進(jìn)行分塊，將每個(gè)塊區(qū)域的特征圖像進(jìn)行直方圖計(jì)算，按照一定的順序形成LBP特征的統(tǒng)計(jì)直方圖，并與數(shù)據(jù)集中每組圖像的每張圖像的LBP特征的統(tǒng)計(jì)直方圖進(jìn)行卡方計(jì)算，計(jì)算結(jié)果越小，一致性程度越高。在不同視點(diǎn)的檢測下，輸出的最低特征差異度值所對(duì)應(yīng)的數(shù)據(jù)集編號(hào)若一致，則判定為同一目標(biāo)。其卡方計(jì)算公式如下：

式中，H1,H2分別表示圖像的直方圖數(shù)據(jù)。

利用一致性判斷函數(shù)進(jìn)行計(jì)算，輸出視點(diǎn)中目標(biāo)與每組數(shù)據(jù)集的每張圖像誤差累積和，根據(jù)目標(biāo)一致性判斷依據(jù)，輸出測試結(jié)果。

2.3 建立人臉數(shù)據(jù)集

本試驗(yàn)制作人臉數(shù)據(jù)集，用于和視場中檢測到的目標(biāo)進(jìn)行一致性判斷。不同的人臉狀態(tài)均可作為一個(gè)數(shù)據(jù)，例如笑臉哭臉，戴眼鏡或不戴眼鏡等狀態(tài)，每組數(shù)據(jù)采集20張圖像，圖像大小保存為110×94。部分人臉數(shù)據(jù)集圖像如圖4所示，對(duì)應(yīng)每組數(shù)據(jù)編號(hào)為1到5。

圖4 部分人臉數(shù)據(jù)集圖像

3 算法試驗(yàn)結(jié)果與分析

本試驗(yàn)設(shè)定兩個(gè)不同方位視點(diǎn)的目標(biāo)檢測裝置，當(dāng)目標(biāo)出現(xiàn)在視場范圍內(nèi)，不同視點(diǎn)進(jìn)行目標(biāo)圖像的采集。首先利用Haar-like算法進(jìn)行檢測并標(biāo)記目標(biāo)的ROI區(qū)域，計(jì)算標(biāo)記的ROI區(qū)域坐標(biāo)。將此區(qū)域坐標(biāo)作為LBP特征檢測的計(jì)算范圍。每個(gè)視點(diǎn)檢測的結(jié)果與人臉數(shù)據(jù)集進(jìn)行一致性計(jì)算，最終輸出與視場中目標(biāo)特征最匹配的編號(hào)。下面是兩組試驗(yàn)數(shù)據(jù)，兩組試驗(yàn)不同視點(diǎn)采集的目標(biāo)圖像如圖5～圖7所示，ROI區(qū)域范圍見表1、3、5，一致性計(jì)算結(jié)果見表2、4、6。

圖7 試驗(yàn)二不同視點(diǎn)采集目標(biāo)圖像

表1 組1檢測ROI區(qū)域坐標(biāo)

表2 組1目標(biāo)一致性計(jì)算結(jié)果

圖5 試驗(yàn)一不同視點(diǎn)采集目標(biāo)圖像組1

(一)試驗(yàn)一：不同視點(diǎn)對(duì)同一目標(biāo)進(jìn)行檢測識(shí)別。

表中：x，y為ROI區(qū)域左上方頂點(diǎn)橫縱坐標(biāo)，w，h分別為ROI區(qū)域的寬和高。

圖6 試驗(yàn)一不同視點(diǎn)采集目標(biāo)圖像組2

表3 組2檢測ROI區(qū)域坐標(biāo)

表4 組1目標(biāo)一致性計(jì)算結(jié)果

(二)試驗(yàn)二：不同視點(diǎn)對(duì)不同目標(biāo)檢測識(shí)別。

表5 試驗(yàn)二不同視點(diǎn)ROI區(qū)域坐標(biāo)

由表1、3、5可知，試驗(yàn)一不同視點(diǎn)輸出檢測的ROI區(qū)域坐標(biāo)分別為(1,22,54,54)和(0,0,81,81)，(1,1,91,91)和(5,23,81,81)；試驗(yàn)二不同視點(diǎn)輸出檢測的ROI坐標(biāo)區(qū)域?yàn)?20,16,54,54)和(12,7,67,67)。試驗(yàn)結(jié)果表明，視場中出現(xiàn)的目標(biāo)能夠?qū)崿F(xiàn)檢測并能準(zhǔn)確計(jì)算出視場中目標(biāo)的ROI區(qū)域坐標(biāo)。

表6 試驗(yàn)二目標(biāo)一致性計(jì)算結(jié)果

兩組試驗(yàn)中，不同視點(diǎn)檢測的數(shù)據(jù)與人臉數(shù)據(jù)集進(jìn)行一致性計(jì)算結(jié)果如表2、4、6所示，可以看出試驗(yàn)一中，組1、組2一致性計(jì)算結(jié)果的最小值分別為7 688和6 643，6 365和6 389，對(duì)應(yīng)輸出的人臉數(shù)據(jù)編號(hào)分別為1和4，根據(jù)目標(biāo)分辨的判斷依據(jù)，不同視點(diǎn)檢測到的目標(biāo)為同一目標(biāo)；試驗(yàn)二中，一致性計(jì)算結(jié)果的最小值分別為7 109和6 881，對(duì)應(yīng)輸出的人臉數(shù)據(jù)編號(hào)分別為3和1，根據(jù)目標(biāo)分辨的判斷依據(jù)，不同視點(diǎn)檢測到的目標(biāo)為不同目標(biāo)。

本試驗(yàn)將Haar-like人臉檢測算法和LBP紋理檢測算法結(jié)合，進(jìn)行不同視點(diǎn)的目標(biāo)分辨，單一的LBP檢測方法會(huì)考慮視場中出現(xiàn)的整體目標(biāo)進(jìn)行檢測，并且包含一些背景信息，而本試驗(yàn)方法首先提取目標(biāo)的有效信息，以有效的信息區(qū)域?yàn)榛A(chǔ)再進(jìn)行紋理檢測，排除了一些背景信息的干擾。針對(duì)Haar-like算法和LBP算法組合檢測的識(shí)別精度，將該方法與單一的LBP檢測方法進(jìn)行對(duì)比。分別利用Haar-like+LBP和LBP算法對(duì)視點(diǎn)中出現(xiàn)的目標(biāo)進(jìn)行識(shí)別測試，測試實(shí)驗(yàn)對(duì)五組數(shù)據(jù)集的每組目標(biāo)進(jìn)行十次測試，共五十次測試，測試結(jié)果如表7所示。結(jié)果表明，本試驗(yàn)設(shè)計(jì)的試驗(yàn)方法有效地提高了對(duì)視點(diǎn)中目標(biāo)的識(shí)別精度。

表7 兩組方法識(shí)別結(jié)果

針對(duì)不同視點(diǎn)能否判斷該目標(biāo)為同一目標(biāo)，本試驗(yàn)基于Haar-like和LBP算法進(jìn)行測試。為了驗(yàn)證該方法的有效性，進(jìn)行30次一致性判斷測試。如圖8和9所示，橫坐標(biāo)為測試次數(shù)，縱坐標(biāo)為每次測試所對(duì)應(yīng)的目標(biāo)編號(hào)，兩組圖分別為視點(diǎn)1，視點(diǎn)2實(shí)際檢測的目標(biāo)。測試結(jié)果如圖10所示，方框點(diǎn)為正確識(shí)別，圓點(diǎn)為錯(cuò)誤識(shí)別，30組測試試驗(yàn)中，有四組未能正確判斷不同視點(diǎn)目標(biāo)是否一致，正確判斷率達(dá)到86.7%。

圖9 視點(diǎn)2實(shí)際測試目標(biāo)類別

圖10 一致性判斷測試識(shí)別結(jié)果

4 結(jié)束語

針對(duì)未來作戰(zhàn)戰(zhàn)場，設(shè)計(jì)了在不同視點(diǎn)下對(duì)檢測到的目標(biāo)進(jìn)行分辨的試驗(yàn)方法，即利用光電感知系統(tǒng)采集視場中出現(xiàn)的目標(biāo)，利用Haar-like算法檢測并標(biāo)記視場中目標(biāo)的ROI區(qū)域，計(jì)算其區(qū)域的坐標(biāo)，再利用LBP特征算法對(duì)此區(qū)域進(jìn)行特征提取，將提取結(jié)果與數(shù)據(jù)集進(jìn)行計(jì)算，根據(jù)一致性判斷依據(jù)進(jìn)行目標(biāo)的分辨。試驗(yàn)結(jié)果表明，該方法對(duì)視場中出現(xiàn)的目標(biāo)有較好的檢測效果且能輸出目標(biāo)的ROI區(qū)域坐標(biāo)；通過兩組試驗(yàn)、精度對(duì)比試驗(yàn)和一致性判斷測試可知，該方法能夠分辨出不同視點(diǎn)的目標(biāo)，并具有較高的目標(biāo)分辨率。不同視點(diǎn)的目標(biāo)分辨技術(shù)研究，為我軍在未來作戰(zhàn)戰(zhàn)場獲取戰(zhàn)場信息提供了方法，同時(shí)對(duì)作戰(zhàn)過程中信息的融合有重要的意義。