基于LBP-PCA的多傳感器目標(biāo)識(shí)別算法*

宋建輝，張俊，劉硯菊，于洋

（沈陽理工大學(xué)自動(dòng)化與電氣工程學(xué)院，沈陽110159）

基于LBP-PCA的多傳感器目標(biāo)識(shí)別算法*

宋建輝，張俊，劉硯菊，于洋

（沈陽理工大學(xué)自動(dòng)化與電氣工程學(xué)院，沈陽110159）

為了更加有效地提高多傳感器圖像融合后的識(shí)別率，提出一種基于LBP-PCA的多傳感器目標(biāo)識(shí)別算法。首先分別對(duì)紅外和可見光圖像進(jìn)行預(yù)處理用以突顯出要識(shí)別的目標(biāo)，采用LBP算法提取目標(biāo)的特征點(diǎn)向量，利用PCA算法進(jìn)行特征融合，得到降維后的融合特征，最后利用SVM（支持向量機(jī)）進(jìn)行分類和識(shí)別。實(shí)驗(yàn)仿真結(jié)果表明多傳感器目標(biāo)經(jīng)過LBP-PCA融合后在保持足夠數(shù)量的有效信息基礎(chǔ)上降低了特征的維數(shù)，有效地提高了目標(biāo)識(shí)別率。

LBP，PCA，多傳感器，目標(biāo)識(shí)別

0 引言

紅外探測(cè)技術(shù)和紅外圖像制導(dǎo)在當(dāng)今世界各國(guó)軍事應(yīng)用中已經(jīng)成為重點(diǎn)研究和發(fā)展的方向之一，其技術(shù)關(guān)鍵在于從復(fù)雜的背景和干擾信號(hào)中識(shí)別出所需要的目標(biāo)?，F(xiàn)在戰(zhàn)場(chǎng)一般包括海陸空3個(gè)環(huán)境，目前國(guó)內(nèi)學(xué)者主要對(duì)飛機(jī)［1］和艦船［2］類目標(biāo)的識(shí)別進(jìn)行研究，而對(duì)地面目標(biāo)的識(shí)別研究較少。坦克屬于裝甲車輛的一種，由于條件有限，所以本文主要對(duì)車輛圖像識(shí)別進(jìn)行研究用以類比坦克目標(biāo)。

模式識(shí)別的核心技術(shù)就是特征提取與分類。國(guó)內(nèi)外學(xué)者在特征提取方面已進(jìn)行了大量的研究，提出了一些比較好的適用于不同圖像的特征提取方法［3-5］。這些方法彌補(bǔ)了一般性圖像目標(biāo)特征提取的不足，但是仍存在著提取出的特征在平移、旋轉(zhuǎn)、光照等變化下沒有很好的不變性等問題。因此，需要新的特征提取方法來彌補(bǔ)。2004年David G.Lowe提出了基于尺度不變特征變換（SIFT）的特征提取算法［6-7］，它對(duì)于不同場(chǎng)景、不同光照、不同幾何形狀變換都具有較強(qiáng)的穩(wěn)定性，然而存在匹配成功點(diǎn)數(shù)目較少、速度慢等缺點(diǎn)，具有特定的應(yīng)用目的和背景。而LBP［8］（Local Binary Pattern，局部二值模式）是一種用來描述圖像局部紋理特征的算子，它具有旋轉(zhuǎn)不變性和灰度不變性等顯著的優(yōu)點(diǎn)。它是首先由T.Ojala，M.Pietik?inen和D.Harwood［9］在1994年提出，用于紋理特征提取。

多傳感器圖像融合［10］是指針對(duì)多個(gè)傳感器采集的關(guān)于同一目標(biāo)或場(chǎng)景的圖像進(jìn)行適當(dāng)?shù)奶幚恚a(chǎn)生一幅新的圖像，使之更適合人眼感知或計(jì)算機(jī)后續(xù)處理。多傳感器圖像融合始于20世紀(jì)70年代后期，由Tenney和Sandell［11］提出的，是多傳感器信息融合的一個(gè)重要分支。

本文主要研究紅外傳感器與可見光傳感器圖像目標(biāo)識(shí)別技術(shù)。對(duì)車輛的紅外圖像和可見光圖像進(jìn)行LBP特征提取，組成特征向量后進(jìn)行PCA融合，降低特征向量的維數(shù)得到融合特征，最后利用支持向量機(jī)進(jìn)行目標(biāo)的分類和識(shí)別。

1 基于LBP-PCA的特征融合目標(biāo)識(shí)別算法

基于LBP-PCA多傳感器目標(biāo)識(shí)別算法研究的過程為：對(duì)待識(shí)別紅外和可見光的圖像分別進(jìn)行預(yù)處理；提取目標(biāo)的LBP特征；進(jìn)行特征向量的歸一化；PCA特征融合；利用支持向量機(jī)進(jìn)行分類和識(shí)別。目標(biāo)識(shí)別流程圖如圖1所示。

圖1 目標(biāo)識(shí)別流程圖

1.1 建立圖像樣本庫(kù)

本文研究的圖像目標(biāo)為車輛，利用FLIR紅外熱像儀采集到車輛的不同角度、不同光照下、不同距離等條件下的200組紅外與可見光圖像構(gòu)成圖像樣本庫(kù)。圖2為樣本庫(kù)中的一組圖像。

圖2 樣本庫(kù)中的一組圖像

1.2 目標(biāo)特征的提取

比較分析紅外成像傳感器和可見光成像傳感器成像原理可知，紅外圖像整體只反映出目標(biāo)場(chǎng)景的輪廓特征，細(xì)節(jié)信息不豐富，而可見光圖像目標(biāo)場(chǎng)景細(xì)節(jié)信息豐富。然而LBP特征對(duì)移動(dòng)、旋轉(zhuǎn)、噪聲、縮放、遮擋等圖像變換均具有較強(qiáng)的適應(yīng)能力。所以分別提取可見光圖像目標(biāo)和紅外圖像目標(biāo)的LBP特征組成特征向量y=（φ1，φ2），其中φ1紅外圖像的LBP特征向量，φ2為可見光提取的LBP特征向量。則寫出訓(xùn)練樣本矩陣：Y=（y1，y2，…，yN）T，其中向量y為第i組圖像的特征向量組成的列向量，N為訓(xùn)練集樣本個(gè)數(shù)。

1.3 特征向量的歸一化

對(duì)特征向量Y=（y1，y2，…，yN）T進(jìn)行歸一化，使各個(gè)分量的數(shù)量級(jí)接近一致。

1.4 基于PCA的特征融合

求取歸一化后的特征向量Y=（y1，y2，…，yN）T的協(xié)方差矩陣Cy，根據(jù)PCA的原理，對(duì)Cy進(jìn)行特征分解，得到特征值和特征向量。根據(jù)特征值的貢獻(xiàn)率選取前p個(gè)最大特征向量及其對(duì)應(yīng)的特征向量。其中貢獻(xiàn)率是指每一維數(shù)據(jù)對(duì)于區(qū)分整個(gè)數(shù)據(jù)的貢獻(xiàn)，貢獻(xiàn)最大的顯然是主成分，第二大的是次主成分，以此類推。貢獻(xiàn)率等于選取的特征值的和與所有特征值的和比，即

一般取φ=99%，即訓(xùn)練樣本在前p個(gè)向量集上的投影有99%的能量。

設(shè)原協(xié)方差矩陣的特征向量為αi，則特征空間為：

將每一幅樣本圖像歸一化后的特征向量投影特征空間如式（3），即融合特征。

1.5 分類器

針對(duì)PCA融合特征數(shù)據(jù)，本文選用臺(tái)灣大學(xué)林智仁教授開發(fā)的libsvm軟件包完成分類工作。

2 實(shí)驗(yàn)結(jié)果與分析

從樣本庫(kù)中選取55組車輛紅外與可見光圖像進(jìn)行試驗(yàn)，分別提取圖像的LBP特征組成特征向量，根據(jù)PCA降維的原理得到融合特征。分別對(duì)紅外和可見光圖像進(jìn)行預(yù)處理。下頁(yè)圖3為其中的一組圖像的預(yù)處理過程。

圖3 紅外與可見光圖像預(yù)處理

提取出預(yù)處理后目標(biāo)的LBP特征向量，歸一化后進(jìn)行PCA融合。計(jì)算前12個(gè)主成分的貢獻(xiàn)率以及特征值的累積貢獻(xiàn)率，結(jié)果如表1所示，其中F1是“信息最多”的指標(biāo)，稱為第1主成分；F2為信息第2多的指標(biāo)，稱為第2主成分，以此類推。

通過PCA特征數(shù)據(jù)融合得到的各主成分的貢獻(xiàn)率如表1所示，累計(jì)貢獻(xiàn)率的分析如圖4和圖5所示。從表1和圖4可以看出經(jīng)過PCA特征融合后的特征向量大于等于9維時(shí)，特征向量的累積貢獻(xiàn)率不再發(fā)生變化，充分說明PCA融合后的9維向量可以99.013 1%的表示融合前的59維特征向量。當(dāng)貢獻(xiàn)率設(shè)為99%時(shí)特征的主成分個(gè)數(shù)為9個(gè)，實(shí)現(xiàn)了特征量的有效降維。

表1 前12個(gè)主成分的貢獻(xiàn)率以及特征值的累積貢獻(xiàn)率

圖4 各主成分累計(jì)貢獻(xiàn)率

圖5 各主成分方差的pareto圖

PCA降維后所選維數(shù)為9維，因此，本文自行選擇5維到18維融合向量與其進(jìn)行對(duì)比試驗(yàn)，分別使用支持向量機(jī)進(jìn)行識(shí)別，通過計(jì)算不同樣本數(shù)20、40、50、60、80個(gè)樣本對(duì)應(yīng)的識(shí)別率，求取其平均數(shù)作為最終識(shí)別率。不同維數(shù)對(duì)應(yīng)的識(shí)別率可以由圖6所示。

圖6 不同維度對(duì)應(yīng)識(shí)別率

由圖6可以看出，隨著樣本數(shù)的增加識(shí)別率基本呈現(xiàn)上升趨勢(shì)，但由PCA所選的9維識(shí)別率最高，13維后識(shí)別率有上升的趨勢(shì)，但是隨著維數(shù)的增加計(jì)算時(shí)間也會(huì)增加，所以由PCA所選的9維向量為最優(yōu)。

傳統(tǒng)串聯(lián)法，即將紅外與可見光車輛圖片的LBP特征向量串聯(lián)不經(jīng)過PCA降維直接進(jìn)行識(shí)別。和PCA融合法兩種特征融合的效果進(jìn)行比較，如表2所示。

表2 兩種算法特征維數(shù)以及識(shí)別率的比較

由表2中的實(shí)驗(yàn)數(shù)據(jù)可以看出：傳統(tǒng)串聯(lián)法雖然特征維數(shù)多，但識(shí)別率相對(duì)較低，這是因?yàn)樘卣髦g存在冗余，影響了識(shí)別的準(zhǔn)確率；而基于PCA的紅外與可見光圖像特征融合方法，在沒有降低識(shí)別率的同時(shí)降低了維數(shù)節(jié)省了時(shí)間。

本文對(duì)同一組紅外與可見光車輛圖片提取SIFT特征進(jìn)行PCA融合實(shí)驗(yàn)與本文的LBP-PCA算法進(jìn)行比較，如表3所示。

表3 兩種算法融合維數(shù)以及識(shí)別率的比較

提取預(yù)處理后圖像的特征向量，對(duì)于SIFT特征而言，每幅圖有很多個(gè)特征點(diǎn)，每個(gè)特征點(diǎn)又有一個(gè)相應(yīng)的描述該特征點(diǎn)的128維向量，對(duì)于55組車輛的紅外和可見光圖片提取的SIFT特征的特征點(diǎn)可達(dá)到27 825維，即使進(jìn)行PCA降維后，融合特征維數(shù)仍然可以達(dá)到3 852維。所以降維效果沒有LBP-PCA好，識(shí)別率也不及本文所選算法高。

3 結(jié)論

多傳感器提取出的特征向量數(shù)據(jù)具有巨大性、復(fù)雜性和冗余性等特點(diǎn)，而目標(biāo)識(shí)別要求對(duì)信息進(jìn)行實(shí)時(shí)處理，對(duì)信息綜合處理能力要求很高。實(shí)驗(yàn)結(jié)果證明，LBP特征具有良好的旋轉(zhuǎn)不變性和灰度不變性，而主成分分析可以從一個(gè)高維空間中的大量數(shù)據(jù)中提取主要的特征，利用LBP-PCA多傳感器目標(biāo)識(shí)別算法可以克服傳統(tǒng)圖像融合中數(shù)據(jù)過大、運(yùn)行時(shí)間過長(zhǎng)等問題，在實(shí)現(xiàn)實(shí)時(shí)檢測(cè)的同時(shí)提高了目標(biāo)的識(shí)別率。

［1］高中義.基于形狀特征的圖像分析算法研究［D］.長(zhǎng)春：吉林大學(xué)，2005：34-51.

［2］韓軍利.紅外圖像目標(biāo)識(shí)別技術(shù)研究［D］.南京：南京理工大學(xué)，2004：40-52.

［3］尹德進(jìn)，王宏力，周志杰.基于D-S證據(jù)理論的多傳感器目標(biāo)識(shí)別信息融合方法［J］.四川兵工學(xué)報(bào)，2011，32（4）: 56-58.

［4］YANG L，JIN R，MUMMERt L，et al.A boosting framewaork for visuality-preserving distance metric learning and its application to medical image retrieval［J］.Pattern Analysis and Machine Intelligence，IEEE Transactions on，2010，32（1）：30-44.

［5］SU J H，HUANG W J，YU P S，et al.Efficient relevance feedback for content-based image retrieval by mining user navigation patterns［J］.Knowledge and Data Engineering，IEEE Transactions on，2011，23（3）：360-372.

［6］張小洪，李博，楊丹.一種新的Harris多尺度角點(diǎn)檢測(cè)［J］.電子與信息學(xué)報(bào)，2007，29（7）：1735-1738.

［7］LOWE D G.Distinctive image features from scale-invariant keypoints［J］.International journal of computer vision，2004，60（2）：91-110.

［8］OJALA T，PIETIK?INEN M，HARWOOD D.A comparative study of texture measures with classification based on featured distributions［J］.Pattern recognition，1996，29（1）：51-59.

［9］OJALA T，PIETIK?INEN M，M?ENP?? T.Multiresolution gray-scale and rotation invariant texture classification with local binary patterns［J］.Pattern Analysis and Machine Intelligence，IEEE Transactions on，2002，24（7）：971-987.

［10］TENNEY R R，SANDELL Jr N R.Detection with distributed sensors［J］.IEEE Transactions on Aerospace Electronic Systems，1981，17（4）：501-510.

［11］李瓊，楊曉祥.多傳感器數(shù)據(jù)融合模型的研究［J］.計(jì)算機(jī)與現(xiàn)代化，2013（4）：158-161.

Research on Algorithm of Multi Sensor Target Recognition Based on LBP-PCA

SONG Jian-hui，ZHANG Jun，LIU Yan-ju，YU Yang
（School of Automation and Electrical Engineering，Shenyang ligong University，Shenyang 110159，China）

In order to improve the recognition rate of multi sensor image fusion，a multi sensor target recognition algorithm based on LBP-PCA is proposed.First，infrared and visible light images were preprocessed respectively.It is used to highlight the object to be recognized and using PCA algorithm to feature fusion，then the feature of dimension reduction is obtained.Finally，the fusion feature is classified and identified by using SVM（Support Vector Machine）.Experimental simulation results show that the multi sensor images based on LBP-PCA fusion can reduce the dimension of the feature and improve the efficiency of target recognition.

LBP，PCA，multi sensor，object recognition

TP391

A

1002-0640（2017）02-0060-04

2016-01-05

2016-02-07

遼寧省教育廳基金（L2014079）；遼寧省自然科學(xué)基金資助項(xiàng)目（201602652）

宋建輝（1981-），女，山東諸城人，副教授，博士研究生。研究方向：信息融合、智能傳感器、光電檢測(cè)技術(shù)。