賈 偉,張 清,席慶彪,,劉慧霞
1.西北工業(yè)大學(xué) 第365研究所,西安 710065
2.西北工業(yè)大學(xué) 自動(dòng)化學(xué)院,西安 710072
基于SURF的UAV快速目標(biāo)識(shí)別算法
賈 偉1,張 清2,席慶彪1,2,劉慧霞1
1.西北工業(yè)大學(xué) 第365研究所,西安 710065
2.西北工業(yè)大學(xué) 自動(dòng)化學(xué)院,西安 710072
偵察和監(jiān)視是UAV的首要任務(wù),隨著UAV技術(shù)的不斷發(fā)展,UAV自動(dòng)目標(biāo)識(shí)別已經(jīng)成為一個(gè)研究熱點(diǎn)。在高技術(shù)條件下的局部戰(zhàn)爭(zhēng)中,高效快速地識(shí)別特定目標(biāo)有利于作戰(zhàn)指揮員實(shí)時(shí)把握敵方動(dòng)態(tài)進(jìn)行決策分析并迅速做出反應(yīng)贏得戰(zhàn)爭(zhēng)的勝利。因此利用UAV進(jìn)行航空偵察,快速地發(fā)現(xiàn)特定目標(biāo),有助于在現(xiàn)代戰(zhàn)爭(zhēng)中獲取信息主導(dǎo)權(quán)。
UAV快速目標(biāo)識(shí)別算法的實(shí)時(shí)性和魯棒性主要依賴于特征點(diǎn)的選取。好的特征點(diǎn)需要滿足獨(dú)特性、局部性、準(zhǔn)確性、高效性以及不變性和魯棒性。
目前的飛機(jī)目標(biāo)識(shí)別算法中用到的特征點(diǎn)主要有基于Hausdorff距離的邊緣特征、序貫相似性檢測(cè)算法(SSDA)、不變矩特征、角點(diǎn)特征和基于模型的方法等。文獻(xiàn)[1]提出了基于Hausdorff距離的方法識(shí)別飛機(jī),實(shí)時(shí)性較強(qiáng),但算法對(duì)目標(biāo)尺度變化較大的情況魯棒性不強(qiáng),還需要引入仿射變換等方法以提高匹配性能。文獻(xiàn)[2]和文獻(xiàn)[3]提出了基于不變矩的飛機(jī)識(shí)別算法,該算法能成功識(shí)別扭曲變形的飛機(jī)目標(biāo),但是忽略了復(fù)雜的背景以及噪聲的干擾,在存在較大噪聲干擾的情況下適用性不強(qiáng)。文獻(xiàn)[2]提出了結(jié)合閉合輪廓和部分特征的飛機(jī)識(shí)別算法,但要求遙感圖像的分辨率較高以便能提取目標(biāo)完整的輪廓用于下一步的識(shí)別,而實(shí)際的UAV系統(tǒng)遙感圖像分辨率一般難以達(dá)到。文獻(xiàn)[4]提出了采用角點(diǎn)特征和自適應(yīng)核聚類算法,算法魯棒性較強(qiáng),但由于計(jì)算復(fù)雜,很難滿足實(shí)時(shí)性的要求。
綜上所述,現(xiàn)有的目標(biāo)識(shí)別方法存在實(shí)時(shí)性欠缺的問題,兼具實(shí)時(shí)性和魯棒性的偵察目標(biāo)識(shí)別方法對(duì)UAV在軍事方面的運(yùn)用至關(guān)重要,雖然可以在獲取圖像后進(jìn)行后續(xù)的識(shí)別,但是,這將限制UAV在實(shí)時(shí)偵察中的應(yīng)用,可以實(shí)時(shí)地在UAV偵察圖像中識(shí)別出目標(biāo)的位置,將極大地拓寬UAV在軍事、救災(zāi)中的應(yīng)用。
目標(biāo)識(shí)別的關(guān)鍵是找出目標(biāo)圖像和模板之間對(duì)應(yīng)的特征點(diǎn)。在常規(guī)的識(shí)別中不變矩的魯棒性較差,SIFT算法的魯棒性好,但是數(shù)據(jù)量大、計(jì)算耗時(shí)長,對(duì)于UAV目標(biāo)識(shí)別的實(shí)時(shí)性不利,本文采用的SURF描述子,它是一種基于積分圖像的特征描述子,該描述子是在SIFT的基礎(chǔ)上進(jìn)行改進(jìn)的,具有尺度和旋轉(zhuǎn)不變性以及較好的可靠性、可區(qū)分性和魯棒性,并具有較快的計(jì)算速度。
另外UAV偵察圖像的空間分辨率較大,而具有軍事意義的目標(biāo)一般只占據(jù)較小的一塊區(qū)域。針對(duì)這種情況,本文提出一種先對(duì)圖像進(jìn)行預(yù)處理,提取出可能包含目標(biāo)的感興趣區(qū)域(ROI),縮小搜索空間,然后采用基于SURF算法的UAV偵察目標(biāo)識(shí)別算法進(jìn)行識(shí)別。
對(duì)于UAV偵察獲取的圖像 F(x,y),其中 x∈[0,m],y∈[0,n],假設(shè)存在目標(biāo)T(x,y),滿足式(1):
利用模板圖像 M(x,y),其中 x∈[0,a],y∈[0,b],且a<m,b<n,在尋找 F(x,y)中尋找目標(biāo)T(x,y)的空間坐標(biāo)d(x,y)。
首先,對(duì)偵察圖像進(jìn)行預(yù)處理,利用不變矩構(gòu)造相似性函數(shù),作為遺傳算法的適應(yīng)度函數(shù),然后采用遺傳算法在F(x,y)中進(jìn)行全局搜索,快速地找出可能包含目標(biāo)的ROI區(qū)域FROI。
然后提取FROI和M(x,y)的SURF特征點(diǎn),采用最近鄰匹配算法進(jìn)行匹配,從而精確確定目標(biāo)的位置。
本文算法的基本框架如圖1所示。
圖1 本文算法框架圖
2.1 UAV偵察圖像預(yù)處理設(shè)計(jì)
UAV偵察圖像普遍存在圖像的空間分辨率較大,而實(shí)際所關(guān)心的目標(biāo)只在圖像中占據(jù)很小一部分的區(qū)域[5-6],如果能夠通過預(yù)處理快速的定位可能存在目標(biāo)的區(qū)域(ROI),縮小搜索區(qū)域的空間分辨率,然后在ROI區(qū)域中精確地搜索,便可以有效地減小識(shí)別的計(jì)算量,一方面可以有效地提高搜索的實(shí)時(shí)性,另一方面還可以對(duì)提取的ROI采用性能魯棒的算法,進(jìn)一步提高算法魯棒性。
2.1.1 基于不變矩的適應(yīng)度函數(shù)設(shè)計(jì)
考慮到不變矩特征[7]具有一定的旋轉(zhuǎn)、伸縮、灰度不變性以及計(jì)算速度快的特點(diǎn),采用不變矩構(gòu)造相似性衡量函數(shù),作為下一步預(yù)處理中遺傳算法的適應(yīng)度函數(shù)。
本文采用7個(gè)HU矩構(gòu)造的適應(yīng)度函數(shù)如式(2)所示:
其中 f(xi,yj)表示以(xi,yj)為第一個(gè)點(diǎn),以M(x,y)的空間分辨率為大小提取的區(qū)域,和被定義為:
2.1.2 基于遺傳算法的ROI區(qū)域提取:
采用式(2)作為遺傳算法的適應(yīng)度函數(shù),利用遺傳算法[8]的全局搜索能力和計(jì)算速度快的優(yōu)點(diǎn)進(jìn)行ROI提取。
為了獲得更好的匹配效果并簡(jiǎn)化計(jì)算,考慮先用canny算子對(duì)目標(biāo)圖像F(x,y)和模板M(x,y)進(jìn)行邊緣提取,得到F1(x,y)和M1(x,y)。
先在 F1(x,y)中隨機(jī)生成種群數(shù)為 m1的群體,i=1,2,…,m ,以其中的每個(gè)個(gè)體的空間坐標(biāo)進(jìn)行二進(jìn)制編碼。例如,一個(gè)在(255,255)(本文所使用的圖像的空間分辨率小于1 024×1 024,個(gè)體的二進(jìn)制編碼為10位)處的個(gè)體的編碼如圖2所示。
圖2 個(gè)體編碼圖
利用遺傳算法進(jìn)行ROI提取主要包括以下幾步:
(1)選擇(selection),假設(shè)第t代的群體為種群數(shù)mt的,其中i=1,2,…,mt,計(jì)算每個(gè)個(gè)體和模板的相似度,i=1,2,…,mt,然后對(duì)m((s))進(jìn)行排序,選擇個(gè)體數(shù)為:的個(gè)體(s),其中i=1,2,…,mt+1進(jìn)行第t+1代的遺傳。
(3)變異(mutation),為了防止過早地陷入局部最優(yōu),對(duì)群體(s),i=1,2,…,mt中的個(gè)體設(shè)置一定的變異概率,隨機(jī)改變某些基因位為其等位基因。
(4)設(shè)置遺傳算法的進(jìn)化代數(shù)n,進(jìn)化完畢后最終選出mn個(gè)個(gè)體(s),i=1,2,…,mn,利用式(5)求得最后所要求的坐標(biāo)平均值ˉ(x,y),其中:
預(yù)處理流程圖如圖3所示。
圖3 UAV圖像預(yù)處理流程圖
2.2 基于SURF的識(shí)別過程
本文將SURF算法[9]引入到UAV偵察目標(biāo)識(shí)別中,SURF在理念上與SIFT[10]相似,都注重梯度信息的空間分布,并且繼承了SIFT算法對(duì)旋轉(zhuǎn)、尺度縮放、圖像模糊、噪聲的魯棒性的優(yōu)點(diǎn),最重要的是,SURF算法在特征點(diǎn)檢測(cè)和描述向量中都充分利用方框?yàn)V波器和積分圖像來加快計(jì)算速度,并減少了局部圖像描述向量的維數(shù),能夠顯著地提高圖像配準(zhǔn)方法的速度,SURF算法的魯棒性能較大程度地提高UAV偵察圖像和模板圖像匹配的成功率,即使存在薄霧干擾和飛機(jī)抖動(dòng)的情況下,也能完成目標(biāo)和模板之間的匹配。這是實(shí)現(xiàn)實(shí)時(shí)性和魯棒性的關(guān)鍵。
SURF算法的魯棒性能夠很大程度地提高特征點(diǎn)匹配的成功率,即使存在較大程度的旋轉(zhuǎn)、尺度變化、灰度變化,都能成功地完成特征點(diǎn)的匹配。
2.2.1 SURF特征點(diǎn)的提取和描述向量的生成
先對(duì)通過預(yù)處理階段獲得的ROI區(qū)域 FROI和模板M(x,y)提取SURF特征點(diǎn),分別得到兩個(gè)點(diǎn)集 Fs={a1,a2,…,ap}和 Ms={b1,b2,…,bq},假設(shè) p≥q。每一個(gè)特征點(diǎn)由一個(gè)64維的描述向量組成,其中點(diǎn)集Fs中的點(diǎn)ai的特征向量表示為
2.2.2 SURF特征點(diǎn)的匹配
在SURF特征點(diǎn)的匹配中,兩個(gè)特征點(diǎn)的相似性度量采用歐氏距離進(jìn)行計(jì)算,對(duì)于Ms中的任一特征點(diǎn)bi先求得 Fs中與bi的歐氏距離最小的特征點(diǎn)為aj,j∈[1,p] ,對(duì)應(yīng)的歐氏距離為:
然后求出次最小距離的特征點(diǎn)為ah,對(duì)應(yīng)地與bi之間的歐氏距離為:
然后設(shè)定一個(gè)閾值τ當(dāng)滿足:
時(shí)認(rèn)為bi和是一對(duì)匹配點(diǎn)。最終選出k個(gè)匹配的特征點(diǎn),在F(x,y)中的坐標(biāo)分別為di(x,y),i=1,2,…,k。
2.2.3 目標(biāo)位置的確定
對(duì)通過2.2.2節(jié)求得的所有匹配的特征點(diǎn)采用式(9)求平均:
以上的算法均是基于UAV偵察目標(biāo)圖像中存在目標(biāo)即式(1)的假設(shè),但是還存在在偵察圖像中不含目標(biāo)如式(8)的情況,即
所以在進(jìn)入SURF識(shí)別之前,應(yīng)先在預(yù)處理階段對(duì)提取的FROI(x,y),判斷是否存在目標(biāo)。設(shè)置門限 Δga,計(jì)算式(9):
當(dāng) Δ1≤Δga時(shí),可判斷存在目標(biāo)進(jìn)入到下一步的精確匹配,Δ1>Δga則判斷無目標(biāo)。
本文算法的流程圖如圖4所示。
本文針對(duì)UAV偵察所獲取的高分辨率可見光機(jī)場(chǎng)區(qū)域圖像[11],對(duì)其中存在的飛機(jī)目標(biāo)進(jìn)行識(shí)別。為了驗(yàn)證本文算法的識(shí)別效果分別采用采用兩種算法與本文算法進(jìn)行對(duì)比:
圖4 本文算法流程圖
算法1對(duì)目標(biāo)圖像F(x,y)和模板圖像 M(x,y)采用SURF算法直接進(jìn)行匹配,在實(shí)時(shí)圖像中找出所有的匹配點(diǎn)(x,y),i=1,2,…,k1,然后求得:dˉ1(x,y)就是所要求的坐標(biāo)。
算法2采用本文的預(yù)處理方法對(duì)圖像進(jìn)行預(yù)處理,然后對(duì)預(yù)處理得到的ROI區(qū)域和模板圖像采用SIFT算法進(jìn)行識(shí)別,找出所有的匹配點(diǎn)對(duì)(x,y),其中i=1,2,…,k2,然后計(jì)算:(x,y)就是所要求的位置。
參數(shù)設(shè)置:
預(yù)處理階段:遺傳算法進(jìn)化代數(shù)設(shè)為n=9,初始產(chǎn)生的群體m1=100,交叉概率 pc=0.7,變異概率 pa=0.02,門限 Δga=1×10-6,SIFT匹配算法和SURF匹配算法中的近鄰比均設(shè)為ε=0.49。
仿真環(huán)境:
本仿真的軟硬件環(huán)境為CPU:Q9500 2.83 GHz,內(nèi)存4 GB,Windows操作系統(tǒng),編程平臺(tái)為:Visual Studio 2008,語言為OpenCV和C++。
本文采用的UAV偵察圖像如圖5(a)所示,分辨率為559×526,圖5(f)為模板圖像,分辨率為121×98,為了驗(yàn)證本文算法的魯棒性,先分別對(duì)圖5(a)進(jìn)行旋轉(zhuǎn)、灰度、尺度等變換,再采用三種算法進(jìn)行對(duì)比。圖5(b)和圖5(c)分別為圖5(a)順時(shí)針旋轉(zhuǎn)30°和60°的圖像。圖5(d)為圖5(a)進(jìn)行灰度變換后的圖像,圖5(e)為圖5(a)提取一層高斯金字塔后的圖像。
圖5 本文仿真用圖
圖6(a1)至(e1)為算法1識(shí)別結(jié)果,(a2)至(e2)為算法2識(shí)別結(jié)果,從圖中可以看出,兩種算法均能準(zhǔn)確地識(shí)別物體的位置,不存在誤識(shí)別和漏識(shí)別的現(xiàn)象。兩者識(shí)別位置差別很小,幾乎完全一致。
本文算法與其他兩種算法對(duì)比的各種計(jì)算結(jié)果如表1所示。
兩種算法在時(shí)間消耗和識(shí)別誤差上的對(duì)比如表2所示,其中時(shí)間對(duì)比1是指算法1和本文算法在時(shí)間消耗上的比值,時(shí)間對(duì)比2是指算法2和本文算法在時(shí)間消耗上的對(duì)比。
圖6 算法識(shí)別結(jié)果
表1 各種算法對(duì)比
表2 算法在時(shí)間和精度上的對(duì)比
由表2中的時(shí)間對(duì)比1可以看出,在精度相同的情況下,本文算法只需要采用SURF算法的時(shí)間的30%到40%,平均的時(shí)間消耗只要采用SURF的35%,算法的實(shí)時(shí)性大為提高。
由于采用方法1中所使用的SIFT算法的魯棒性較強(qiáng),所獲得的匹配特征點(diǎn)最多,是采用SURF算法的將近3倍左右,所以可以認(rèn)為SIFT算法的識(shí)別精度在本文所采用的算法中是最高的,從表2的識(shí)別誤差對(duì)比中可以看出,在識(shí)別誤差小于3%的情況下,由表2中的時(shí)間對(duì)比2可以看出,本文算法所用的時(shí)間只有采用遺傳算法和SIFT算法結(jié)合算法的9%左右,在保證識(shí)別精度的情況下,極大地縮短了識(shí)別的時(shí)間,提高了算法的實(shí)時(shí)性,已經(jīng)能夠滿足近實(shí)時(shí)的處理能力。
根據(jù)UAV偵察目標(biāo)識(shí)別中對(duì)于實(shí)時(shí)性和魯棒性的要求,本文設(shè)計(jì)了一種基于SURF的UAV快速目標(biāo)識(shí)別方法,并介紹了相應(yīng)的步驟及識(shí)別效果。并與另外兩種算法進(jìn)行了準(zhǔn)確性、實(shí)時(shí)性和魯棒性的比較。實(shí)驗(yàn)結(jié)果表明,本文算法提取的ROI區(qū)域準(zhǔn)確,能夠較大程度地縮小搜索空間,利用SURF精確匹配準(zhǔn)確,能夠很大程度地加快識(shí)別時(shí)間,并保證識(shí)別的魯棒性。相對(duì)于基于SIFT算法的識(shí)別方法,本文方法在精確度上與其相當(dāng),但速度有極大的提高,更具實(shí)時(shí)性,并表現(xiàn)出較強(qiáng)的魯棒性。該算法基本能夠滿足UAV偵察目標(biāo)識(shí)別中的準(zhǔn)確度、實(shí)時(shí)性和魯棒性的需求,為UAV偵察目標(biāo)識(shí)別提供幫助。
但是,本文選取的圖像比較清晰,未加入U(xiǎn)AV偵察過程中的云霧干擾和抖動(dòng)問題,今后可以考慮加入成像過程中的干擾和抖動(dòng),進(jìn)一步改進(jìn)本文算法的實(shí)時(shí)性和魯棒性。
[1]馬時(shí)平,畢篤彥,陳嵐嵐.基于圖像匹配技術(shù)的分級(jí)識(shí)別[J].計(jì)算機(jī)工程,2004,30(5):159-160.
[2]張名成,吳秀清,王鵬偉.基于閉合輪廓提取和部分特征匹配的飛機(jī)識(shí)別[J].計(jì)算機(jī)仿真,2006,23(11):193-197.
[3]李迎春,陳賀新,趙銘,等.基于飛機(jī)目標(biāo)的仿射不變矩研究[J].吉林大學(xué)學(xué)報(bào),2003,21(5):84-88.
[4]王鵬偉,吳秀清,余珊.基于角點(diǎn)特征和自適應(yīng)核聚類算法的目標(biāo)識(shí)別[J].計(jì)算機(jī)工程,2007,33(6):179-184.
[5]楊曉敏,吳煒,卿粼波,等.圖像特征點(diǎn)提取及匹配技術(shù)[J].光學(xué)精密工程,2009,17(9):2276-2282.
[6]王永明,王貴錦.圖像局部不變性特征與描述[M].北京:國防工業(yè)出版社,2010.
[7]Hu M K.Visual pattern recognition by moment invariant[J]. IRE Trans on Information Theory,1962,8:179-182.
[8]鄭軍,諸靜.基于自適應(yīng)遺傳算法的圖像匹配[J].浙江大學(xué)學(xué)報(bào),2003,37(6):689-692.
[9]Bay H,Ess A,Tuytelaars T,et al.Speeded-Up Robust Features(SURF)[J].Computer Vision and Image Understanding,2008,110(3):346-359.
[10]Lowe D G.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision,2004,60(2):91-110.
[11]劉莉,吳秀清,牛宗標(biāo).模糊圖像中的飛機(jī)識(shí)別方法[J].計(jì)算機(jī)仿真,2006,23(3):164-166.
JIA Wei1,ZHANG Qing2,XI Qingbiao1,2,LIU Huixia1
1.No.365 Research Institute,Northwest Polytechnical University,Xi’an 710065,China
2.School of Automation,Northwest Polytechnical University,Xi’an 710072,China
In order to solve the problem of robust identification of target in the UAV reconnaissance image in real time,a fast recognition algorithm based on Speeded Up Robust Feature(SURF)is proposed in this paper.A similar matching function using moment invariant features is constructed as the fitness function in the genetic algorithm.Then the region of interest which may contain target is selected using genetic algorithm.Speeded up robust features are taken between the ROIs and the match pair is found using nearest matching algorithm.The match pair is used to determine the location of the target accurately.The result of simulation indicates that the algorithm is not only effective on enhancing the real-time ability of identifying target,but also robust. Key words:target recognition;Unmanned Aerial Vehicle(UAV);preprocessing;Region Of Interesting(ROI);moment invariant;genetic algorithm;Speeded Up Robust Features(SURF)
針對(duì)UAV(Unmanned Aerial Vehicle)偵察目標(biāo)識(shí)別中的實(shí)時(shí)性和魯棒性的要求,提出一種基于SURF(Speeded Up Robust Features)的快速目標(biāo)識(shí)別算法。對(duì)UAV偵察圖像進(jìn)行預(yù)處理,采用不變矩構(gòu)造遺傳算法的適應(yīng)度函數(shù),利用遺傳算法的全局搜索能力快速地提取可能包含目標(biāo)的ROI(Region Of Interesting)區(qū)域。在ROI區(qū)域和模板圖像中提取SURF特征點(diǎn),采用最近鄰的匹配算法搜索匹配對(duì),從而精確確定目標(biāo)的位置。仿真結(jié)果顯示,該算法可以明顯地提高目標(biāo)識(shí)別的實(shí)時(shí)性并具有相當(dāng)?shù)聂敯粜浴?/p>
目標(biāo)識(shí)別;無人機(jī)(UAV);預(yù)處理;感興趣區(qū)域(ROI);不變矩;遺傳算法;加速穩(wěn)健特征(SURF)
A
V219
10.3778/j.issn.1002-8331.1201-0173
JIA Wei,ZHANG Qing,XI Qingbiao,et al.Fast algorithm based on SURF for UAV target identification.Computer Engineering and Applications,2013,49(23):132-136.
國家自然科學(xué)基金(No.61074155)。
賈偉(1980—),男,工程師,主要研究方向?yàn)闊o人機(jī)任務(wù)規(guī)劃與控制、偵察信息處理等;張清(1986—),男,碩士研究生,主要研究方向?yàn)闊o人機(jī)圖像處理、目標(biāo)識(shí)別等;席慶彪(1964—),男,碩士研究生導(dǎo)師,研究員,主要研究領(lǐng)域?yàn)闊o人機(jī)導(dǎo)航、制導(dǎo)與控制、飛行控制與仿真技術(shù)等;劉慧霞(1973—),女,高級(jí)工程師,主要研究領(lǐng)域?yàn)闊o人機(jī)信息處理、目標(biāo)跟蹤與定位等。
2012-01-11
2012-03-29
1002-8331(2013)23-0132-05
CNKI出版日期:2012-06-01 http://www.cnki.net/kcms/detail/11.2127.TP.20120601.1457.032.html