基于光學(xué)傳感器數(shù)據(jù)融合的小目標(biāo)識別方法研究

阮 飛

（北京大學(xué)信息科學(xué)與技術(shù)學(xué)院，北京，100871）

?

基于光學(xué)傳感器數(shù)據(jù)融合的小目標(biāo)識別方法研究

阮 飛

（北京大學(xué)信息科學(xué)與技術(shù)學(xué)院，北京，100871）

摘要：可見光與紅外成像偵察是光電偵察領(lǐng)域中的最重要的獲情手段，但是由于當(dāng)前缺乏針對兩種光學(xué)傳感器獲取的目標(biāo)圖像進(jìn)行融合的有效方法，嚴(yán)重制約了光學(xué)目標(biāo)檢測和識別概率的進(jìn)一步提高，尤其是小目標(biāo)的識別問題，成為光電偵察領(lǐng)域的一個難題。本文立足小目標(biāo)光學(xué)成像特點，充分運用圖像處理領(lǐng)域前沿理論方法，研究提出了基于可見光和紅外圖像數(shù)據(jù)融合的小目標(biāo)識別算法流程框架，為小目標(biāo)識別問題的解決，提供了切實可行的指導(dǎo)。

關(guān)鍵詞：光電偵察；目標(biāo)檢測；圖像分割；數(shù)據(jù)融合

0　引言

隨著現(xiàn)代光電偵察技術(shù)的飛速發(fā)展，可見光與紅外偵察系統(tǒng)的圖像獲取、傳輸效率和成像精度都有了很大提升，單平臺（水上或空中）同時攜載這兩種光學(xué)偵察系統(tǒng)也已經(jīng)成為當(dāng)前偵察平臺單次出動條件下進(jìn)一步提高獲情效益的主流做法。這些光學(xué)傳感平臺獲取的大量數(shù)字圖像，轉(zhuǎn)化為針對戰(zhàn)場目標(biāo)態(tài)勢的有用情報，還需要依靠后續(xù)的圖像處理方法對目標(biāo)進(jìn)行檢測、分割和跟蹤。因此，光電偵察系統(tǒng)的出情率，直接取決于圖像處理方法的效能。近年來，圖像處理作為軍民兩用的熱門技術(shù)，已經(jīng)得到長足的發(fā)展，涌現(xiàn)出一大批針對各類圖像增強、目標(biāo)檢測、目標(biāo)分割等應(yīng)用問題的成熟方法，大大推動了計算機視覺的智能化發(fā)展進(jìn)程。將這些先進(jìn)的圖像處理方法，應(yīng)用到光電偵察領(lǐng)域，足以將單傳感器的出情效率發(fā)揮到極致。然而，在包括光電偵察在內(nèi)的情報偵察領(lǐng)域，多傳感器數(shù)據(jù)融合問題始終是一大瓶頸，制約著情報偵察效能的進(jìn)一步提升。近期部分學(xué)者在同類傳感器的數(shù)據(jù)融合問題研究方面取得了一定突破，但異類傳感器產(chǎn)生的異構(gòu)數(shù)據(jù)，仍無法得到有效融合。具體到光電偵察領(lǐng)域，可見光偵察圖像與紅外圖像的數(shù)據(jù)融合，尚未出現(xiàn)主流的突破性解決方法。

本文著眼當(dāng)前可將光和紅外傳感器數(shù)據(jù)融合的急需，充分考慮兩種成像手段的優(yōu)勢特點，經(jīng)過深入研究，設(shè)計了基于兩種傳感器數(shù)據(jù)融合的小目標(biāo)識別方法框架，能夠為這一瓶頸問題的解決，提供了明確的思路。文章結(jié)構(gòu)安排如下：第二部分重點介紹兩種成像手段獲取的圖像特點，分析其在解決小目標(biāo)識別問題上的優(yōu)勢，理清數(shù)據(jù)融合的總體思路；第三部分介紹利用紅外圖像進(jìn)行目標(biāo)檢測的方法手段；第四部分提出了基于可見光圖像目標(biāo)分割的循環(huán)聚類方法；接下來第五部分給出了協(xié)同運用紅外小目標(biāo)識別和可見光圖像目標(biāo)分割結(jié)果進(jìn)行融合處理，實現(xiàn)目標(biāo)綜合識別的方法框架，最后一部分是全文的總結(jié)。

1　問題背景

在小目標(biāo)識別問題上，紅外成像系統(tǒng)具有氣候適應(yīng)性強、透煙塵能力強、可晝夜工作等獨特優(yōu)勢，可見光電視則具有分辨率高、可獲取色彩信息的特點。本文研究的目標(biāo)，是要充分利用這些優(yōu)點提高小目標(biāo)綜合識別效率。通常來講，在復(fù)雜背景條件下，可見光圖像中目標(biāo)容易與背景物體發(fā)生混淆，給檢測工作帶來困難，例如天中的飛機與云彩，海上的島嶼與船舶，通過顏色和輪廓等特征上有可能較難區(qū)分，而在紅外圖像中，這些物體的灰度級差異將會比較明顯。根據(jù)這一特性，我們可以考慮把小目標(biāo)識別的融合過程分成以下三步：

（1）利用某時間點獲取的紅外圖像進(jìn)行目標(biāo)檢測，確定目標(biāo)的大體位置；（2）在相同（或緊鄰）時刻獲取的可見光圖像上進(jìn)行圖像分割，提取包含第（1）步確定的目標(biāo)位置的分割塊作為目標(biāo)像素團(tuán)；

（3）利用第（2）步獲取的目標(biāo)像素團(tuán)進(jìn)行模式識別，判明目標(biāo)屬性。

這種方法的一個關(guān)鍵問題是必須對兩種手段獲得的圖像進(jìn)行時間同步，將不同傳感器相同時刻（若沒有相同時刻則選擇最近鄰時刻）采集的目標(biāo)圖像作為一組樣例進(jìn)行研究。下面我們詳細(xì)介紹這種方法。值得說明的是，本文探討的是單幀目標(biāo)檢測與識別方法，至于多幀運動目標(biāo)檢測識別問題，由于其幀間相關(guān)性而具備一套獨立的檢測方法，不屬于本文討論的范疇。

2　紅外小目標(biāo)檢測方法

在紅外圖像中，由于成像距離較遠(yuǎn)，目標(biāo)強度相對背景雜波十分渺小，分辨率又遠(yuǎn)不如可見光圖像高，目標(biāo)與背景相融合，無明顯邊緣，很難直接應(yīng)用目標(biāo)的灰度信息將目標(biāo)檢測出來。紅外圖像的噪聲來源，一是紅外成像系統(tǒng)本身的噪聲，二是背景雜波噪聲。傳統(tǒng)的圖像增強和去噪方法，如直方圖均衡化，中值濾波，低通濾波等等，在紅外小目標(biāo)的檢測中都不是很適用，小目標(biāo)很容易在預(yù)處理過程中被消弱甚至濾除而檢測失敗。針對小目標(biāo)檢測問題，本文推薦使用背景預(yù)測方法，這是一種直觀而易于實現(xiàn)的基于目標(biāo)灰度特征的空域檢測方法。

實現(xiàn)背景預(yù)測的方法很多，比較著名的有馬爾科夫隨機場方法，人工神經(jīng)網(wǎng)絡(luò)，EM算法，高斯混合模型等。從本質(zhì)上講，這些方法具有一個共同特性：任何一點灰度的背景預(yù)測值都是用它周圍區(qū)域的一些點的灰度值經(jīng)過線性或者非線性組合產(chǎn)生的，這是基于每一點的灰度值與其周圍點灰度值相關(guān)性較強這一基本假設(shè)而發(fā)展起來的。從工程實現(xiàn)考慮，我們選擇采用周圍區(qū)域點的灰度值進(jìn)行線性組合的預(yù)測方法，具體可表述如下：

以“信息技術(shù)應(yīng)用能力”和“發(fā)展測評”為關(guān)鍵詞在知網(wǎng)檢索，通過文獻(xiàn)分析發(fā)現(xiàn)，目前專家學(xué)者對發(fā)展測評的關(guān)注較少，研究主要集中在測評工具和評價指標(biāo)體系的設(shè)計、測評系統(tǒng)的設(shè)計與開發(fā)、發(fā)展測評的應(yīng)用等方面。

差分運算之后的灰度圖像，經(jīng)過二值化處理，可以得到目標(biāo)檢測的初步效果圖，其中可能還包括某些高亮度噪點，為了進(jìn)一步確定目標(biāo)位置，可以再做一次形態(tài)學(xué)腐蝕操作，去除小范圍噪聲點，得到只包含高亮目標(biāo)信息的檢測結(jié)果。這一過程各環(huán)節(jié)處理效果舉例如下圖所示：

圖1中（a）為原始紅外圖像，（b）為區(qū)域背景預(yù)測生成的圖像，（c）為差分運算后的圖像，（d）為經(jīng)二值化處理和形態(tài)學(xué)腐蝕之后得到的檢測結(jié)果。

3　可見光圖像分割方法

圖1　基于背景預(yù)測的紅外小目標(biāo)圖像目標(biāo)檢測過程示意圖

圖像分割是將一幅圖像通過某種方法劃分為若干個各自連通、互不相交，并滿足一定的自相似性條件的子區(qū)域的過程。圖像分割領(lǐng)域的研究十分成熟，形成了很多設(shè)計精妙的重要方法。歸納起來，這些方法可以概括為兩類：基于邊界描繪的分割方法和基于區(qū)域構(gòu)建的分割方法?；谶吔绲姆椒ㄍㄟ^邊界提取算子獲得梯度邊界再進(jìn)行橋接得到閉合的區(qū)域邊界曲線，或是利用某種能量約束準(zhǔn)則對給定初始邊界進(jìn)行算法修正，逐步變形進(jìn)化出分割目標(biāo)的邊界曲線。常用的工具算子有Sobel算子，Canny算子，Log算子等，代表性方法有水平集方法等?；趨^(qū)域的分割方法是通過對像素點按照一定規(guī)則進(jìn)行分類，屬于同一類別并且在空間上相鄰的像素點構(gòu)成一個分割區(qū)域，代表性方法有閾值法、聚類法、區(qū)域生長法、分水嶺算法等。

考慮到小目標(biāo)圖像中目標(biāo)像素所占比例較低，邊界輪廓可能不太清晰，基于邊界的分割方法很難取得良好效果，而閾值法可能將小目標(biāo)濾除，分水嶺算法等容易收斂到高亮的非目標(biāo)區(qū)域，本文建議采用聚類法實現(xiàn)可見光圖像的小目標(biāo)分割。鑒于多數(shù)聚類法做圖像分割都是一次性聚類即得到分割結(jié)果，對初始聚類中心的選取依賴程度過高，無法使聚類算法收斂到最優(yōu)解，這里介紹一種基于K-Means的循環(huán)聚類算法。該算法通過循環(huán)修正聚類中心，使目標(biāo)區(qū)域逐步修正而趨于精確。作為聚類的基礎(chǔ)，首先要在圖像空間中定義一種距離度量，可以是歐氏距離，也可以是其他的距離度量形式，可以根據(jù)問題需要進(jìn)行設(shè)計和選擇。算法的實現(xiàn)過程可以描述為以下四個步驟：

（1）在分類空間中選定K個點作為初始聚類中心；

（2）將所有像素點歸入它距離最近的聚類中心代表的類別中；

（3）當(dāng)所有數(shù)據(jù)點都分類完成后，重新計算聚類中心；

（4）重復(fù)步驟（2）和（3）直至所有的聚類中心都不再移動。

這種算法的優(yōu)勢在于對初始中心不敏感（這一特性可以允許相近時刻針對同一目標(biāo)采集的紅外和可見光樣例圖片的采集時間和方位存在細(xì)微偏差，對識別成功非常重要），并且能夠在反復(fù)修正之后收斂到高精度邊界。

4　基于紅外和可見光圖像數(shù)據(jù)融合的小目標(biāo)識別方法

下面給出完整的基于紅外和可見光圖像數(shù)據(jù)融合的小目標(biāo)識別方法。我們知道，同一平臺上的傳感器在相同時刻（拍攝角度、距離相同或相近）采集到的關(guān)于目標(biāo)態(tài)勢圖像的相似程度很高，首先我們要對紅外和可見光傳感器采集到的圖像進(jìn)行時空配對，由于軍用圖像采集設(shè)備幀頻很高，因此總能找到拍攝時刻極其相近的兩張不同類型傳感器采集的圖片。把這樣的一組紅外-可見光圖像對作為一個分割樣例加以考慮，設(shè)計小目標(biāo)識別算法流程如圖2所示。

在流程圖中，完成紅外小目標(biāo)檢測后，選取紅外小目標(biāo)檢測得出的目標(biāo)區(qū)域的幾何中心作為可見光圖像聚類分割的初始聚類中心，執(zhí)行循環(huán)聚類算法，可以得到目標(biāo)分割區(qū)域。實際上我們是把紅外小目標(biāo)檢測過程作為圖像分割算法的預(yù)處理步驟。

上述流程圖中，我們沒有推薦目標(biāo)識別算法，原因在于通過可見光圖像分割得到明確的目標(biāo)分割區(qū)域之后，可以直接將其他非目標(biāo)區(qū)域像素擦除，圖像目標(biāo)識別問題將會得到大大簡化，在此基礎(chǔ)上再進(jìn)行模式識別，當(dāng)前主流的任何一種識別算法，都能取得較好的識別效果。建議采用方向梯度直方圖算法（HoG）、支持向量機方法（SVM），或者人工神經(jīng)網(wǎng)絡(luò)方法（ANN）之一，這些模型經(jīng)長期檢驗在絕大多數(shù)情況下都能取得較高的識別準(zhǔn)確率。

5　結(jié)論

本文立足小目標(biāo)光學(xué)成像特點，充分運用圖像處理領(lǐng)域前沿理論方法，研究提出了基于可見光和紅外圖像數(shù)據(jù)融合的分步式小目標(biāo)識別算法框架，設(shè)計了小目標(biāo)識別流程，并針對流程中的各個主要環(huán)節(jié)明確了輸入輸出參數(shù)，提出了能夠滿足工程實現(xiàn)要求的方法建議。文章致力于理順融合思路，設(shè)計融合算法流程，對于具體算法實現(xiàn)方面的細(xì)節(jié)，沒有做太多討論，識別流程中的每個算法模塊，都可以經(jīng)過進(jìn)一步研究發(fā)展為一篇獨立的研究論文。

參考文獻(xiàn)

[1]楊磊，復(fù)雜背景條件下的紅外小目標(biāo)檢測與跟蹤算法研究[D]，上海交通大學(xué)，2006.

[2]徐英，紅外圖像序列中運動弱小目標(biāo)檢測的方法研究[J]，紅外技術(shù)，2002，24(6) .

[3]徐軍，紅外圖像中弱小目標(biāo)檢測技術(shù)研究[D]，西安電子科技大學(xué)，2001.

[4]許開宇，基于紅外圖像的運動船舶檢測及跟蹤技術(shù)的研究

圖2　基于數(shù)據(jù)融合的小目標(biāo)識別方法流程圖

[D]，上海海事大學(xué)，2006.

[5]尹超，向健勇，韓建棟，一種基于區(qū)域背景預(yù)測的紅外弱小目標(biāo)檢測方法[J]，紅外技術(shù)，2004, 26(6).

[6]Xu Chen et al.，A novel geodesic distance based clustering approach to delineating boundaries of touching cells[C], The Tenth International Symposium on Neural Networks (ISNN 2013), Part II, LNCS 7952, IEEE.

作者簡介

阮飛（1988-），男（漢族），安徽馬鞍山人，北京大學(xué)信息科學(xué)技術(shù)學(xué)院，納米與器件物理與化學(xué)教育部重點實驗室，碩士在讀，主要從事數(shù)據(jù)融合、系統(tǒng)集成研究。

Research on small target recognition method based on optical sensor data fusion

Ruan Fei
(College of information science and technology, Peking University, Beijing，100871)

Abstract：Visible and infrared imaging reconnaissance is photoelectric reconnaissance area the most important means for the,but due to the current lack of fusion is an effective method for two types of optical sensors to obtain the target image,which seriously restrict the further improvement of optical target detection and identification probability,especially the problem of small target recognition,has become a difficult problem in the field of photoelectric reconnaissance.This text is based on the optical imaging characteristics of small target, make full use of image processing in the field of cutting-edge theory method and the study of the visible light and infrared image data fusion of target recognition algorithm framework based on,for small target recognition problem solving and provides practical guidance.

Keywords：photoelectric detection;target detection;image segmentation;data fusion