一種基于卷積神經網絡的紅外弱小點目標檢測算法

胡亮 張聃*

（四川長虹電器股份有限公司，四川 成都 610094）

1 概述

紅外光學系統(tǒng)廣泛應用于航空航天、軍事、遙感等領域中[1-2]。對紅外圖像中的目標進行檢測，則是最重要的計算機視覺任務之一[3-5]。一般而言，紅外目標多為點狀，面積小，無明顯的形狀、紋理等信息，對它們的檢測屬于弱小點目標檢測范疇[6-7]，是一個經久不衰的難點課題。

卷積神經網絡[8]自從2012 年于imageNet 的圖片分類任務上登頂后，在計算機視覺領域大放異彩，對于目標檢測任務非常有效[8-10]。但不同于可見光圖像中的目標，紅外目標缺乏紋理顏色等細節(jié)，也沒有大型的公共數(shù)據集進行參數(shù)的預訓練，直接使用現(xiàn)有的深度卷積神經網絡模型結果不甚理想。

本文考慮到紅外弱小點目標的特點，基于卷積神經網絡提出了一種檢測算法，通過紅外圖像預處理與數(shù)據增強技巧，該算法只需幾百個樣本即可訓練好，相比傳統(tǒng)的檢測算法，可以極大的降低虛警率，同時提高檢測率。

2 相關檢測算法概述

本部分介紹一些常見的紅外弱小點目標檢測算法。

應用最為廣泛的是基于空域的檢測方法，其簡單有效，算法復雜度較低，計算量較小；具體包括傳統(tǒng)的濾波、數(shù)學形態(tài)學方法及基于馬爾科夫隨機場（Markov Random Field）的檢測算法等。劉豐軼等人[11]提出了一種改進的基于馬爾科夫隨機場的點目標檢測算法。該算法依據基于復雜背景可分性度量的信雜比準則對MRF 進行初始配置，在此基礎上，改進了MRF 標記場的先驗概率模型，構造了基于歐式空間度量的概率能量函數(shù)和概率響應函數(shù)，提高了目標概率對鄰域標記變化的響應能力。相比傳統(tǒng)算法，該算法具有更強的魯棒性。

朱碩雅等人[12]提出了一種時空域聯(lián)合小目標檢測方法，利用空域濾波提取紅外小目標的灰度特征、梯度特征，結合多幀圖像的運動特征對小目標進行篩選，有效降低了虛警率。劉源等人[13]提出將人類視覺系統(tǒng)的局部對比度方法與Top-Hat 相結合，利用前者過濾掉Top-Hat 檢測出的候選弱小目標，以降低虛警率。

基于局部對比度（Local Contrast Measure）的目標檢測方法性能較好，通過利用滑動窗口遍歷圖像，將中心灰度最大值和周圍灰度平均值作為增強系數(shù)，以達到對比度度量增強目標的效果。同時，利用多尺度窗口遍歷的方式以適應不同大小的目標，但不斷改變窗口大小會導致算法耗時較長。張祥越等人[14]提出了一種改進的LCM紅外小目標檢測算法，通過計算輸入圖像的對比度圖和顯著度圖，提高了目標對比度的同時抑制背景雜波，并在此基礎上自適應設定閾值以分離出小目標。該方法比傳統(tǒng)LCM方法取得了更高的檢測率和更低的虛警率。

然而，復雜背景下的紅外弱小目標極易淹沒在背景之中，使用上述這些傳統(tǒng)檢測算法直接對原始圖像進行目標檢測，在保證一定目標檢測概率的條件下，會存在較大的虛警。

近年來，基于深度學習的檢測算法展現(xiàn)了極強的能力。

總體上，基于深度學習的檢測算法大致分為一階段檢測算法和兩階段檢測算法：①以R-CNN 系列為代表的兩階段檢測算法[8-9]，如R-CNN，F(xiàn)aster R-CNN，R-FCN，Cascade R-CNN。該系列算法首先從圖像中預測高質量的區(qū)域候選框，然后分別連接分類和回歸的子網絡來判斷區(qū)域候選框的類別并矯正其位置。②以YOLO、SSD[10]為代表的單階段檢測算法，該系列算法在預測候選框的同時，進行物體類別的分類和位置的回歸。在實際應用中，因為對算法速度有要求，通常選擇速度更快的單階段檢測算法。

3 算法設計

實際中需要在盡可能遠的距離發(fā)現(xiàn)目標，而且原始紅外圖像中弱小點目標的輻射能量往往較弱，容易被淹沒。針對紅外數(shù)據的這些特點，借鑒近幾年深度學習中卷積神經網絡（CNN）在光學圖像目標檢測任務的廣泛應用，本文提出了專門針對紅外弱小點目標檢測的神經網絡算法模型IRCNN。該算法的總體流程如圖1 所示。

圖1 算法總體流程

3.1 圖像去噪

本文的去噪模塊由最大中值濾波算法完成[15]。該算法在消除孤立點的同時能更好地保護背景結構的邊緣信息，其被定義為：

難點在于，弱小目標同樣為空間上呈現(xiàn)的孤立高斯分布點，去噪過程中極易將目標點一并去除，因此濾波窗口大小因謹慎選擇。

3.2 背景抑制

本文的背景抑制模塊由一種魯棒的背景抑制算法完成。在復雜的地面或云層背景下，增強后的圖像仍然受到大量雜波干擾，將目標提取出來并不是一件容易的事。本階段首先用基于敏感區(qū)域的中值濾波算法提取出較為精準的背景，輸入圖像做差后得到一些可能有目標存在的點。

該算法分為兩步：敏感區(qū)域獲取和子區(qū)域分割。首先以大窗口進行中值濾波提取粗糙背景，并與原圖做差得到差分圖像。該圖像代表原始圖像經中值濾波后的各像素點變化等級，該變化越大，代表原始圖像中該點像素值越高，即為需要的敏感區(qū)域。計算所有非0 位置的灰度均值T 作為分割閾值：

子區(qū)域分割步驟中，將原始圖像大于T 的像素點作為敏感區(qū)域，以小窗口中值濾波值進行替代；小于等于T 的像素點則保留。以此方法提取出較為精確的背景圖像，然后與原圖做差消除背景，得到的圖像中非零點所在的位置即為目標可能存在的位置?？偟膩碚f，該步驟進一步消除了雜波影響。

3.3 IRCNN 網絡

紅外圖像在經過去噪與背景抑制以后，雖然目標的信雜比得到一定的提升，但一些常見的檢測方法如閾值法濾波法等對目標的檢出還是容易受到鄰域內雜波與噪聲的干擾。因此我們通過構建卷積神經網絡IRCNN 來檢測目標?？紤]到紅外弱小點目標的性質，我們針對性的設計樣本集以及相應的卷積網絡。

3.3.1 樣本制作

首先對圖像進行標注，截取10*10 目標周邊大小的區(qū)域作為正樣本，同時按1 比2 的比例隨機選擇背景抑制圖像中非目標的像素非零點，同樣截取10*10 大小的區(qū)域作為負樣本。

接著使用四個數(shù)據增強技巧：（1）旋轉變換：對正負樣本圖像做順時針90 度、180 度、270 度旋轉變換；（2）噪聲擾動：在像素層面對每個樣本做隨機高斯擾動；（3）位置變換：以第5 行和第6 行為對稱軸，對調每個樣本前五行與后五行的位置；以第5列和第6 列為對稱軸，對調每個樣本前五列與后五列的位置；（4）縮放變換：對每個樣本進行兩倍放大和縮小，接著進行下采樣和上采樣統(tǒng)一到10*10 大小。經過這些數(shù)據增強技巧，樣本集擴大了9 倍。

3.3.2 網絡設計

將每個樣本復制為三通道，這樣輸入圖像尺寸為10*10*3；首先經過5*5 卷積核融合較大區(qū)域特征，接著兩組殘差模塊學習特征信息，最后經過3*3 和1*1 卷積核輸出判別目標。

3.3.3 損失函數(shù)

IRCNN 網絡的損失函數(shù)表達式如下式所示：

其中，xn為IRCNN 神經網絡的輸出結果，yn為樣本的標簽，正樣本取為1，負樣本取為0。

4 實驗

4.1 數(shù)據與評價指標

收集包含目標的紅外圖像總共546 張，取120 張作為測試集，剩下的426 張圖像作為訓練集。通過3.3.1 部分的樣本制作，可得到3834 張正樣本圖像以及7668 張負樣本圖像，形成11502 張圖像構成的樣本集。

一張原始紅外圖像以及相應的正負樣本如圖2 所示。

圖2 數(shù)據示例

這里我們選擇檢測率與虛警率作為評價指標。其中檢測率的表達式為：Dr=NDT/nT，虛警率的表達式為：Fr=NDF/（nT+mDF），nDT表示正確檢出的目標數(shù)，nDF表示錯判為目標的樣本數(shù)，nT表示真實的目標數(shù)。

4.2 實驗結果與討論

為了對比，我們分別采用傳統(tǒng)算法基于局部對比度的檢測、本文的算法以及深度學習算法YOLOv5 用426 張訓練圖片訓練好模型（本文算法使用4.1 節(jié)所述預處理與增強后的樣本集訓練），并在120 張測試圖片上進行測試。圖3 是某張測試集紅外圖像的測試結果對比。

圖3 測試結果對比

表1 則列出了三種算法的檢測率與虛警率數(shù)據。

表1 三種算法的檢測率與虛警率對比

可以看到，傳統(tǒng)的基于局部對比度的檢測算法，難以區(qū)分目標與高亮噪聲，導致虛警很多；而深度學習檢測算法YOLOv5，往往在訓練樣本充足的條件下，才能取得較好效果；但這里實際可用于訓練的圖像數(shù)量只有426 張，導致效果不理想，無法檢測到目標。最后，本文提出的算法由于針對性的進行樣本制作以及網絡設計，從而可以正確的檢出目標。

5 結論

本文分析了紅外弱小點目標的性質，結合紅外圖像預處理方法，提出了一種基于卷積神經網絡的檢測算法。針對紅外圖像數(shù)據有限的情況，利用四種數(shù)據增強手段擴充了訓練集；實驗結果表明，與傳統(tǒng)的檢測算法以及單階段深度學習檢測算法相比，該算法能夠提高檢測率并降低虛警率。