基于clear-SSD的單點多盒飛機目標檢測天氣適用性

詹成祥， 孟慶巖， 安健健， 胡 蝶， 楊天梁

(1.中國地質(zhì)大學(xué)(北京)地球科學(xué)與資源學(xué)院， 北京 100083； 2.中國科學(xué)院空天信息創(chuàng)新研究院， 北京 100094；3.中國科學(xué)院空天信息創(chuàng)新研究院海南研究院， 三亞 572029； 4.三亞中科遙感研究所， 三亞 572029)

隨著深度學(xué)習的快速發(fā)展，遙感影像目標檢測算法也在不斷更新，但目前目標檢測算法大多針對良好天氣。受霧霾影響，遙感影像質(zhì)量下降，進而影響遙感影像檢測效果[1-2]。飛機在民用與軍用領(lǐng)域都有重要作用，若出現(xiàn)霧霾天氣，則會影響檢測精度，進而影響航空管制，故消除霧霾影響，提升遙感影像質(zhì)量，使其在良好天氣及霧天均能有較高的目標檢測精度，具有重要意義[3-4]。

遙感目標檢測是多年來廣泛研究的熱點[5]，遙感目標檢測就是識別出遙感影像中感興趣的目標，并用回歸算法標記其位置[6]，其模型算法可以分為兩大類，一類是單階段目標檢測，即將分類與回歸放在一個網(wǎng)絡(luò)中完成，其優(yōu)勢是速度更快，經(jīng)典代表有SSD(single shot multibox detector)、YOLO(you only look once)，另一類是兩階段目標檢測，即將分類與回歸分兩部分進行，經(jīng)典代表有R-CNN(region-based convolutional neural networks)、Fast-RCNN和Faster-RCNN[7-8]。

圖1 clear-SSD結(jié)構(gòu)Fig.1 The structure of clear-SSD

近年來，有較多研究使用單階段或兩階段模型進行遙感影像目標檢測，如王穎潔等[9]使用Faster-RCNN以及R-FCN(region-based fully convolutional networks)檢測儲油罐，李淑敏等[10]使用YOLO_V2模型和遷移學(xué)習對高分二號影像進行目標檢測，熊偉等[11]使用支持向量機模型對合成孔徑雷達影像進行目標檢測，Wang等[12]使用Faster-RCNN模型，檢測高分辨率影像中的艦船，Chen等[13]提出目標熱圖網(wǎng)絡(luò)對高分辨率遙感影像進行目標檢測，但無論是深度學(xué)習還是傳統(tǒng)方法，都只針對良好天氣，沒有討論霧天對目標檢測精度的影響。受大氣反射與散射干擾，遙感傳感器拍攝影像的清晰度降低，導(dǎo)致飛機目標檢測精度下降，如何使飛機在良好天氣及霧天條件下均能有較優(yōu)的檢測精度，是目前尚未解決的問題。

而暗通道與同態(tài)濾波作為經(jīng)典清晰化算法，常用來恢復(fù)各種霧天影像，使其具有更優(yōu)的可辨性，進而提高霧天影像目標檢測精度。

現(xiàn)提出一種基于影像處理的clear-SSD模型，分別對良好天氣及霧天條件下的飛機進行目標檢測。模型訓(xùn)練完畢后，先對待檢測的遙感影像進行清晰化處理，再檢測影像中的飛機，對比不同清晰化算法對飛機目標檢測精度的優(yōu)化效果，選取適用性最優(yōu)的清晰化算法嵌入SSD模型中，組成clear-SSD，使其在良好天氣以及霧天條件下均能取得較好的檢測效果，消除現(xiàn)有目標檢測算法只能針對良好天氣影像檢測的弊端，提高模型適用性。

1 clear-SSD算法原理

采用clear-SSD模型進行實驗，該模型將影像清晰化算法與SSD目標檢測算法有機結(jié)合，即在卷積神經(jīng)網(wǎng)絡(luò)前端設(shè)置影像清晰化算法，使輸入的霧天影像更清晰且不過多影響良好天氣影像的視覺效果。其中SSD模型由Liu等[14]在2016年提出，根據(jù)輸入影像的尺寸分為SSD-300和SSD-512，現(xiàn)采用SSD-512作為實驗網(wǎng)絡(luò)。SSD提供的檢測框有多個尺度，可以有效檢測大小不同的物體。

clear-SSD以卷積網(wǎng)絡(luò)VGG16網(wǎng)絡(luò)為主干，并將輸出端的全連接層替換成卷積層，用來輸出回歸及分類特征，其結(jié)構(gòu)如圖1所示。

clear部分為清晰化算法，備選算法包括暗通道、高斯同態(tài)濾波以及線性同態(tài)濾波。對待檢測影像進行清晰化處理，導(dǎo)入卷積神經(jīng)網(wǎng)絡(luò)提取特征，通過比較不同算法的處理效果，選擇適用性最優(yōu)的算法作為clear部分。

對于目標檢測，SSD與其他模型不同，其定位特征由多個卷積層共同提供，包括4_3卷積塊以及7～12的卷積塊共7個模塊，每個模塊都提供不同數(shù)量的定位以及分類預(yù)測特征，最終得到影像中目標地物的預(yù)測類別及位置。訓(xùn)練過程中，設(shè)置交并比閾值，將與標簽框交并比大于閾值的預(yù)測框選出，即每個標簽框可與多個預(yù)測框?qū)?yīng)，反之每個預(yù)測框只能與單個標簽框?qū)?yīng)，選擇置信度最大的預(yù)測框與標簽框相匹配計算損失函數(shù)，由于目標檢測包括分類與回歸兩部分，因此損失函數(shù)為分類損失與回歸損失的加權(quán)和：

(1)

式(1)中：L()表示整體損失；Lconf()表示分類損失;Lloc()表示定位損失;x為指示參數(shù);c表示類別置信度;l表示預(yù)測框的位置;g表示標簽框位置;N表示標簽框的數(shù)量;α為回歸損失對分類損失的加權(quán)值。

分類代價函數(shù)采用softmax損失，定位代價函數(shù)采用定位差值的平方經(jīng)L1平滑后的損失。

為準確提取不同尺寸的目標，SSD根據(jù)不同卷積層提取不同尺度的高層與低層特征，不同層次的卷積層能提取不同大小的特征。由于提取的特征足夠多，預(yù)測框的數(shù)量也有很多且大多為負樣本，根據(jù)得分選擇部分負樣本參與訓(xùn)練，保證正負樣本比例為1∶3左右，使得訓(xùn)練更穩(wěn)定。

SSD模型能夠在保證目標檢測精度的同時消耗更少的時間[15]，因此選用SSD作為本文實驗的目標檢測網(wǎng)絡(luò)。

2 清晰化算法

2.1 暗通道原理

暗通道是He等[16]提出來的一種清晰化算法，該算法去霧效果顯著且計算量小，在對大量影像觀察后提出，幾乎所有良好天氣下的像素都有一個通道的值趨向于0，根據(jù)這一先驗知識與大氣物理模型，提出暗通道清晰化算法，大氣物理模型為

I(x)=J(x)t(x)+A[1-t(x)]

(2)

式(2)中：I(x)為原始有霧影像；J(x)為待求無霧影像；t(x)為大氣透射率；A為大氣光值,其大小為原始影像對應(yīng)通道的最高值。暗通道用數(shù)學(xué)公式可表示為

(3)

式(3)中：Jdark(x)表示去霧影像暗通道理論值；Jc(y)表示去霧影像紅綠藍某一通道平面范圍內(nèi)的值；{r，g，b}分別表示影像的紅綠藍三個通道；Ω(x)表示以像素x為中心的一個窗口。

對式(2)兩端分別取兩次最小值，先于每個波段平面范圍內(nèi)取得最小值，再計算每個通道的最小值，即可滿足暗通道先驗條件。利用暗通道趨于0的先驗知識計算得到透射率為

(4)

式(4)中：ω為景深參數(shù)，調(diào)節(jié)w可使去霧效果更自然。

通過導(dǎo)向濾波處理，將式(4)計算的透射率精細化，代入式(2)中，即可算出恢復(fù)后的無霧影像為

(5)

式(5)中：t0表示透射率下限。

王鋒等[17]基于暗通道先驗知識有效復(fù)原近景霧霾圖像。緱新科等[18]基于暗通道理論優(yōu)化透射率，有效去除包含天空區(qū)域的霧天圖像。王嬌等[19]基于暗通道改進出快速去霧算法，減少處理時間。由此可見，暗通道算法對遙感影像去霧有較好的效果。

2.2 同態(tài)濾波

由于霧在影像中對亮度的貢獻值變化緩慢，屬于低頻成分，因此將影像轉(zhuǎn)換到頻率域，壓縮低頻而拉伸高頻，即可達到去霧的效果。張文君等[20]基于同態(tài)濾波構(gòu)建去霧模型，提升了SPOT-5遙感影像質(zhì)量。李開偉等[21]基于同態(tài)濾波，實現(xiàn)無人機影像的清晰化處理。綜上可知，同態(tài)濾波對去霧也有不錯的效果。

一幅灰度影像可以表示為照射分量與反射分量的乘積[22]：

f(x,y)=i(x,y)r(x,y)

(6)

式(6)中：f(x,y)為影像灰度；i(x,y)為照射分量，屬于低頻；r(x,y)為反射分量，屬于高頻。

先對式(6)兩端取對數(shù)，將等式右邊的乘號轉(zhuǎn)換成加號，以便進行傅里葉變換到頻率域，其次使用濾波壓縮低頻成分而拉伸高頻成分，之后進行傅里葉逆變換，最后取對數(shù)，即可得到處理后的影像。使用高斯同態(tài)濾波與線性同態(tài)濾波分別進行處理，并比較不同濾波處理對檢測精度的提升效果，圖2為同態(tài)濾波處理的流程圖。

圖2 同態(tài)濾波流程圖Fig.2 The flow chart of homomorphic filtering

2.2.1 高斯同態(tài)濾波

高斯同態(tài)濾波即用高斯濾波器進行乘積操作，濾波器為

(7)

式(7)中：c表示形狀系數(shù)，控制濾波形狀；D0表示截止頻率；D(u,v)表示濾波前圖像；H(u,v)表示濾波后圖像。

2.2.2 線性同態(tài)濾波

線性同態(tài)濾波即用線性濾波器進行乘積操作，設(shè)置高頻與低頻兩個半徑，對低頻進行壓縮，達到去霧效果，對高頻進行拉伸，以突出地物邊緣信息，其濾波器為

(8)

式(8)中：r1表示低頻范圍閾值；r2表示高頻范圍閾值；a為壓縮系數(shù)；b為拉伸系數(shù)。

線性同態(tài)濾波處理示意如圖3所示，將影像轉(zhuǎn)換到頻率域后，對中間區(qū)域的低頻成分進行壓縮，對四周的高頻成分進行拉伸。

圖3 線性同態(tài)濾波原理Fig.3 Principle of linear homomorphic filtering

3 試驗及分析

3.1 數(shù)據(jù)集制作

開源的遙感影像目標檢測數(shù)據(jù)集有很多，但都是基于良好天氣，為探究霧天對目標檢測精度的影響以及提出改進方法。選擇google earth高分辨率遙感影像，制作霧天及良好天氣下飛機目標檢測數(shù)據(jù)集。實驗區(qū)選取首都國際機場，獲取了360張像素大小為512×512左右的影像，其中良好天氣有330張，霧天有30張，將300張良好天氣影像作為訓(xùn)練數(shù)據(jù)，良好天氣與霧天各30張作為測試數(shù)據(jù)，影像分辨率達到0.5 m，數(shù)據(jù)示例如圖4所示，使用LabelImg標注工具對影像中的飛機進行標注。

3.2 模型訓(xùn)練

在本次實驗中，使用tensorflow框架實現(xiàn)SSD目標檢測算法，所有的計算均使用同一臺GPU服務(wù)器(顯卡：Nvidia TESLA C2050)進行。首先設(shè)置SSD模型訓(xùn)練參數(shù)：初始學(xué)習率為0.001，采用指數(shù)衰減，優(yōu)化器采用rmsprop，batch size為8，正負樣本比例為1∶3。將300張良好天氣影像導(dǎo)入模型中訓(xùn)練，模型在1 000步左右收斂，之后在3～6波動，訓(xùn)練到1 388步停止，損失函數(shù)的變化如圖5所示。

3.3 實驗結(jié)果及分析

在本文實驗中，目標檢測部分選擇SSD單階段檢測算法，影像處理部分選擇暗通道算法、線性同態(tài)濾波以及高斯同態(tài)濾波，分別對霧天及良好天氣下飛機進行目標檢測，并對比以上3種清晰化算法對目標檢測精度的提升效果，將平均精度(AP)作為評判標準，其值是準確率-召回率曲線(P-R曲線)的積分面積。

3.3.1 霧天目標檢測結(jié)果

用訓(xùn)練好參數(shù)的SSD算法分別對未處理霧天影像及3種清晰化算法處理后的霧天影像進行測試，結(jié)果如表1所示?？梢钥闯?，霧天對飛機目標檢測精度有較大影響，而經(jīng)暗通道、高斯同態(tài)濾波及線性同態(tài)濾波處理后，對檢測精度有明顯提升作用，其中線性同態(tài)濾波提升效果最佳，相比較原始SSD檢測算法提高了0.505 9。

3種清晰化算法處理后霧天影像與原始霧天影像的P-R曲線如圖6所示，可以看出，高斯同態(tài)濾波與線性同態(tài)濾波具有較大的積分面積，能較好提高模型的檢測精度。

表1 霧天目標檢測結(jié)果

圖6 清晰化算法處理后P-R曲線對比Fig.6 Comparison of P-R curves processed by the sharpening algorithm

圖7 飛機SSD檢測結(jié)果示例Fig.7 Example of SSD test results of the aircraft

為直觀展示3種清晰化算法的優(yōu)化效果，隨機選擇部分飛機目標檢測效果圖，如圖7所示，由此可見，霧天條件對影像視覺效果干擾較大，導(dǎo)致3幅影像有兩幅影像中的飛機均未被SSD模型檢測到，而3種清晰化算法處理后影像中的飛機均能被良好檢測，其中，暗通道算法處理后的影像色調(diào)偏暗，而線性同態(tài)濾波與高斯同態(tài)濾波處理后的影像色調(diào)更自然。

3.3.2 模型的適用性分析

由上述研究可知，暗通道算法、線性同態(tài)濾波及高斯同態(tài)濾波均能提高霧天遙感影像目標檢測精度，為驗證clear-SSD具有適用性，使清晰化算法與SSD目標檢測算法有機結(jié)合，則需考慮該清晰化算法對良好天氣下飛機檢測精度的影響。綜合模型對霧天及良好天氣影像目標檢測精度，優(yōu)選最具適用性的清晰化算法。

分別對原始良好天氣影像及3種清晰化算法處理后良好天氣影像進行測試，結(jié)果如表2所示，實驗表明，原SSD算法對良好天氣下影像目標具有較好檢測精度，而暗通道算法、線性同態(tài)濾波及高斯同態(tài)濾波對良好天氣下影像目標檢測精度均有干擾，其中線性同態(tài)濾波影響更大。

表2 良好天氣目標檢測結(jié)果

據(jù)統(tǒng)計，北京地區(qū)霧霾天氣比例約為10%，良好天氣比例約為90%，則適用性精度可根據(jù)兩者加權(quán)計算，結(jié)果如表3所示，由此可見，暗通道算法與高斯同態(tài)濾波處理后檢測精度均比原始SSD高，分別提升了0.018 4與0.043。而線性同態(tài)濾波雖去霧效果最優(yōu)，但對良好天氣影像干擾較大，導(dǎo)致適用性精度降低0.070 4。因此線性同態(tài)濾波不適合作為前端清晰化算法，而高斯同態(tài)濾波具有更優(yōu)的適用性。

表3 適用性精度

4 結(jié)論

以飛機為例，探討霧天對遙感影像地物目標檢測精度的影響，并提出有霧與無霧均能有效檢測目標的clear-SSD模型，對比不同清晰化算法對精度提升的效果，研究發(fā)現(xiàn)：影像經(jīng)高斯同態(tài)濾波處理后，其目標檢測精度可達到0.984 3，相比原始精度提升0.043，具有最優(yōu)的處理效果，因此，選擇高斯同態(tài)濾波作為模型前端的影像處理部分組成clear-SSD模型。該模型不僅能檢測良好天氣下遙感影像地物目標，對霧天遙感影像目標檢測同樣具有較高精度，使模型具有適用性，彌補目前遙感影像目標檢測只針對良好天氣的不足。

對于在霧天提高遙感影像目標檢測精度，研究還有一些不足的地方，有待在后續(xù)中進一步探索：

(1)對于暗通道處理后有部分影像偏暗的問題，可以找到一種自適應(yīng)亮度調(diào)整算法，根據(jù)影像本身亮度大小來決定需增強的亮度，即可改善暗通道處理后地物目標檢測精度，以及提高模型的適用性。

(2)對多區(qū)域多地物目標進行試驗，說明clear-SSD模型的魯棒性。