基于殘差回歸網(wǎng)絡(luò)的復(fù)雜背景下海界線檢測(cè)?

邱藝銘 杜華軍 馬 杰 郭硯輝 呂 武

（華中科技大學(xué)自動(dòng)化學(xué)院 武漢 430074）

1 引言

無(wú)人水面艇（Unmanned Surface Vessel），是一種無(wú)人操作的水面艦艇，需要在復(fù)雜海情下（海、天、地背景）自動(dòng)檢測(cè)和識(shí)別海面目標(biāo)，海界線的檢測(cè)具有非常重要的價(jià)值。主要體現(xiàn)在：1）排除陸地和天空的虛假目標(biāo)或者噪聲所帶來(lái)的干擾；2）在遠(yuǎn)距離平視觀測(cè)狀態(tài)下，艦船目標(biāo)大概率會(huì)出現(xiàn)在海界線位置，檢測(cè)出海界線的位置有利于縮小海面目標(biāo)搜索范圍；3）根據(jù)多幀海界線的歷史運(yùn)動(dòng)軌跡，可以估計(jì)無(wú)人艇當(dāng)前的運(yùn)動(dòng)姿態(tài)，消除慣導(dǎo)累積誤差，提高航行過(guò)程中的穩(wěn)定性和安全性。

圖1 殘差回歸網(wǎng)絡(luò)結(jié)構(gòu)圖

海界線是由海面向天空或者海面向陸地的一條明顯分界線，但是由于海面天氣復(fù)雜（如雨、霧、霾等），會(huì)降低圖像清晰度，導(dǎo)致海界線的邊緣信息不明顯；海界線附近干擾物（如礁石、輪船）會(huì)破壞其直線特征；海面的波浪及天空的云層還有陸地的建筑等可能呈現(xiàn)出與海界線相似的直線特征，造成誤判。因此進(jìn)行海界線的精準(zhǔn)檢測(cè)至今未取得較好的解決方法。針對(duì)該難題，近年來(lái)國(guó)內(nèi)外學(xué)者進(jìn)行了大量的研究工作，王博［1］等首先采用梯度顯著性計(jì)算有效增強(qiáng)海界線的直線特征，再采用梯度生長(zhǎng)方法實(shí)現(xiàn)了最終海界線的檢測(cè)。Wang［2］和 Kim［3］等利用隨機(jī)一樣性（RANSAC）算法實(shí)現(xiàn)對(duì)海界線的擬合；Zou［4］等提出了一種基于剪切波變換算法，通過(guò)辨識(shí)邊緣的梯度方向信息來(lái)進(jìn)行海界線檢測(cè)；曾文靜［5］等采用周圍紋理抑制的Canny邊緣檢測(cè)和Hough變換的方法實(shí)現(xiàn)了海界線檢測(cè)；孫雄偉［6］等利用雙邊濾波原理實(shí)現(xiàn)海界圖像的保邊抑噪，圖像邊緣方向信息相位編碼的增強(qiáng)和抑噪，然后以相位組分內(nèi)掃描線的響應(yīng)強(qiáng)度累積值和海界區(qū)域內(nèi)像素強(qiáng)度分布模式的差異值辨識(shí)出最優(yōu)海界線的位置。Evgeny［7］等對(duì)幾種常用的海界線檢測(cè)算法進(jìn)行了對(duì)比總結(jié)。上述方法基本都是基于邊緣梯度特征來(lái)進(jìn)行海界線的提取，但是由于海面狀況復(fù)雜，各種干擾信息（如云層、水花、水波浪紋、海面船只、礁石及建筑信息等）都會(huì)造成與海界線相似的梯度特征，影響最終海界線的精確檢測(cè)。

基于淺層的圖像梯度信息是很難將圖像中非海界交界處的邊緣特征濾除掉。為了解決這個(gè)問題，我們?cè)O(shè)計(jì)了一個(gè)基于卷積神經(jīng)網(wǎng)絡(luò)的殘差回歸模型來(lái)進(jìn)行海界線檢測(cè)，其能有效地濾除除了海界線之外的梯度信息，精準(zhǔn)地檢測(cè)出當(dāng)前圖像中海界線的位置。

2 基于殘差回歸的海界線檢測(cè)

近年來(lái)隨著公用數(shù)據(jù)集的增長(zhǎng)，GPU并行速度的倍增及深度學(xué)習(xí)的迅猛發(fā)展，計(jì)算機(jī)視覺領(lǐng)域中的卷積神經(jīng)網(wǎng)絡(luò)研究得到了質(zhì)的飛躍，各種網(wǎng)絡(luò)結(jié)構(gòu) 模 型 層 出 不 窮 ，比 如 AlexNet［8］、VGG16［9］、GoogLeNet［10］及 ResNet［11］，基本都朝著網(wǎng)絡(luò)深度加深并且訓(xùn)練速度加快的方向發(fā)展。CNN模型中擁有著多層的卷積、激活及池化層，通過(guò)反向傳播的訓(xùn)練方式，能夠自動(dòng)提取非線性表達(dá)能力強(qiáng)、可區(qū)分能力佳的高級(jí)特征。采用CNN模型后，不僅在高級(jí)任務(wù)（如檢測(cè)、跟蹤、識(shí)別）等取得了重大的突破，在一些低級(jí)任務(wù)中，如圖像去噪、超分辨率及去霧等領(lǐng)域也有了顯著的提升。本文方法有效地利用了CNN自動(dòng)提取高級(jí)特征的優(yōu)點(diǎn)，設(shè)計(jì)了殘差回歸網(wǎng)絡(luò)進(jìn)行海界點(diǎn)的概率估計(jì)（網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示），再通過(guò)OTSU及meanshift聚類算法，去除無(wú)效的干擾點(diǎn)，最終通過(guò)最小二乘有效進(jìn)行海界線的檢測(cè)。本文主要突出點(diǎn)如下所示：

1）采用在海界線處用白線描繪的方式進(jìn)行標(biāo)簽集的制作，突顯網(wǎng)絡(luò)的學(xué)習(xí)目標(biāo)是海界線，有效濾除復(fù)雜海界背景下其他梯度信息的干擾，且網(wǎng)絡(luò)的輸出結(jié)果易于理解，方便后續(xù)進(jìn)一步處理。

2）基于 ResNet［11～12］的思想，采用殘差回歸的方式進(jìn)行網(wǎng)絡(luò)訓(xùn)練，將標(biāo)簽圖與原圖相減后的殘差圖作為我們需要學(xué)習(xí)的目標(biāo)，簡(jiǎn)化學(xué)習(xí)的任務(wù)，有效縮減模型深度，提高模型的收斂速度。

3）采用深度學(xué)習(xí)與傳統(tǒng)機(jī)器學(xué)習(xí)相結(jié)合的方式進(jìn)行海界線的提取，在測(cè)試集上的檢測(cè)準(zhǔn)確率相比傳統(tǒng)的海界線提取算法有顯著提升。

4）既可以檢測(cè)直線形式的海界線，也可以檢測(cè)曲線形式的海界線。

3 模型構(gòu)建

由于學(xué)習(xí)目標(biāo)是檢測(cè)海界線的位置，所以采用回歸模型來(lái)進(jìn)行網(wǎng)絡(luò)搭建。在學(xué)習(xí)任務(wù)的描述上，先后采用了多種方式進(jìn)行試驗(yàn)。

圖2 原圖與標(biāo)簽圖

3.1 模型設(shè)計(jì)

我們開始嘗試著進(jìn)行圖與圖之間像素點(diǎn)的直接回歸，簡(jiǎn)化學(xué)習(xí)的抽象程度。在標(biāo)簽集的制作上，采用了巧妙的方法，為了強(qiáng)調(diào)海界線是需要學(xué)習(xí)的對(duì)象，人工對(duì)處于海界線處的像素用白線進(jìn)行描繪，提高其與周圍背景的對(duì)比度。采用白線的原因主要兩個(gè)：1）該顏色與整個(gè)海界背景具有較為明顯的差異性2）通過(guò)將網(wǎng)絡(luò)訓(xùn)練出來(lái)的輸出圖與原圖進(jìn)行相減，得到的差值圖中每個(gè)像素點(diǎn)的值可以大致理解為該像素點(diǎn)屬于海界點(diǎn)的概率大小，利于后續(xù)算法處理。原圖與標(biāo)簽圖對(duì)比如圖2所示。

模型代價(jià)函數(shù)為最小平方和損失函數(shù)如下：

其中X表示輸入圖片，Y表示輸出圖片，h表示卷積網(wǎng)絡(luò)中間處理過(guò)程。由于是進(jìn)行全圖直接回歸任務(wù)，所以為了不破壞空間位置信息，中間沒有采用任何池化操作，基本單元由卷積和修正線性單元（Relu）組成。訓(xùn)練過(guò)程的損失值變化如圖3所示，可明顯觀察到損失值只在剛開始有過(guò)一次顯著下降，之后就呈小幅震蕩狀態(tài)，并未收斂。對(duì)輸入圖和標(biāo)簽圖的顏色直方圖（如圖5（d）和5（e）所示）進(jìn)行分析，其中所有像素值都已經(jīng)歸一化到了[ ]0，1 ，可以發(fā)現(xiàn)回歸模型要學(xué)習(xí)的任務(wù)需要將輸入圖中所有范圍為的像素值映射到輸出圖中所有范圍值為的像素值，這是一個(gè)較為復(fù)雜的任務(wù)，對(duì)于我們當(dāng)前的模型容量來(lái)說(shuō)明顯處于嚴(yán)重欠擬合的狀態(tài)。

圖3 不同網(wǎng)絡(luò)收斂性對(duì)比，縱軸對(duì)數(shù)處理

3.2 殘差回歸

在當(dāng)前的模型容量中，如果要使得網(wǎng)絡(luò)得以收斂，需要簡(jiǎn)化學(xué)習(xí)的任務(wù)，從殘差網(wǎng)絡(luò)［13～14］中得到了啟發(fā)。由于網(wǎng)絡(luò)學(xué)習(xí)的目的是得到海界點(diǎn)的位置，那么將標(biāo)簽圖Y與原圖X相減得到的殘差圖(Y-X)即為海界點(diǎn)概率圖，其顏色直方圖如圖5（f）所示，與圖5（d）和圖5（e）相比，可以發(fā)現(xiàn)其顏色變化范圍已經(jīng)顯著縮減，大部分區(qū)域?qū)儆?附近，如果將殘差圖作為回歸任務(wù)要學(xué)習(xí)的目標(biāo)，學(xué)習(xí)任務(wù)即可以得到大大的簡(jiǎn)化。新的網(wǎng)絡(luò)模型結(jié)構(gòu)如圖1所示，其中將輸入圖像與最后一層卷積層的輸出直接逐像素疊加，作為目標(biāo)函數(shù)的輸入，新的模型代價(jià)函數(shù)如下

通過(guò)圖3分析，可以發(fā)現(xiàn)殘差回歸網(wǎng)絡(luò)的收斂性能相比直接回歸大大提高。

為了進(jìn)一步加快網(wǎng)絡(luò)收斂速度，通過(guò)分析殘差圖，可以得知最后一個(gè)卷積層的輸出除了海界線位置外應(yīng)該基本都為0，再進(jìn)一步分析圖1中的網(wǎng)絡(luò)中間層結(jié)構(gòu)（簡(jiǎn)化為如下公式所示）。

其中*表示卷積操作，w為卷積核，b為偏置，若將卷積單元和修正線性單元（Relu）作為網(wǎng)絡(luò)中一個(gè)基本單元，則F1為原始輸入圖像，F(xiàn)x表示經(jīng)過(guò)x個(gè)基本單元處理后的輸出特征圖，k表示網(wǎng)絡(luò)中間層數(shù)。為了使得Fk中的元素基本為0，就必須使得每一層的w和b基本為0，又為了打破網(wǎng)絡(luò)對(duì)稱性，所以我們采用高斯核初始化w，對(duì)b則采用固定值進(jìn)行初始化，經(jīng)過(guò)實(shí)驗(yàn)，發(fā)現(xiàn)w在均值為0、方差為0.001，而b在值固定為0的時(shí)候收斂最快，其網(wǎng)絡(luò)收斂性如圖4所示，通過(guò)與經(jīng)典MSRA的參數(shù)初始化方式相對(duì)比，可以發(fā)現(xiàn)在訓(xùn)練初始階段，網(wǎng)絡(luò)的損失值就已經(jīng)很小，顯著加快了收斂速度。

圖4 不同參數(shù)初始化對(duì)網(wǎng)絡(luò)收斂性影響，縱軸對(duì)數(shù)處理

3.3 數(shù)據(jù)集的生成

由于網(wǎng)上沒有公開的關(guān)于海界線檢測(cè)的數(shù)據(jù)集，所以我們?nèi)斯ぶ谱髁艘粋€(gè)，數(shù)據(jù)集中圖片分別來(lái)源于 VOC［13］、IMAGENET［14］、COCO［15］這些公開數(shù)據(jù)集及搜索引擎獲取的與海界面相關(guān)的圖片。為了獲得較為真實(shí)的實(shí)驗(yàn)結(jié)果，對(duì)數(shù)據(jù)集中的圖片進(jìn)行了嚴(yán)格的篩選，對(duì)于人工合成、卡通、高壓縮、嚴(yán)重運(yùn)動(dòng)模糊、低曝光或者高曝光等嚴(yán)重失真的圖片都一律舍棄。經(jīng)過(guò)篩選之后，最終確定的數(shù)據(jù)集共有2817張圖片。然后經(jīng)過(guò)隨機(jī)抽取，總共選取其中2317張作為訓(xùn)練集，500張圖片作為測(cè)試集。而在標(biāo)簽集的制作上，我們采用的方法是對(duì)于處于海界線的像素點(diǎn)全部采用半徑為1的白色圓點(diǎn)進(jìn)行標(biāo)記。對(duì)于橫跨海界線的，比如輪船、礁石、魚等，一概不予標(biāo)記。

圖5 顏色直方圖對(duì)比

4 Meanshift聚類與曲線擬合

4.1 Meanshift聚類

原始圖片經(jīng)過(guò)殘差回歸網(wǎng)絡(luò)處理后，其輸出的殘差圖即為海界線概率圖（如圖6（b）），我們首先采用OTSU算法對(duì)概率圖進(jìn)行閾值分割，初步獲得所有前景點(diǎn)，但是由于噪聲點(diǎn)的存在，并非所有的前景點(diǎn)都是海界點(diǎn)。根據(jù)觀察分析可知，海界點(diǎn)在圖像處中所處的行位置信息及其四周的顏色特征一般都比較相近。于是對(duì)于每個(gè)前景點(diǎn)，共提取了7 維特征 (Row，Ru，Gu，Bu，Rd，Gd，Bd)來(lái)對(duì)其進(jìn)行表征，其中Row表示前景點(diǎn)所處的行數(shù)，Ru，Gu，Bu表示前景點(diǎn)上方中心(W*H)范圍內(nèi)所有像素的RGB 平均值，Rd，Gd，Bd表示前景點(diǎn)下方中心(W*H)范圍內(nèi)所有像素的RGB平均值。根據(jù)對(duì)比實(shí)驗(yàn)，W取值為9，H取為8。然后采用聚類算法對(duì)所有的前景點(diǎn)特征向量進(jìn)行有效歸納，在聚類算法的選擇上，采用了meanshift算法，又稱為均值漂移算法，其無(wú)需預(yù)先設(shè)定聚類的個(gè)數(shù)，并且對(duì)離群點(diǎn)很魯棒。其主要聚類過(guò)程如下：

1）在未被標(biāo)記的前景點(diǎn)中隨機(jī)選擇一個(gè)點(diǎn)作為中心點(diǎn)。

2）采用歐式距離計(jì)算所有前景點(diǎn)到中心點(diǎn)的距離，然后找出距離中心點(diǎn)在δc內(nèi)的所有前景點(diǎn)，記為集合M，設(shè)定這些前景點(diǎn)屬于類C并進(jìn)行標(biāo)記。把這些內(nèi)點(diǎn)屬于類C的頻率加1，如果內(nèi)點(diǎn)個(gè)數(shù)小于指定的閾值δn，則重新回到步驟1）。

3）通過(guò)式（4），計(jì)算出偏移向量 Δx，其中 n表示所有的內(nèi)點(diǎn)，x表示當(dāng)前的中心點(diǎn)，w表示各個(gè)特征。

4）權(quán)重值，⊙表示點(diǎn)乘。然后重新計(jì)算新的中心點(diǎn) x=x+Δx。重復(fù)步驟2）、3）直到 Δx的值收斂小于指定閾值δΔx或者超過(guò)指定的迭代次數(shù)δt，然后保存當(dāng)前的中心點(diǎn)。

5）重復(fù)1）、2）、3）、4）直到所有的前景點(diǎn)都遍歷過(guò)。

6）對(duì)于每個(gè)前景點(diǎn)，獲取對(duì)其訪問頻率最大的那個(gè)類作為其所屬類。

根據(jù)大量對(duì)比實(shí)驗(yàn)，最終 h、δc、δn、δΔx、δt的取值分別0.35、0.35、0.1n、0.00035、20，其中 n 表示前景點(diǎn)的個(gè)數(shù)。而在w中Row的權(quán)重為6，其余顏色特征權(quán)重都為1，最終處理結(jié)果如圖6（d）所示。

4.2 曲線擬合

由于海界線不僅有直線也有曲線的形式，在此我們采用最小二乘法對(duì)經(jīng)過(guò)噪聲處理后的海界點(diǎn)進(jìn)行曲線擬合。

圖6 算法處理過(guò)程示意圖

設(shè)定擬合多項(xiàng)式為

其中y表示海界點(diǎn)的縱坐標(biāo)，x表示海界點(diǎn)的橫坐標(biāo)，k表示維度，本文取為2。其偏差平方和則為

對(duì)等式右邊的ai{i=0，1，...k}求偏導(dǎo)，可以得到：

經(jīng)過(guò)化簡(jiǎn)并寫成矩陣形式，可以得到：

然后采用LU分解，即可得到最終的系數(shù)解，其最終的擬合結(jié)果如圖6（d）所示。

5 實(shí)驗(yàn)

為了體現(xiàn)本文算法的高性能，我們與另外兩種常用的海界線提取算法 RANSAC［2］和 HOUGH［5］方法進(jìn)行對(duì)比。采用Caffe深度學(xué)習(xí)框架來(lái)進(jìn)行殘差網(wǎng)絡(luò)的訓(xùn)練，訓(xùn)練時(shí)間需要10.5h，訓(xùn)練參數(shù)如下所示。

5.1 參數(shù)設(shè)置

經(jīng)過(guò)實(shí)驗(yàn)分析，我們最終使用的網(wǎng)絡(luò)深度為5，采用隨機(jī)梯度下降法（SGD）來(lái)進(jìn)行訓(xùn)練，權(quán)值衰減系數(shù)為10-4，動(dòng)量（momentum）為0.9，批大小為16，總訓(xùn)練批次為80000。學(xué)習(xí)率剛開始為10-4，經(jīng)過(guò)迭代60000后改為10-5。網(wǎng)絡(luò)中所有的卷積核大小都為3×3，除了最后一層卷積核通道數(shù)為3之外，其余的通道數(shù)都為64，較大的通道數(shù)有利于獲得跟多的特征信息，提高結(jié)果的準(zhǔn)備性。輸入圖片大小統(tǒng)一縮放到224×224，這個(gè)尺度能夠在縮小處理時(shí)間的同時(shí)保證檢測(cè)率基本不變。數(shù)據(jù)集只采用了翻轉(zhuǎn)擴(kuò)增方法，所以最終總共有4634張訓(xùn)練圖片，1000張測(cè)試圖片。

5.2 測(cè)試集處理效果

圖7展示了采用本文基于殘差回歸網(wǎng)絡(luò)的海界線檢測(cè)效果圖，使用的都是屬于測(cè)試集中的圖片且每張都十分具有代表性，分別是在存在大量云層干擾、海浪干擾、大面積遮擋、海界線分界不明顯、陸地信息復(fù)雜及海界線為曲面的情況下采集得到的。圖7（b）中算法采用的核心思想是計(jì)算圖像中每列梯度的最大值點(diǎn)然后用RANSAC進(jìn)行直線擬合，但是在復(fù)雜背景中，云層、海浪及船只等所形成的邊緣梯度很可能會(huì)大于海界線的梯度，所以導(dǎo)致較高的錯(cuò)誤率。圖7（c）則是利用HOUGH方法［5］得到的結(jié)果，但是同樣在復(fù)雜背景下，云層、海浪及船只等邊緣形成的干擾直線特征對(duì)最終的檢測(cè)結(jié)果造成了嚴(yán)重的影響。而圖7（d）則是采用本文的海界線檢測(cè)方法，從效果圖中可以看出在各種復(fù)雜海界背景下，其依然能精準(zhǔn)地檢測(cè)出海界線的位置。

5.3 性能測(cè)試

測(cè)試平臺(tái)采用的PC操作系統(tǒng)是Windows 10，擁有32GB內(nèi)存，4.2GHz的CPU及NVIDIDA的1080GPU，擁有8GB顯存。對(duì)于海界線檢測(cè)準(zhǔn)確率的計(jì)算，我們采用平均偏離誤差大小來(lái)判斷海界線是否檢測(cè)準(zhǔn)確，其計(jì)算方式如下：

其中n表示測(cè)試集的大小，m表示圖像的列數(shù)，tj和pj分別表示標(biāo)簽圖和實(shí)際預(yù)測(cè)圖中海界線在第j列中的位置，由于在標(biāo)簽圖中海界點(diǎn)被遮擋的位置由-1表示，所以需要排除這些點(diǎn)。k則表示標(biāo)簽圖中有效的海界點(diǎn)個(gè)數(shù)，而e則為允許容忍的誤差。各種海界線檢測(cè)方法在測(cè)試集上的檢測(cè)準(zhǔn)確率和平均計(jì)算速度如表1所示，所采用的測(cè)試圖片大小都為224×224，其中本文方法和RANSAC方法［2］都采用GPU進(jìn)行優(yōu)化。通過(guò)對(duì)比可以發(fā)現(xiàn)，RANSAC方法［2］雖然具有較快的計(jì)算速度，但檢測(cè)準(zhǔn)確率太差。而HOUGH方法［5］相比RANSAC方法［2］在檢測(cè)準(zhǔn)確率上雖然有一定的提高，但依然達(dá)不到可用的標(biāo)準(zhǔn)。而本文方法在檢測(cè)準(zhǔn)確率遠(yuǎn)遠(yuǎn)高于其他兩種方法的同時(shí)還能保持較好的實(shí)時(shí)性，且當(dāng)容忍平均偏離誤差減小的情況下，檢測(cè)準(zhǔn)確率基本沒有太大的變化，充分說(shuō)明了本文方法的抗干擾能力極強(qiáng)，在復(fù)雜背景下，依然能精準(zhǔn)地檢測(cè)出海界線的位置。

圖7 海界線檢測(cè)效果對(duì)比圖

表1 海界線檢測(cè)效果對(duì)比

6 結(jié)語(yǔ)

在復(fù)雜海天或者海陸背景下，由于云層、海浪及嘈雜海面等各種干擾因素存在，對(duì)于海界線的檢測(cè)產(chǎn)生了嚴(yán)重的干擾。本文提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的海界線檢測(cè)算法，利用殘差回歸網(wǎng)絡(luò)獲得海界點(diǎn)的概率圖，然后使用傳統(tǒng)機(jī)器學(xué)習(xí)聚類算法meanshift進(jìn)行干擾點(diǎn)排除，最終通過(guò)最小二乘法獲得最終海界線的位置。經(jīng)過(guò)測(cè)試集的驗(yàn)證和分析，結(jié)果表明了本文方法在檢測(cè)準(zhǔn)確率大幅度高于RANSAC［2］及 HOUGH［5］等方法的同時(shí)，依然能保持著很好的實(shí)時(shí)性，非常具有實(shí)際使用價(jià)值。