基于Retinex和改進(jìn)的最小生成樹(shù)分割提取模糊航空?qǐng)D像中的河流

楊 楠,王衛(wèi)星,趙祥模

1.長(zhǎng)安大學(xué) 信息工程學(xué)院,西安 陜西 710064

2.瑞典皇家工學(xué)院,瑞典 斯德哥爾摩 999027

隨著圖像處理技術(shù)的快速發(fā)展，從航空影像中提取河流對(duì)象已經(jīng)成為遙感領(lǐng)域眾多學(xué)者的研究熱點(diǎn)。提取的的河流信息可以應(yīng)用在變形監(jiān)測(cè)、河道監(jiān)控、以及GIS制圖等方面。早期研究中，結(jié)合水流特征和周邊植被信息提出了一種低分辨率圖像中的河流提取方法[1]和基于河流曲線特征及數(shù)學(xué)形態(tài)學(xué)河流提取方法[2]。文獻(xiàn)[3]引入了小波理論與多尺度峰值分析方法，從TM影像中提取河流。在此之上，文獻(xiàn)[4]又將邊緣信息與小波理論結(jié)合，采用脊線跟蹤算法從SAR圖像中提取河流。Xiao等人結(jié)合Curvelet變換和GVF Snake來(lái)跟蹤河流[5]。Lim等人采用基于B-Spline的Kalman濾波器識(shí)別遙感圖像中的河流[6]。于曉升等采用支持向量機(jī)和水平集理論從VHR圖像中檢測(cè)河流[7]。除此之外，在河流提取方法中，利用遙感數(shù)據(jù)光譜和結(jié)構(gòu)特征提取河流也是可能的[8]。還有學(xué)者采用三維激光掃描技術(shù)及雷達(dá)技術(shù)等進(jìn)行河流的檢測(cè)[9-16]。上述方法對(duì)較清晰圖像的河流提取大多具有較好的效果，但在模糊航拍圖像中，準(zhǔn)確地提取河流還存在著困難。

由于河流同時(shí)具有直線、曲線形狀特征且有一定寬度，因此利用形狀先驗(yàn)和圖像邊緣信息從圖像中提取河流對(duì)象具有較大的優(yōu)勢(shì)。河流表面具有光照不均，背景復(fù)雜的特點(diǎn)，但河流的顏色是均勻的，具有同質(zhì)性特征。為了增強(qiáng)河流目標(biāo)和平滑噪聲，在進(jìn)行邊緣檢測(cè)之前還需要對(duì)圖像進(jìn)行預(yù)處理，特別是對(duì)模糊的圖像，有必要引入圖像增強(qiáng)算法[9,10]。因此，本研究提出了一種河流自動(dòng)提取方法：首先，由多尺度Retinex算法增強(qiáng)模糊圖像中的非均勻光照河流圖像；然后，結(jié)合形狀先驗(yàn)和改進(jìn)的最小生成樹(shù)算法檢測(cè)河流。實(shí)驗(yàn)結(jié)果表明，該方法可以成功的提取出河流對(duì)象，與傳統(tǒng)方法比較具有明顯的效果。

2 模糊航空?qǐng)D像中的河流檢測(cè)

2.1 河流特征及傳統(tǒng)算法分析

航拍河流圖像在拍攝過(guò)程中可能會(huì)受到不同因素的影響，如相機(jī)震動(dòng)，霧，沙塵暴，光變等。這些因素往往使圖像光照不均勻產(chǎn)生模糊現(xiàn)象，對(duì)進(jìn)一步的圖像分割及河流提取帶來(lái)困難。在設(shè)計(jì)算法之前，需要對(duì)河流特征進(jìn)行分析。模糊航空?qǐng)D像中的河流特征可以總結(jié)如下：

（1）河流具有帶狀特征，其寬度不會(huì)大幅變化，不同流域?qū)挾葧?huì)適度增加或縮??；

（2）由于模糊導(dǎo)致河流表面灰度或顏色與其周圍非河流區(qū)域如樹(shù)木、建筑物、草叢等差別不大，不具有顯著性；

（3）河流仍然具有可分辨性的邊緣信息；

（4）按照曲率或長(zhǎng)度，不同流域河流具備不同的形狀特征；

（5）不良天氣因素使航拍圖像中河流對(duì)象部分丟失。

傳統(tǒng)的圖像增強(qiáng)算法如分段線性拉伸、直方圖均衡化、對(duì)數(shù)變換在清晰圖像中具有很好的增強(qiáng)效果，但不適用于模糊航拍圖像。圖1(a)是一幅較模糊的航拍河流圖像，分別用分段線性拉伸、直方圖均衡化以及對(duì)數(shù)變換進(jìn)行圖像增強(qiáng)。線性拉伸使圖像上部分灰度增強(qiáng)，下部分圖像灰度降低，河流的清晰度沒(méi)有明顯增強(qiáng)；直方圖均衡化雖然使部分河流對(duì)象信息增強(qiáng)，但上部分圖像會(huì)產(chǎn)生許多強(qiáng)噪聲；對(duì)數(shù)變換盡管使整體圖像變亮，但其與直線拉伸的情況相似，只是灰度水平有所提升。本文引入Retinex算法對(duì)圖像進(jìn)行增強(qiáng)操作后，整個(gè)河流會(huì)很清晰地顯示出來(lái)。

常用的圖像分割算法如閾值分割、模糊C-Means(FCM)、聚類分析算法在依賴于初始參數(shù)選擇以及圖像的清晰程度，直接用于模糊航拍圖像，分割效果差強(qiáng)人意。對(duì)圖1(a)進(jìn)行圖像分割，分割結(jié)果見(jiàn)圖2所示。從圖2中看到：簡(jiǎn)單的閾值分割算法顯然不能處理這種光照不均的圖像；FCM算法只能夠檢測(cè)出部分河流，如圖像下半部分，但上部分的河流信息丟失；聚類分析算法雖檢測(cè)出了河流右邊界，但是沒(méi)有河流的寬度。本文引入改進(jìn)的最小生成樹(shù)算法結(jié)合Retinex圖像增強(qiáng)可以將河流較完整地檢測(cè)出來(lái)。具體的算法敘述和討論在下文中呈現(xiàn)。

圖1 模糊圖像增強(qiáng)算法的比較Fig.1 Comparison of fuzzy image enhancement algorithms

圖2 幾種分割算法比較Fig.2 Comparison of several segmentation algorithms

2.2 基于Retinex算法進(jìn)行圖像增強(qiáng)

Retinex由Edwin.H.Land于1963年提出的，也稱視網(wǎng)膜-皮層算法。該算法假設(shè)物體呈現(xiàn)的顏色是光與物質(zhì)互相影響的結(jié)果，是由物體對(duì)長(zhǎng)波（紅色）、中波（綠色）、短波（藍(lán)色）反射分量合成的，且不受光照非均勻性的影響，以色感一致性（顏色恒常性）為基礎(chǔ)。不同于傳統(tǒng)的線性、非線性增強(qiáng)算法只能增強(qiáng)圖像的某一類別特征，Retinex可以在動(dòng)態(tài)范圍壓縮、邊緣增強(qiáng)和顏色恒常方面達(dá)到平衡，具有很強(qiáng)的自適應(yīng)性。非均勻照度條件下，Retinex通過(guò)估計(jì)照射分量，而后從原始圖像中去除，可以恢復(fù)圖像真實(shí)顏色信息，增強(qiáng)效果會(huì)優(yōu)于其它方法。單尺度Retinex算法(SSR)對(duì)圖像每一個(gè)通道進(jìn)行濾波，將濾波結(jié)果簡(jiǎn)單疊加，容易產(chǎn)生光暈，圖像失色等缺陷。為了彌補(bǔ)SSR算法的不足，多尺度Retinex算法(MSR)對(duì)每一個(gè)通道進(jìn)行3次不同尺度濾波加權(quán)求和，可以更好地應(yīng)用于模糊航拍圖像增強(qiáng)[17,18]。MSR算法具有多種實(shí)現(xiàn)方式，影響較大的有中心環(huán)繞、隨機(jī)路徑、變分、金字塔迭代等。其中，中心環(huán)繞算法是最常用的實(shí)現(xiàn)方式，采用高斯卷積核來(lái)估計(jì)光照?qǐng)D像，計(jì)算速度較快。

SSR算法的簡(jiǎn)單描述表達(dá)如下：

其中，Ii(x,y)表示i通道圖像；Ri(x,y)表示通道增強(qiáng)結(jié)果；

采用高斯卷積核

對(duì)通道圖像進(jìn)行卷積運(yùn)算。K由∫∫F(x,y)dxdy=1決定；σ是高斯環(huán)繞空間常數(shù)。

由于要權(quán)衡動(dòng)態(tài)范圍壓縮與色彩恢復(fù)，多尺度Retinex(MSR)需要確定尺度參數(shù)，該參數(shù)沒(méi)有理論最優(yōu)，只有通過(guò)多次實(shí)驗(yàn)估計(jì)得到。公式如下：

其中，N表示尺度數(shù)，取值大時(shí)顏色失真小，圖像細(xì)節(jié)恢復(fù)差；取值小時(shí)，圖像細(xì)節(jié)恢復(fù)好，顏色失真大。Rni表示第n個(gè)尺度的第i個(gè)通道分量。經(jīng)驗(yàn)表明，三個(gè)尺度加權(quán)疊加已可滿足圖像增強(qiáng)需求；不考慮通道差異性，一般采用相同權(quán)重進(jìn)行均分疊加。本研究采用(15、80、250)三尺度進(jìn)行加權(quán)處理。根據(jù)航拍圖像的模糊差異性，可以動(dòng)態(tài)調(diào)整權(quán)重提升圖像增強(qiáng)效果。

2.3 基于形狀先驗(yàn)的最小生成樹(shù)圖像分割

基于圖論的分割算法基本思想是將圖像映射為圖結(jié)構(gòu)。圖像中的像素點(diǎn)對(duì)應(yīng)圖中的節(jié)點(diǎn)，像素之間的相鄰關(guān)系對(duì)應(yīng)圖中的邊，像素之間的差異性測(cè)度對(duì)應(yīng)邊上的權(quán)重。利用各種圖論算法，把計(jì)算結(jié)果映射到圖像空間完成圖像的分割[19,20]。常用方法有最大流最小割、最小生成樹(shù)(MST)、譜方法等。采用MST算法可以提取圖像中不具備明顯差異性的連通區(qū)域，每個(gè)區(qū)域可以粗略地看成一棵MST，整個(gè)圖像就構(gòu)成了一棵森林。通過(guò)設(shè)計(jì)合理的合并準(zhǔn)則和剪枝算法，找出包含像素點(diǎn)灰度水平較為相似的區(qū)域完成圖像分割。由于圖像的像素點(diǎn)均具有灰度值，可以視為稠密圖，宜采用Prim算法實(shí)現(xiàn)，該算法時(shí)間復(fù)雜度為O(V2)，其中V表示像素個(gè)數(shù)。

分割算法過(guò)程如下：

(1)將原始圖像轉(zhuǎn)換為灰度空間，像素信息映射到圖結(jié)構(gòu)

在圖像空間中，定義邊的權(quán)值為

其中，fi，fj分別為相鄰像素的灰度值，xi，xj，yi，yj為相鄰像素在圖像中坐標(biāo)分量，計(jì)算出整個(gè)圖像的權(quán)重矩陣。采用Prim算法計(jì)算出MST。Prim算法采用的是貪心策略，從最小權(quán)重的邊＜fi，fj＞開(kāi)始，將其保留到MST集合中。然后，依次從fj出發(fā)尋找最小權(quán)重的邊添加到MST中。迭代計(jì)算，直到遍歷所有像素點(diǎn)。

(2)設(shè)計(jì)目標(biāo)函數(shù)，將分割閾值看作參數(shù)，利用最優(yōu)化方法迭代計(jì)算出最優(yōu)閾值

如果不設(shè)定分割閾值，整個(gè)圖像最終只會(huì)產(chǎn)生一棵MST，不能實(shí)現(xiàn)分割效果。設(shè)定合理MST的權(quán)重閾值，就能夠解決分割問(wèn)題，化為多個(gè)MST。每個(gè)MST可以看作聚類問(wèn)題中一個(gè)類別，將相似像素區(qū)域給框定出來(lái)。由于主觀設(shè)定閾值會(huì)導(dǎo)致硬分割，分割結(jié)果并非最優(yōu)。因此，設(shè)計(jì)目標(biāo)函數(shù)，將分割問(wèn)題看作為最優(yōu)化問(wèn)題進(jìn)行求解。

其中，m表示圖像所有像素灰度均值，mk表示第k個(gè)子MST框定像素點(diǎn)的灰度均值，k是切割后子MST的個(gè)數(shù)；Pk是第k個(gè)MST框定像素點(diǎn)占總體的頻率；hv表示在第k個(gè)MST中，像素fv出現(xiàn)的頻率。從聚類角度分析，分子實(shí)際代表類間距離，分子代表類內(nèi)距離。聚類的目的是希望極大化類間距離，極小化類內(nèi)距離。因此，該問(wèn)題就化為計(jì)算使得H最大時(shí)所需要的分割閾值。閾值計(jì)算可根據(jù)經(jīng)驗(yàn)初始化，而后通過(guò)迭代比較求得。

(3)形狀先驗(yàn)作為約束條件，對(duì)圖像分割結(jié)果進(jìn)行修正

通過(guò)步驟二，計(jì)算出來(lái)的最佳閾值完成航空?qǐng)D像分割后，可能會(huì)出現(xiàn)單個(gè)像素點(diǎn)或小塊區(qū)域，需要通過(guò)合并過(guò)程對(duì)分割結(jié)果進(jìn)行修正。結(jié)合河流形狀先驗(yàn)，常成細(xì)長(zhǎng)形狀、表面較為平滑，占比較大。因此，可以將面積作為考量指標(biāo)，來(lái)修正分割結(jié)果。區(qū)域面積可以理解為范圍內(nèi)所包含的像素個(gè)數(shù)，屬于該區(qū)域的像素可標(biāo)記為S(i,j)=1，反之S(i,j)=0。

Ak為第k個(gè)MST所框定像素坐標(biāo)矩形的面積。若Ak＜min_Threshold且滿足：

若Ak＞min_Threshold，即超出面積的最大先驗(yàn)閾值，則將區(qū)域進(jìn)行二度分割，找到權(quán)重最大的邊斷開(kāi)。

通過(guò)以上算法步驟，結(jié)合河流的形狀先驗(yàn)，可以控制分割范圍，減少直接采用最小生成樹(shù)算法產(chǎn)生的過(guò)分割。

3 實(shí)驗(yàn)及算法對(duì)比分析

2012年至2013年期間，我們?cè)诓煌奶鞖?、不同時(shí)段拍攝了上千幅航空河流圖像。圖像的分辨率為4000×4000像素。圖像集中包括各種各樣的包含河流的模糊航空?qǐng)D像。這里選擇八幅具有不同特點(diǎn)的模糊河流圖像作為實(shí)驗(yàn)數(shù)據(jù)，驗(yàn)證本文算法。圖3中的兩幅原始圖像是在陰雨天氣下拍攝效果，圖像非常模糊。彎曲的河流只是隱隱約約地可以看到。在第一幅圖像中，河流各段的粗細(xì)和灰度不同，并且有多個(gè)大彎；第二幅圖像中，盡管河流只有一個(gè)大彎，但河流邊緣上呈現(xiàn)有較強(qiáng)的噪聲。采用一般的閾值分割方法很難將我們感興趣的河流檢測(cè)出來(lái)。如前所示，我們先用多尺度Retinex方法增強(qiáng)圖像，然后用改進(jìn)的最小生成樹(shù)算法將河流提取出來(lái)，細(xì)長(zhǎng)的目標(biāo)即為河流，很直觀的分辨出河流的位置和輪廓。

圖3 本算法與自動(dòng)閾值算法在模糊圖像中河流檢測(cè)的比較Fig.3Comparison between the algorithm and automated threshold algorithm for river detection in fuzzy image

與圖3不同，圖4中的模糊河流圖像包括許多顏色及灰度不同的公路及狹長(zhǎng)區(qū)域，按說(shuō)是應(yīng)該適合基于邊界掃描的圖像分割算法，如Canny算法。但是，最終河流邊界并沒(méi)有被完全檢測(cè)出來(lái)，而過(guò)多的其它邊界給后續(xù)的圖像處理造成很大的困難。采用本文的思路和算法同樣很直觀的將圖像對(duì)角線附近的細(xì)長(zhǎng)河流檢測(cè)了出來(lái)。

圖4 本文算法與Canny在多紋理模糊圖像中河流檢測(cè)的比較Fig.4Comparison between the algorithmand Canny for river detection in multi texture fuzzy image

實(shí)際應(yīng)用中，對(duì)航空?qǐng)D像模糊程度不是太過(guò)嚴(yán)重的情況下，直接采用改進(jìn)的圖論最小生成樹(shù)算法也是可以檢測(cè)出河流的大致位置的，但缺乏完整性。如圖5(I)所示：第一幅圖像為深藍(lán)色，河流的顏色稍灰，當(dāng)直接用最小生成樹(shù)算法提取河流時(shí)，河流的上邊界被提取出來(lái)，但大部分的下邊界缺失，而圖像增強(qiáng)后再分割，整個(gè)河流被清晰地檢測(cè)出來(lái)。第二幅圖像呈灰色，河流左邊的上部有公路，直接分割可以檢測(cè)出河流的右邊界，但沒(méi)有檢測(cè)出左邊界。而用Retinex增強(qiáng)圖像后，再用改進(jìn)最小生成樹(shù)的分割算法進(jìn)行圖像分割，不僅河流被完整地提取，部分公路也能夠被提取出來(lái)。

圖5 本文算法與原始圖論算法在模糊圖像中河流檢測(cè)的比較Fig.5Comparison between the algorithm and original graph-theory for river detection in fuzzy image

面對(duì)航拍圖像模糊程度過(guò)于嚴(yán)重時(shí)，通過(guò)肉眼觀察，即使知道河流的大致位置也無(wú)法直接用改進(jìn)最小生成樹(shù)算法檢測(cè)到，如圖5(Ⅱ)所示。該圖中的第一幅圖像很暗，河流幾乎都看不到，但通過(guò)Retinex增強(qiáng)后，河流顯得很清楚，再結(jié)合本文改進(jìn)的最小生成樹(shù)算法，提取結(jié)果較為理想。第二幅圖像整體比較亮，但看起來(lái)灰朦朦的，河流灰度與非河流目標(biāo)的灰度差異不大。圖像增強(qiáng)后，河流的顏色和亮度與其它目標(biāo)反差很大，圖像變得非常清晰，部分河流段與周邊目標(biāo)存在模糊粘連，但經(jīng)過(guò)本文算法處理后，圖像分割結(jié)果很理想。在第三幅圖像中，盡管河流比前兩幅圖像中的河流要清晰，但周邊目標(biāo)物體太多，也導(dǎo)致直接用最小生成樹(shù)法無(wú)法提取河流。若用本文算法處理，將圖像增強(qiáng)再利用河流的形狀先驗(yàn)進(jìn)行分割，河流目標(biāo)依然可以成功提取出來(lái)。

4 結(jié)論

本文提出了結(jié)合多尺度Retinex和改進(jìn)的最小生成樹(shù)的河流提取方法，其中最小生成樹(shù)算法的改進(jìn)是根據(jù)河流的形狀先驗(yàn)來(lái)進(jìn)行改進(jìn)的。新方法主要是用于提取模糊的航拍圖像中的河流。在研究中，選取了幾十幅不同類型的模糊航拍河流圖像，比較分析了四種不同的圖像增強(qiáng)算法和四種不同的圖像分割算法。實(shí)驗(yàn)結(jié)果表明，該方法用于模糊航拍彩色圖像可以得到良好的河流提取結(jié)果。如果沒(méi)有多尺度Retinex增強(qiáng)圖像，僅用改進(jìn)的圖論最小生成樹(shù)算法分割圖像，也很難提取模糊航空?qǐng)D像中的河流。通過(guò)對(duì)比分析得到：用常規(guī)的方法進(jìn)行此類圖像的增強(qiáng)很難達(dá)到MSR的效果；而利用公認(rèn)的基于相似性或不連續(xù)性的圖像分割算法也無(wú)法分割此類圖像。下一步研究工作是改進(jìn)和優(yōu)化算法，提高計(jì)算效率。

[1]Smith GB.Detection of RiversIn Low-Resolution Aerial Imagery[R].SRI International,1981

[2]Grosdidier S,Valero S,Chanussot J,et al.River net work detection on simulated swot images based on curvilinear denoising and morphological detection[J].Geoscience&Remote Sensing Symposium,2012,22(8):5454-5457

[3]Lin H,Zhang YN,Liu XG,et al.Research on River Main-stream Detection with Wavelet Transform from Remote Sensing[J].Remote Sensing Technology and Application,2012,27(5):790-796

[4]胡正磊,孫進(jìn)平,袁運(yùn)能,等.基于小波邊緣提取和脊線跟蹤技術(shù)的SAR圖像河流檢測(cè)算法[J].電子與信息學(xué)報(bào),2007,29(3):524-527

[5]Xiao MY,Jia YH,He ZB,et al.Edge Detection of Riverway in Remote Sensing Images Based onCurvelet Transform and GVF Snake[C]//Shanghai:Proceedings of the 8thInternational Symposium on Spatial Accuracy Assessment in Natural Resources and Environmental Sciences,2008:344-351

[6]Lim KH,Seng KP,Ang LM.River Flow Lane Detection and Kalman Filtering-Based B-Spline Lane Tracking[J/OL].International Journal of Vehicular Technology,2012.doi:10.1155/2012/465819

[7]于曉升,吳成東,陳東岳,等.支持向量機(jī)和水平集的高分辨率遙感圖像河流檢測(cè)[J].中國(guó)圖象圖形學(xué)報(bào),2013,18(6):677-684

[8]Geerling GW,Vreekenbuijs MJ,Jesse P,et al.Mapping river floodplain ecotopes by segmentation of spectral(CASI)and structural(LiDAR)remote sensing data[J].River Research and Applications,2009,25(7):795-813

[9]韓 斌,吳一全,宋 昱.利用區(qū)域信息融合混合活動(dòng)輪廓模型的河流遙感圖像分割[J].中國(guó)圖象圖形學(xué)報(bào),2017,22(2):212-224

[10]郭 蕓,王宜懷,劉純平,等.基于主曲線的遙感圖像河岸線提取[J].通信學(xué)報(bào),2016,37(11):80-89

[11]吳詩(shī)婳,吳一全,周建江,等.利用倒數(shù)灰度熵和改進(jìn)Chan-Vese模型進(jìn)行SAR河流圖像分割[J].測(cè)繪學(xué)報(bào),2015,44(11):1255-1262

[12]Song Y,Wu YQ,Dai YM.A new active contour remote sensing river image segmentation algorithm inspired from the cross entropy[J].Digital Signal Processing,2016,48:322-332

[13]Maderal EN, Valcarcel N,Delgado J,et al.Automatic River Network Extraction from LIDAR Data[J]. ISPRS-International Archives of the Photogram,2016,XL I-B8:365-372

[14]Sghaier MO,Foucher S,Lepage R.River Extraction From High-Resolution SAR Images Combining a Structural Feature Set and Mathematical Morphology[J].IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sending,2017,10(3):1025-1038

[15]Zhu H,Li C,Zhang L,et al.River Channel Extraction From SAR Images by Combining Gray and Morphological Features[J].Circuits Systems&Signal Processing,2015,34(7):2271-2286

[16]Sghaier MO,Foucher S,Lepage R,et al.Combination of texture and shape analysis for a rapid rivers extraction from high resolution SAR images[C].Peijing:Geoscience&Remote Sensing Symposium(IGARSS),2016:673-676

[17]Chandra MA,Acharya B,Khan MI.Retinex image processing:improving the visual realism of color images[J].International Journal of Information Technology and Knowledge Management,2011,4(2):371-377

[18] ?yvind Kolas, Ivar Farup and Alessandro Rizzi.Spatio-Temporal Retinex-Inspired Envelope with Stochastic Sampling:A Framework for Spatial Color Algorithms,Journal of Imaging Science and Technology VR2011,55(4):040503-1--040503-10(10)

[19]Gopalakrishnan V,Hu YQ,Rajan D.Random Walks on Graphs for Salient Object Detection in Images[J].IEEE Transactions on Image Processing,2010,19(12):3232-3242

[20]Ben SM,Mitiche A,Ben AI.Multiregion Image Segmentation by Parametric Kernel Graph Cuts[J].IEEE Transactions on Image Processing,2011,20(2):545-557