多尺度圖像分割和顏色傳遞的遙感圖像彩色化增強

張 硯，羅強一，劉東紅，羅 睿

1.中國電子設(shè)備系統(tǒng)工程公司研究所，北京100141；2.北京遙感信息研究所，北京100192

1 引 言

對原始灰度圖像進行彩色化處理，能夠大大提高遙感圖像的可判讀性，更容易提取所需的信息。

對于遙感影像彩色化，傳統(tǒng)方法有假彩色增強、真彩色增強、偽彩色增強和IHS變換方法等，這些方法都能夠有效提高遙感圖像的可分辨性。但是假彩色和偽彩色技術(shù)所得到的增強圖像反映的并不是場景的真實色彩，所以對于非專業(yè)圖像判讀人員來說往往難以理解和接受［1］。真彩色技術(shù)要求彩色合成時與遙感成像時的太陽光譜成份相一致，這種條件難以滿足。IHS方法能提高目標探測能力，對同一景物進行多光譜觀察，可以揭示出目標在單一傳感器觀察時無法探測或不易探測的特征。但這種方法如果應(yīng)用于不同數(shù)據(jù)源、不同傳感器、不同時段的數(shù)據(jù)，在圖像配準時經(jīng)常會出現(xiàn)矛盾。

近年來，遙感彩色化增強領(lǐng)域的研究，主要是針對某種特定類型圖像在上述傳統(tǒng)方法的基礎(chǔ)上加以改進。例如，文獻［2］提出的地物波譜數(shù)據(jù)輔助的SPOT影像模擬真彩色方法，該方法從遙感波譜物理特性出發(fā)，進行地物波譜庫輔助下的遙感影像真彩色模擬方法研究，旨在利用地物波譜庫中豐富的光譜信息實現(xiàn)SPOT影像藍光波段模擬。文獻［3］提出的基于多方向多源合成孔徑雷達數(shù)據(jù)融合的假彩色正射影像制作，利用不同側(cè)視方向、不同分辨率、多極化的SAR影像數(shù)據(jù)，融合制作信息量豐富，能夠滿足應(yīng)用要求的SAR假彩色正射影像。

文獻［4］基于人類的視覺感知研究，提出了一種新的顏色空間，稱為lαβ顏色空間。其中各通道之間相關(guān)性很小，因此在不同的顏色通道之間進行不同的操作時，不會受其他通道的影響或者影響其他通道。文獻［5］提出一種利用lαβ顏色空間在兩幅彩色圖像間進行顏色傳遞的算法。文獻［6］在此基礎(chǔ)上提出一種從彩色圖像到灰度圖像間進行顏色傳遞的算法：對于目標圖像上的每一個像素，都從源圖像上找一個與它匹配的像素，它使用一個像素的鄰域的統(tǒng)計值來指導(dǎo)匹配過程。找到匹配像素后，就將該像素的顏色信息傳輸?shù)侥繕藞D像但保留目標圖的亮度信息。

國內(nèi)外學(xué)者提出了一些針對該方法的改進與應(yīng)用。文獻［7］提出將顏色傳遞技術(shù)應(yīng)用于夜視圖像，取得了較好的效果。文獻［8］提出基于顏色傳遞的單波段熱成像自然感彩色化處理算法，該算法應(yīng)用于幾種場景類型的單波段紅外圖像，得到了色彩自然感較好的彩色化熱圖像。文獻［9］為克服當前偏振圖像融合方法存在的不足，提出了一種基于顏色遷移和聚類分割的偏振圖像近自然彩色融合方法。

由于遙感圖像的復(fù)雜性和顏色傳遞的局限性，目前該技術(shù)一般局限于夜視圖像、單波段熱圖像等相對較簡單的圖像類型。本文根據(jù)遙感圖像的特點，將顏色傳遞改進后嘗試用于全色遙感圖像彩色化增強，所采用的參考彩色圖像不需要與目標圖像配準，只要圖像特征、風格相近似，就可以對紋理結(jié)構(gòu)相對較簡單的全色遙感圖像實現(xiàn)全自動的彩色化增強。本文所作的主要改進如下。

1.1 復(fù)數(shù)小波包降噪預(yù)處理

遙感圖像往往會受到噪聲的污染。全色圖像如果不預(yù)先進行降噪的預(yù)處理，直接轉(zhuǎn)化彩色后噪聲會更明顯，影響到最終的增強效果。灰度圖像的噪聲也會影響和干擾后續(xù)的圖像分割等操作。筆者采用分頻帶高斯模型，利用復(fù)數(shù)小波包，采用軟閾值方法進行小波降噪預(yù)處理。

1.2 多尺度圖像分割

利用多尺度圖像分割技術(shù)［10］，對遙感圖像進行區(qū)域分割。將圖像分割為若干子區(qū)域后，在子區(qū)域之間利用直方圖進行匹配，在匹配好的子區(qū)域之間搜索像素與顏色傳遞。由于原算法是對圖像中所有像素進行全局搜索與匹配，而分割后只需要對子區(qū)域進行搜索與匹配，因而大大降低了匹配像素中的搜索代價。同時還提高了顏色傳遞的準確度，彩色化增強效果更好。

本文算法的主要框架為：首先采用復(fù)數(shù)小波包工具，對目標灰度圖像使用軟閾值技術(shù)進行濾波降噪；利用多尺度歸一化切分的分割方法對圖像進行分割；將目標圖像和源圖像轉(zhuǎn)換到lαβ顏色空間；通過亮度直方圖，匹配子區(qū)域；在對應(yīng)的子區(qū)域內(nèi)，對各個子區(qū)域基于鄰域的統(tǒng)計值進行亮度匹配；取對應(yīng)的顏色值賦予對應(yīng)的區(qū)域內(nèi)的像素；最后將結(jié)果圖像轉(zhuǎn)換回RGB空間。算法流程如下圖所示。

圖1 流程圖Fig.1 Flow chart

2 復(fù)數(shù)小波包降噪

大多數(shù)情況下，遙感圖像噪聲表現(xiàn)為孤立的離散點，沒有空間關(guān)聯(lián)性，均可以視為高斯分布，因此本文考慮的噪聲模型以高斯為主［11－12］。

2.1 降噪方法的選擇

小波變換是目前使用最多的變換域降噪方法。該方法不僅能夠在不同分辨率下根據(jù)信號和噪聲分布的特點降噪，還可以很好地刻畫信號的非平穩(wěn)特征。小波變換的關(guān)鍵是閾值和小波基的選擇。

閾值可分為硬閾值和軟閾值兩種類型。硬閾值能夠更好地保存邊緣信息，更接近實際情況，但噪聲抑制效果較差；軟閾值具有連續(xù)性，降噪效果好，獲得的結(jié)果更加平滑，因此視覺上更加自然，容易接受，但圖像邊緣信息模糊。軟閾值往往會應(yīng)用到細節(jié)少的分解級別（小波子帶）中，而硬閾值用在其他情形［13－16］。由于本文采用的是分頻帶高斯模型，所以對于小波子帶來說，更適合采用軟閾值方法。

小波基可選的種類很多，如單小波、多小波、小波包等。小波基的選擇對降噪的效果影響很大，對于不同類型的圖像，最優(yōu)的小波基是不同的［17］。由于復(fù)數(shù)小波包變換兼?zhèn)鋸?fù)數(shù)小波變換和小波包變換的優(yōu)點，具有更好的方向選擇特性和更為細致的高頻信息，并且具有較強的去除遙感圖像中彩色噪聲的能力，所以本文選擇復(fù)數(shù)小波包作為小波基［18］。

2.2 降噪的算法及過程

對于輸入的遙感圖像，本文使用統(tǒng)一的分頻帶高斯模型。在這個模型中，每個頻帶取決于所選擇的小波基。對于復(fù)數(shù)小波包分解，即是每個復(fù)數(shù)小波包頻帶。

不妨假設(shè)X是輸入圖像，Z是由X添加上彩色噪聲P獲得的帶噪的觀測圖像，如公式（1）所示

在每個頻帶中假設(shè)噪聲是一個高斯分布，均值為0，方差為σ2k。其中方差σ2k可以使用仿真的方法由P的統(tǒng)計參數(shù)估計出來。

在估計獲得各頻帶的模型參數(shù)之后，首先通過一個單尺度的快速估計方法（如 Wiener或者RHEA）獲得估計值ξ′，再通過軟閾值濾波修正獲得預(yù)估值e2

然后利用預(yù)估值e2，分頻帶計算所有ξ的值

式中，z是觀測值Z在對應(yīng)分解域下的值。

最后再利用復(fù)數(shù)小波包逆變換將ξ還原到空間域上，得到結(jié)果X，實現(xiàn)遙感圖像的降噪［19－21］。

3 多尺度歸一化切分

遙感圖像分割，屬于自然環(huán)境圖像分割的一種，相對于室內(nèi)場景或工業(yè)環(huán)境等結(jié)構(gòu)性環(huán)境而言，要復(fù)雜很多。就像植被、水系和交通等要素，僅依靠灰度信息不足以對圖像進行分割，還需要各種物體的物理及概念層次的精細描述［22－23］。

對于本文來說，圖像分割的目的不是用于特征提取及分析，要求相對較低，主要是能夠區(qū)分不同灰度、顏色和紋理；但由于遙感圖像尺寸巨大而紋理復(fù)雜，所以尋找一種能夠利用顏色和紋理信息得到較好結(jié)果、并且速度較快的分割方法，是非常重要的。

1997年，Shi和Malik提出歸一化切分的分割方法，將分割問題形式化為圖分割問題，利用顏色、紋理或者結(jié)合使用顏色和紋理及其他特性進行分割，將問題化解為求特征向量和特征值的問題。

文獻［10］對歸一化切分進行改進，對圖像的多重比例尺采用并行計算，沒有迭代，計算高效，能夠分割大尺寸的圖像。用這個方法能夠準確分割以前因為尺寸太大而無法有效分割的圖像，算法框架如下。

給定一個p×q的圖像I，對于s＝1，2，…，S（S為縮放比例）：

計算約束

式中，Ni是i的采樣鄰域。

計算Is的仿射Wcs，小半徑為r，利用在比例s的圖像邊。

通過（Wcs，Cs－1，s）s，計算W、C，如下式所示

計算投影Q

這里D是一個對角線矩陣

計算，是矩陣的前k個特征向量；計算，使之離散化。

圖2是采用該方法對衛(wèi)星圖像分割的示例。

4 子區(qū)域匹配與顏色傳遞

首先將彩色源圖像和目標灰度圖都轉(zhuǎn)換到lαβ顏色空間；然后利用亮度直方圖來匹配最接近的子區(qū)域；然后在建立好對應(yīng)關(guān)系的子區(qū)域之間搜索最匹配的像素，將顏色值α、β值一一賦給目標灰度圖，再轉(zhuǎn)換為RGB顏色空間，就得到了目標圖像對應(yīng)的彩色圖。對于較復(fù)雜的圖像，可以通過人工交互的方式來指定對應(yīng)的傳輸區(qū)域。具體步驟如下：

（1）根據(jù)文獻［4］提出的轉(zhuǎn)換方法，將彩色源圖像和目標灰度圖像從RGB顏色空間轉(zhuǎn)換到lαβ顏色空間。

（2）對分割后的子區(qū)域利用亮度直方圖進行匹配。先計算目標圖像與源圖像子區(qū)域的亮度直方圖；然后利用直方圖交叉法，使目標圖像中的每一個子區(qū)域在源圖像中找到最接近的子區(qū)域，建立起對應(yīng)關(guān)系。

（3）在對應(yīng)好的子區(qū)域中搜索最匹配的像素，然后賦予顏色值。像素的匹配原則是根據(jù)像素的鄰域亮度均值和標準差，鄰域的尺寸可選為5×5或7×7；當查找到最匹配的像素時，將匹配像素的顏色值α、β賦給目標圖像中的像素，而像素亮度值l保持不變。

（4）將結(jié)果圖像從lαβ顏色空間轉(zhuǎn)換到RGB顏色空間［4］。

5 試驗與分析

本文選取不同風格的彩色源圖像和灰度目標圖像，按照圖3所示的算法框架與流程進行試驗。圖4采用的是SPOT5的全色灰度圖像，空間分辨率為2.5m，尺寸為256像素×256像素。圖5像采用的是CNES（法國國家空間研究中心）提供的Nimes地區(qū)全色灰度圖［20］，裁切的尺寸為256像素×256像素，添加了0.5的噪聲方差。用于參考的真彩色圖像其空間分辨率為0.6m。試驗的中間過程與最終結(jié)果的對比如圖4—圖5所示。

圖2 圖像分割示例Fig.2 Example of image segmentation

圖4 試驗的中間過程與最終結(jié)果對比1Fig.4 Procedure and comparison of rsults 1

圖5 試驗的中間過程與最終結(jié)果對比2Fig.5 Procedure and comparison of results 2

由圖4—圖5中的試驗結(jié)果可以看出：基于圖像分割和色彩傳遞相結(jié)合的方法只需要一個特征、風格相近的參考彩色圖像，無須配準，就可以對紋理結(jié)構(gòu)相對較簡單的遙感圖像實現(xiàn)全自動的彩色化增強。通過利用多尺度圖像分割的方法，在分割后的子區(qū)域之間進行亮度匹配和顏色傳遞，能夠減少像素間的顏色傳遞誤差；與軟閾值的復(fù)數(shù)小波包降噪預(yù)處理結(jié)合在一起，能明顯增強遙感圖像的細節(jié)分辨能力。彩色化的結(jié)果圖像無論是在美觀程度，還是目標的可識別度都有了明顯增強。

本文還對傳統(tǒng)的數(shù)據(jù)融合算法與本文方法進行了對比試驗。圖6（a）為全色灰度影像（空間分辨率為2m，尺寸為256像素×256像素），圖6（b）為采用數(shù)據(jù)融合方法得到的彩色圖像（與分辨率為10m的多光譜圖像采用pansharp算法得到的融合結(jié)果），圖6（c）為本文算法的結(jié)果。

圖6 傳統(tǒng)數(shù)據(jù)融合與本文結(jié)果對比Fig.6 Comparison of results

通過與傳統(tǒng)數(shù)據(jù)融合算法的對比，可以發(fā)現(xiàn)本文提出的算法有兩個優(yōu)點：①其參考彩色源圖像不需要與目標圖像配準；②較好地將復(fù)數(shù)小波包圖像預(yù)處理與顏色傳遞相結(jié)合，對圖像的細節(jié)部分有著明顯的復(fù)原與增強。

由于原算法是對圖像中所有像素（假設(shè)像素數(shù)為N）進行全局搜索與匹配，則搜索代價為O（Nlog（N））；而分割后只需要對子區(qū)域（假設(shè)子區(qū)域內(nèi)的像素數(shù)為n）進行搜索與匹配，搜索代價為O（nlog（n）），因為n?N，所以大大降低了匹配像素中的搜索代價。本算法額外增加的時間代價包含小波降噪和圖像分割，這兩種數(shù)據(jù)預(yù)處理本文均采用了高效的算法，基于復(fù)數(shù)小波包的降噪與去模糊算法的復(fù)雜度為O（N）［19］，多尺度的圖像分割算法的復(fù)雜度也保持為線性［10］。因此整體的時間代價主要取決于圖像的尺寸大小。

試驗中，發(fā)現(xiàn)這種方法存在以下局限性：①目前該方法只能對紋理相對簡單、亮度反差較大的全色遙感圖像實現(xiàn)全自動的彩色化，對于亮度值接近但屬性不同或者紋理復(fù)雜的圖像還需要人工指定顏色分配；②參考圖像盡可能挑選特征、風格相近的圖像，最終彩色化的效果很大程度上依賴于參考圖像的選擇。

6 結(jié) 論

本文根據(jù)遙感圖像的特點，嘗試利用復(fù)數(shù)小波包降噪與去模糊、多尺度圖像分割和顏色傳遞技術(shù)相結(jié)合的方法，來實現(xiàn)無須配準的全自動的遙感圖像彩色化增強。試驗結(jié)果改善了全色遙感圖像的細節(jié)表現(xiàn)力和視覺感受。本文的方法是對遙感光學(xué)圖像傳統(tǒng)數(shù)據(jù)融合方法之外的一種探索和補充。

針對所提方法的局限性，未來可對遙感圖像彩色化作如下改進：①嘗試基于樣例的彩色化技術(shù)［24］，以期實現(xiàn)更準確的顏色傳遞；②對圖像的分割方法和像素的統(tǒng)計值匹配及映射方式作進一步的研究與改進；③進一步研究其他不同類型顏色空間的轉(zhuǎn)換方法。

［1］ ZHANG Yan，WANG Yu.Remote Sensing Image Colorization Using Optimization［J］.Science Paper Online，2008，3（2）：114－119.（張硯，王昱.基于優(yōu)化的遙感影像彩色化［J］.中國科技論文在線，2008，3（2）：114－119.）

［2］ ZHU Changming，LUO Jiancheng，SHEN Zhanfeng，et al.Approach of SPOT True Color Image Simulation Assisted by Spectral Library Data［J］.Acta Geodaetica et Cartographica Sinica，2010，39（2）：169－174.（朱長明，駱劍承，沈占鋒，等.地物波譜數(shù)據(jù)輔助的SPOT影像模擬真彩色方法研究［J］.測繪學(xué)報，2010，39（2）：169－174.）

［3］ ZHANG Jixian，WEI Jujie，ZHAO Zheng，et al.Color Orthophoto Map Generation Based on Multi－direction and Multi－polarization SAR Data Fusion［J］.Acta Geodaetica et Cartographica Sinica，2011，40（3）：276－282.（張繼賢，魏鉅杰，趙爭，等.基于多方向多源合成孔徑雷達數(shù)據(jù)融合的假彩色正射影像制作［J］.測繪學(xué)報，2011，40（3）：276－282.）

［4］ RUDERMAN D L，CRONIN T W，CHIAO C C.Statistics of Cone Responses to Natural Images：Implications for Visual Coding［J］.Optical Society of America，1998，15（8）：2036－2045.

［5］ REINHARD E，ASHIKMIN M，GOOCH B，et al.Color Transfer between Images［J］.IEEE Computer Graphics and Applications，2001，21（5）：34－40.

［6］ TOMIHISA W，MICHAEL A，KLAUS M.Transferring Color to Greyscale Images［C］∥Proceedings of the SIGGRAPH.San Antonio：［s.n.］，2002：277－280.

［7］ TOET A.Natural Color Mapping for Multiband Night Vision Imagery［J］.Information Fusion，2003，4（3）：155－166.

［8］ ZHAO Yuanmeng，WANG Lingxue，JIN Weiqi，et al.Singleband Infrared Image Colorization Algorithm based on Color Transfer［J］.Acta Optica Sinica，2009，29（3）：654－658.（趙源萌，王嶺雪，金偉其，等.基于色彩傳遞的單波段熱圖像彩色化處理算法［J］.光學(xué)學(xué)報，2009，29（3）：654－658.）

［9］ ZHOU Pucheng，ZHANG Hongkun，XUE Mogen.Polarization Image Fusion Method Using Color Transfer and Clustering－Based Segmentation ［J］. Acta Photonica Sinica，2011，40（1）：149－153.（周浦城，張洪坤，薛模根.基于顏色遷移和聚類分割的偏振圖像融合方法［J］.光子學(xué)報，2011，40（1）：149－153.）

［10］ COUR T，BENEZIT F，SHI J.Spectral Segmentation with Multiscale Graph Decomposition［J］.Computer Vision and Pattern Recogniton，2005，2：1124－1131.

［11］ SUN Yankui.Wavelets Analysis and Application［M］.Beijing：China Machine Press，2005.（孫延奎.小波分析及其應(yīng)用［M］.北京：機械工業(yè)出版社，2005.）

［12］ NI Lin.Wavelet Translation and Image Processing［M］.Hefei：Chinese Science and Technology University Press，2010.（倪林.小波變換與圖像處理［M］.合肥：中國科學(xué)技術(shù)大學(xué)出版社，2010.）

［13］ CHANG S G，VETTERLI M.Spatial Adaptive Wavelet Thresholding for Image Denoising［C］∥ Proceedings of ICIP.［S.l.］：ICIP，1997.

［14］ DONOHO D.Denoising by Soft Thresholding［J］.IEEE Transaction，1995，41：613－627.

［15］ YANG Yuanxi.Properties of the Adaptive Filtering for Kinematic Positioning［J］.Acta Geodaetica et Cartographica Sinica，2003，32（3）：189－192.（楊元喜.動態(tài)定位自適應(yīng)濾波解的性質(zhì)［J］.測繪學(xué)報，2003，32（3）：189－192.）

［16］ YANG Yuanxi，CUI Xianqiang.Influence Functions of Colored Noises on Kinematic Positioning：Taking the AR Model of First Class as an Example［J］.Acta Geodaetica et Cartographica Sinica，2003，32（1）：6－10.（楊元喜，崔先強.動態(tài)定位有色噪聲影響函數(shù)：以一階 AR模型為例［J］.測繪學(xué)報，2003，32（1）：6－10.）

［17］ JIANG Sanping.Image Denoising Based on Wavelets Translation［M］.Beijing：National Defense Industry Press，2009.（姜三平.基于小波變換的圖像降噪［M］.北京：國防工業(yè)出版社，2009.）

［18］ JALOBEANU A，BLANC－FERAUD L，ZERUBIA J.Satellite Image Deblurring Using Complex Wavelet Packets ［J］.International Journal of Computer Vision，2003，51（3）：205－217.

［19］ JALOBEANU A，ZERUBIA J，BLANC－FERAUD L.Bayesian Estimation of Blur and Noise in Remote Sensing Imaging［C］∥Blind Image Deconvolution：Theory and Applications.London：CRC Press，2007：239－271.

［20］ ZHANG Yan，MAN Yiyun.Satellite Image Adaptive Restoration Using Periodic Plus Smooth Image Decomposition and Complex Wavelet Packet Transforms［J］.Tsinghua Science and Technology，2012，17（3）：337－343.

［21］ ZHANG Yan，LI Xianying，MAN Yiyun.Remote Sensing Images Upsampling Based on Projection onto Convex Sets and Complex Wavelet Packet Transfer［J］.Chinese Journal of Computers，2011，34（3）：482－488.（張硯，李先穎，滿益云.基于凸集投影法和復(fù)數(shù)小波包域的遙感圖像上采樣研究［J］.計算機學(xué)報，2011，34（3）：482－488.）

［22］ LINDA G S，GEORGE C S.Computer Vision［M］.ZHAO Qingjie，QIAN Fang，CAI Lidong，Translated.Beijing：China Machine Press，2005.（LINDA G S，GEORGE C S.計算機視覺［M］.趙清杰，錢芳，蔡利棟，譯.北京：機械工業(yè)出版社，2005.）

［23］ XIAO Pengfeng，F(xiàn)ENG Xuezhi，ZHAO Shuhe，et al.Segmentation of High－resolution Remotely Sensed Imagery Based on Phase Congruency［J］.Acta Geodaetica et Cartographica Sinica，2007，36（2）：146－151，186.（肖鵬峰，馮學(xué)智，趙書河，等.基于相位一致的高分辨率遙感圖像分割方法［J］.測繪學(xué)報，2007，36（2）：146－151，186.）

［24］ IRONY R，COHEN D，LISCHINSKI D.Colorization by Example［C］∥Proceedings of Eurographics Symposium on Rendering.Konstanz：［s.n.］，2005.