數(shù)字圖像融合新進(jìn)展

劉志明

(湖北第二師范學(xué)院計算機學(xué)院，湖北 武漢 430205)

1.引言

近年來，隨著軟硬件技術(shù)的發(fā)展及人類社會生產(chǎn)的發(fā)展，數(shù)字圖像融合在技術(shù)、算法、應(yīng)用等領(lǐng)域都有了較大的變化，多源、多維、多尺度、多時空、復(fù)雜環(huán)境等方面的因素及某些應(yīng)用要求更高的處理效率催生了新的處理技術(shù)，如并行處理技術(shù)、計算智能的仿生學(xué)、固件化專業(yè)處理設(shè)備等。

在深入討論之前，先對數(shù)字圖像融合作簡要介紹。數(shù)字圖像融合是將2個或2個以上的傳感器在同一時間或不同時間獲取的關(guān)于某個具體場景的圖像或者圖像序列信息加以綜合，生成一個新的有關(guān)此場景的解釋，而這個場景是從單一傳感器獲取的信息中無法得到的[1，2，3]。數(shù)字圖像融合的目的是減少不確定性。上述定義在現(xiàn)代得到進(jìn)一步加強，從單一場景到多場景，從靜態(tài)到動態(tài)。數(shù)字圖像融合技術(shù)廣泛應(yīng)用于遙感影像處理、圖像分析、機器視覺等領(lǐng)域。

數(shù)字圖像融合的作用主要有：隱寫加密[4，5]、去噪[6]、圖像增強[7，8]、特征提取[9]、目標(biāo)識別與跟蹤[10]、三維重構(gòu)[11]等方面。

2.數(shù)字圖像融合技術(shù)動向

鑒于數(shù)字圖像融合的不同數(shù)據(jù)基礎(chǔ)及不同應(yīng)用目的，可對其進(jìn)行簡單的層次劃分：信號、像素、特征、決策。

在信號級數(shù)字圖像融合研究方面，技術(shù)相對成熟，主要從處理效率方面有較大的改進(jìn)，逐步從通用到專用，從軟件到固件，針對特定領(lǐng)域應(yīng)用的專用數(shù)字圖像融合預(yù)處理設(shè)備表現(xiàn)出更好的性能。

像素級數(shù)字圖像融合有著較廣泛的應(yīng)用需求，多源多尺度多時空遙感影像融合、圖像拼接、隱寫加密等多方面的應(yīng)用需求，促使新技術(shù)的不斷引入。首先，在遙感影像處理方面，由于多源多尺度多時空高光譜遙感影像海量數(shù)據(jù)的廣泛應(yīng)用，超光譜圖像壓縮算法、多視角圖像配準(zhǔn)技術(shù)、多分辨小波變換、并行圖像處理技術(shù)被深度引入，同時也促進(jìn)了海量數(shù)據(jù)的存取和檢索技術(shù)的發(fā)展。其次，在圖像拼接方面，要將具有重疊區(qū)域的多幅數(shù)字圖像或多幀視頻圖像通過數(shù)字配準(zhǔn)和融合，獲得單幅寬視場圖像或動態(tài)全景圖，需要處理圖像間平移、縮放、旋轉(zhuǎn)等多種幾何失真及色度亮度不一致、部分模糊、圖像拍攝視點差異、場景中的運動物體等。基于區(qū)域的拼接算法主要有基于空間的像素匹配算法及基于頻域的拼接算法。另外，在數(shù)字隱寫方面，較有代表性的空域LSB隱寫算法和頻域JPEG圖像隱寫算法及相應(yīng)的隱寫分析算法研究方面都有了較大的發(fā)展，Jpeg-steg、F5等算法在隱藏圖像的抗視覺懷疑性、隱藏信息的抗檢測性、魯棒性、防容量估計性等方面都有較好的表現(xiàn)。

特征級數(shù)字圖像融合屬于中間層次，處理過程可歸結(jié)為：對來自不同傳感器或相同傳感器不同時段獲取的原始信息進(jìn)行特征提取，再對提取的多個特征信息進(jìn)行綜合分析和處理，以獲取目標(biāo)狀態(tài)融合數(shù)據(jù)或目標(biāo)特性融合數(shù)據(jù)。特征提取基于圖像分析，在圖像分割、目標(biāo)表達(dá)和描述、紋理分析、形狀分析及運動分析等方面都存在較大的發(fā)展空間。在軍事應(yīng)用中主要用于軍事目標(biāo)的檢測、定位、跟蹤和識別，民用則非常廣泛，如工業(yè)生產(chǎn)中的故障檢測、天氣變化、農(nóng)作物分布及收成、OCR(Optical Character Recognition)、人的身份識別、交通監(jiān)管、遠(yuǎn)程診斷、礦產(chǎn)資源調(diào)查、城市熱島效應(yīng)分析等。在特征級數(shù)字圖像融合技術(shù)方面，大量引入的統(tǒng)計學(xué)習(xí)算法及仿生算法使得特征級數(shù)字圖像融合技術(shù)成果非常豐富：貝葉斯估計、信息熵、表決、加權(quán)平均、聚類分析、支持向量機[15]、模糊邏輯[16]、神經(jīng)網(wǎng)絡(luò)[17]、微粒群算法[18]等方法。

決策級數(shù)字圖像融合必須和具體的應(yīng)用相結(jié)合，層次最高，數(shù)據(jù)量最小，在決策知識表達(dá)方面還需進(jìn)一步研究。

3.數(shù)字圖像融合研究熱點及問題

在軍事領(lǐng)域，IR ATR（Infrared imaging automatic target recognition）、基于二維成像聲納的水下運動目標(biāo)三維運動軌跡測量、動態(tài)目標(biāo)跟蹤、水下自主機器人(ROV)及多目標(biāo)定位技術(shù)等為主要研究熱點。

IR ATR在精確武器系統(tǒng)有著廣泛的應(yīng)用，要求工作幀頻高、信號動態(tài)范圍大、實時性強、處理精度高和具有高度的靈活性，但紅外成像圖像細(xì)節(jié)模糊不清、傳輸過程中易受到噪聲的污染，嚴(yán)重影響后續(xù)目標(biāo)檢測、匹配的精度，另外，其復(fù)雜背景低、信噪比小、目標(biāo)還容易受到虛假目標(biāo)及隨機干擾的影響，還存在進(jìn)一步研究的必要。

水下運動目標(biāo)三維運動軌跡測量有內(nèi)測和外測兩種方法，內(nèi)測是在運動目標(biāo)自身內(nèi)部安裝速度、姿態(tài)等相關(guān)傳感器來感知運動目標(biāo)的運動過程中的狀態(tài)信息，可同步提取并處理，但對敵方移動軍事目標(biāo)大多只能采用外測，以光學(xué)和聲學(xué)成像系統(tǒng)對運動目標(biāo)進(jìn)行軌跡測量。基于光學(xué)的測量設(shè)備的測量效果受環(huán)境影響較大，特別是水體的渾濁度，主動高分辨成像聲納能較好地解決惡劣環(huán)境的負(fù)面影響。高分辨的三維成像聲納實現(xiàn)的技術(shù)環(huán)境不成熟，多部二維高分辨聲納成像是現(xiàn)階段采用較多的技術(shù)，實時高速處理二維高分辨聲納圖像、超分辨率重建及相關(guān)的水下多目標(biāo)定位、ROV等都是有待于今后進(jìn)一步深入研究的問題。

在醫(yī)學(xué)領(lǐng)域，腦部磁共振成像 (Magnetic Resonance Imaging，MRI)與單光子發(fā)射計算機斷層成像(Single Photon Em ission Computed Tomography，SPECT)的融合、CT圖像分析、人體病理部位的三維重建在輔助醫(yī)學(xué)診斷及治療過程中的應(yīng)用日益廣泛和深入。在預(yù)處理、配準(zhǔn)、特征提取、融合過程中所使用的算法對其它領(lǐng)域的應(yīng)用也具有借鑒價值。另外，基于ITK和VTK的二次開發(fā)使得醫(yī)學(xué)圖像分割、三維重建更加方便快捷。近幾年在中醫(yī)辨證和人體體表特征的相關(guān)性研究也逐步深入，但離臨床應(yīng)用還存在一定的距離。

在工農(nóng)業(yè)生產(chǎn)領(lǐng)域，水下及特殊環(huán)境下的自主機器人視覺是代表數(shù)字圖像融合技術(shù)應(yīng)用的前沿方向之一，與軍事領(lǐng)域應(yīng)用研究部分重疊，值得進(jìn)一步關(guān)注。此外，ICT(Industrial Computed Tomography)無損檢測技術(shù)通過射線掃描物體獲得投影數(shù)據(jù)，進(jìn)一步重建物體斷面圖像和體數(shù)據(jù)，較適合分析復(fù)雜封閉的檢測對象，關(guān)鍵問題是特征提取，MSG（Multiscale Geometric Analysis）是繼小波分析之后對高維數(shù)據(jù)進(jìn)行有效分析的工具，工業(yè)CT體數(shù)據(jù)面特征的提取包括兩種思路：一種是先將CT體數(shù)據(jù)按某個方向進(jìn)行切片劃分，再對每張切片進(jìn)行線特征的提取，最后由線特征堆砌出面特征；另一種是直接對CT體數(shù)據(jù)進(jìn)行面特征的提取，這方面存在的主要問題是找到合適的方式描述工業(yè)CT體數(shù)據(jù)面特征。其它工業(yè)應(yīng)用如工業(yè)流水線監(jiān)控過程的連續(xù)幀圖像分析、故障診斷等方面的研究則異彩紛呈，由于其分析與故障表征模型的專用性，在數(shù)據(jù)預(yù)處理、分析、特征提取等階段所采取的處理方式也各不相同，但努力的方向都是一樣的：準(zhǔn)確、實時，在這方面也還存在期待解決的問題：能否構(gòu)建通用的特征表示模型，算法是否有并行的解決方案等。在農(nóng)業(yè)生產(chǎn)方面，多源多時空多尺度遙感影像融合技術(shù)在農(nóng)作物長勢分析、收成預(yù)測、水土保持、病蟲害信息提取等方面都有豐富的研究成果，隨著超光譜遙感影像數(shù)據(jù)的廣泛使用所產(chǎn)生的海量數(shù)據(jù)處理技術(shù)應(yīng)用需求更加迫切。超光譜數(shù)據(jù)壓縮、特征提取、并行計算、海量數(shù)據(jù)存取及檢索方法方面還有較多的改進(jìn)空間。

其它領(lǐng)域應(yīng)用如電力設(shè)施在線監(jiān)控、交通監(jiān)控、礦業(yè)資源及林業(yè)資源調(diào)查、礦體三維可視化、礦區(qū)環(huán)境監(jiān)測、礦區(qū)開發(fā)現(xiàn)狀動態(tài)監(jiān)測、地質(zhì)災(zāi)害監(jiān)測及危險性評價也都是近年來的研究熱點。

4.數(shù)字圖像融合算法

數(shù)字圖像融合算法種類繁多，在信號級、像素級、特征級及決策級圖像融合過程中都有著豐富的研究成果，本文僅就其中關(guān)鍵過程做簡要評述。

先討論洗配準(zhǔn)問題，像素級圖像融合的四個步驟：預(yù)處理、變換、綜合及反變換（也即是重構(gòu)圖像）。在預(yù)處理階段中的配準(zhǔn)處理算法SIFT及SURF都有著較強的匹配能力，可以處理兩幅圖像之間發(fā)生的平移、旋轉(zhuǎn)、放射變換情況下的匹配問題，但在多模態(tài)遙感影像配準(zhǔn)中特征匹配正確率極低，如何有效地引入邊緣、輪廓信息提高匹配正確率及速度期待解決。像素級數(shù)字圖像融合方法從PCA、IHS到金字塔算法、多分辨小波變換方法，到現(xiàn)階段智能算法的深度引入，如 KBNNF（know ledge-based neural network fusion）、SVM、PSO、模擬退火算法等，目的是盡可能利用多源多時空影像中提取的特征進(jìn)行配準(zhǔn)，減少配準(zhǔn)過程中的人工交互干預(yù)。

其次在去噪過程中，基于小波變換的去噪方法被廣泛應(yīng)用。此外，由于Bandelet變換它能對圖像局部方向進(jìn)行最優(yōu)逼近，可選擇效果較好的半軟閾值函數(shù)。還有Directionlet基函數(shù)的方向與圖像中各向異性目標(biāo)匹配時，對圖像的逼近效果較好，不匹配時則退化為小波，逼近效果很差，可通過自適應(yīng)地尋找圖像的主要方向，構(gòu)造Directionlet變換的采樣矩陣，使Directionlet的變換方向和隊列方向盡量與圖像的主要方向一致，能夠自適應(yīng)地捕捉圖像中的各向異性特征。隨著多分辨率概念的提出及Contourlet變換的發(fā)展，可對目標(biāo)多個極化強度圖像分別利用Contourlet變換進(jìn)行多尺度、多方向分解，從而得到含有低頻系數(shù)的子圖和一系列具有不同分辨率和不同方向的高頻系數(shù)的子圖，再為每個方向的高頻子帶系數(shù)進(jìn)行區(qū)域差異信息的測量，最后對得到的融合系數(shù)進(jìn)行Contourlet逆變換，重構(gòu)圖像。

最后就模糊圖像融合、仿生計算及并行圖像處理做簡要評價。在數(shù)字圖像融合的智能融合算法中引入模糊集合、模糊關(guān)系及模糊邏輯和推理，便產(chǎn)生了相應(yīng)的模糊圖像融合智能算法：模糊聚類、模糊模式識別、模糊神經(jīng)網(wǎng)絡(luò)、模糊專家系統(tǒng)、模糊綜合評判、模糊決策等。另外，由于計算智能中的仿生學(xué)發(fā)展迅猛，仿生過程算法（模擬進(jìn)化計算、遺傳算法）、仿生結(jié)構(gòu)算法（人工神經(jīng)網(wǎng)絡(luò)）、仿生行為算法（Fuzzy邏輯與Fuzzy推理）在圖像融合中應(yīng)用日益廣泛和深入。而并行圖像處理技術(shù)則主要應(yīng)實時圖像分析的需要而發(fā)展的，也必將更深遠(yuǎn)地影響數(shù)字圖像處理及應(yīng)用的深度和廣度。

5.總結(jié)

數(shù)字圖像融合技術(shù)及其應(yīng)用涵蓋的內(nèi)容較多，本文只就其中主要的技術(shù)和關(guān)鍵的應(yīng)用做出分析和評價，代表著數(shù)字圖像融合技術(shù)的發(fā)展前沿，也希望在未來的工作中在某些方面有所超越。

[1]覃征，鮑復(fù)民等.數(shù)字圖像融合[M].西安：西安交通大學(xué)出版社，2004.

[2]M aiter H，Bloch I.Image Fusion.Vistas in Astronomy，1997，41(3)：329-335.

[3]Taxt T，Solberg A H S.Information Fusion in Remote Sensing.Vistas in Astronomy，1997，41(3)：337-342.

[4]Moulin P.The Role of Information Theory in Watermarking and its Application to Image Watermarking.SignalProcessing，2001，81：1121-1139

[5]Ettinger j.Steganalysis，Game Equilibria.Information Hiding.Lecture Notes in Computer Science，1525.Springer-Verlag，1998：319-328.

[6]Liu Dan-Dan，Tang Chun-Rui，Detail enhance FRIT de-noisy method based on energy delamination.1st International Congress on Image and Signal Processing，CISP 2008.PP357-361.

[7]Kuan Shen，YumeiWen，Yufang Cai.Efficient x-ray image enhancement algorithm using image fusion[J]，Journal of X-RAY Science and Technology，2009，17(3)：207-221.

[8]CaiW L，Chen SC，Zhang DQ.Fastand robust fuzzy c-means cluster algorithms incorporating local information for image enhance-mentation.Pattern Recognition，2007，40(3)：825-833.

[9]F.A.Andalo，P.A.V.Miranda，R.Da S.Torres，A.X.Falcao.Shape feature extraction and description based on tensor scale[J].Pattern Recognition.Volume 43，Issue 1，2010.1：26-36.

[10]Yong Deng，X iaoyan Su，Dong Wang，Q i Li.Target recognition based on fuzzy dempster data fusion method.Defence Science Journal.2010，Vol60，No 5.

[11]N ina Jahrling，KlausBecker，Cornelia Schonbauer，F(xiàn)rank Schnorrer，Hans-U lrich Dodt.Three-Dimensional Reconstruction and Segmentation of IntactDrosophilaby U ltram icroscopy.Front SystNuerosci.2010.4.

[12]Hill.P.R，Bull.D.R，Canagarajah.C.N.Image fusion using a new framework for complex wavelet transforms[C].IEEEConference on Image Processing.Italy：Genova，2005，2：1338.

[13]章毓晉.圖像工程（中冊）圖像分析[M].北京：清華大學(xué)出版社，2005.

[14]Braunl，T.等.并行圖像處理[M].李俊山等譯.西安：西安交通大學(xué)出版社，2003.

[15]Zheng Sheng，ShiWenzhong，Liu Jianguo，Tian Jin Wen.Remote Sensing Image Fusion Using Multiscal Mapped LS-SVM.Transactions on Geoscience&Remote Sensing.Volume 46，Issue 5，2008.5.Pages：1313-1322.

[16]Singh，Harpreet Reet，Raj，Jyoti，Karu Gulsheen，Meitzler Thomas J.Image fusion using fuzzy logic and applications.Fuzzy Systems.Volume：1，2004.Pages：337-340.

[17]W eiHuang，Zhongliang Jing.Multi-focus image fusion using pulse coupled neuralnetwork.Pattern Recognition Letters.Volume 28，Issue 9，1 July 2007，Pages：1123～1132.

[18]N iu，Yi-feng.Shen，Lin-Cheng.The Optimal Multi-objective Optim ization Using PSO in Blind Color Image Fusion.Multimedia and U-biquitousEngineering.2007.8.Page(s)：970-975.

[19]王新洲，史文中，王樹良.模糊空間信息處理[M].武漢：武漢大學(xué)出版社.2003.

[20]Jiaqian Yu，Haibin Duan.Artificial Bee Colony approach to information granulation-based fuzzy radialbasis function neuralnetworks for image fusion.Optik-International Journal for Lightand Electron Optics，2012.