數(shù)字圖像融合研究綜述

李桃 侯紅英 王德賢 西華師范大學計算機學院

數(shù)字圖像融合研究綜述

李桃 侯紅英 王德賢 西華師范大學計算機學院

本文首先了介紹了圖像融合的定義、特點、應用狀況，然后重點介紹了在基于PCNN模型的圖像融合研究中存在的問題，接著闡述了圖像融合技術取得的進步，最后指出了圖像融合技術潛在的研究方向。

圖像融合 應用情況 PCNN 研究方向

隨著傳感技術的飛速發(fā)展，人們獲取的圖像也越來越多，但是分析和處理這些圖像的效率遠遠落后于圖像數(shù)量增加的速率。圖像融合技術提供了一種從一系列圖像中整合冗余和補充信息的有效方法。

圖像融合的目的是為了提高信息的可用性，從而得到更準確，更可靠的信息，對圖像進行更全面的描述。

1 圖像融合的定義

圖像融合是將兩個或多個源圖像進行融合，以形成一個新的，更清晰、更可靠的圖像，所得到的圖像將比任何輸入圖像的信息量更豐富，也更適合于視覺感知或計算機處理。圖像融合使用一定的算法，融合后將產(chǎn)生包含源圖像最佳方面的圖像。

圖像融合可以分為兩大類：估計融合和圖像融合，并且隨著應用領域的不同而有所差別。

圖像的融合處理通?？梢栽谌齻€層次上進行：像素級、特征級和決策級。

當源圖像是從相同的傳感器獲取時，圖像融合通常被稱為多灶性的融合，多視角的融合，或多時相融合。多聚焦融合是指在不同長度焦點的情況下進行反復的融合圖像。多視角的融合是指從不同的角度融合圖像。多時相融合是指采取不同的時間來檢測圖像之間的變化或把未在預期時間內(nèi)拍攝的對象合成逼真的圖像。

當源圖像（如可見光和紅外線，CT和核磁共振，全色和多光譜衛(wèi)星圖像，這些圖像都屬于多模態(tài)圖像）是從不同的傳感器獲取時，圖像融合通常被稱為多傳感器融合。在醫(yī)學成像中，它被用來融合CT、MRI或PET圖像。同時，在遙感和天文學中，多傳感器融合通過融合來源于兩個傳感器的圖像來實現(xiàn)高空間和光譜分辨率。

2 圖像融合的特點

（一）消除了不同傳感器之間的數(shù)據(jù)冗余

（二）增強了圖像數(shù)據(jù)的可靠性

（三）擴展了系統(tǒng)的覆蓋范圍

（四）保證系統(tǒng)在各種運行情況下的性能

（五）使探測性能變得更好

（六）容錯性好，性能穩(wěn)定

（七）降低了對單個傳感器的性能要求

3 應用情況

由于融合后的圖像整合了無法從單一來源圖像獲得的各種不同的信息數(shù)據(jù)，因此圖像融合是一種分析和充分利用大容量源圖像的有效的方法。圖像融合在某些應用領域中扮演著重要的角色，例如醫(yī)學治療、攝影、遙感、軍事、安全、監(jiān)視、視頻監(jiān)控、計算機視覺等。

4 PCNN圖像融合研究中存在的問題

近年來，圖像融合的重要性新技術（如主成分分析，多尺度分析和各種變換方法）逐漸開始應用于圖像融合。例如，采用多尺度分析方法可以取得良好的圖像融合性能。作為一種新型的人工神經(jīng)網(wǎng)絡，脈沖耦合神經(jīng)網(wǎng)絡（PCNN）產(chǎn)生后不久便在圖像融合中被應用起來。例如，布魯薩爾和羅杰斯在1996首次在圖像融合應用PCNN。隨后，許多基于PCNN的圖像融合算法被迅速的提出，越來越多的研究人員開始研究基于PCNN的圖像融合。

PCNN是一個單層、二維，由若干個整合-激發(fā)神經(jīng)元相連接的神經(jīng)網(wǎng)絡。這是一個無需任何訓練的神經(jīng)網(wǎng)絡。PCNN具有發(fā)放脈沖同步、穩(wěn)定性、波的形成與傳播等特性，這是其他神經(jīng)網(wǎng)絡所沒有的，由于PCNN的這些優(yōu)勢，它被廣泛應用于數(shù)字圖像處理中。

基于PCNN的圖像融合在空間域和變換域中被得到了很好的應用。大多數(shù)PCNN方法是通過計算機程序仿真實現(xiàn)的。然而，很少有研究人員試圖在硬件平臺上設計和實現(xiàn)PCNN圖像融合。

雖然近年來已經(jīng)對PCNN模型做了大量研究，但目前的研究還存在許多問題。首先，PCNN有待進一步研究，許多潛在特征應該被更深入的探索，對PCNN的研究是提高其應用效果的關鍵。其次，我們更應該注意修改后的PCNN模型的合理性，也就是說，當我們打算修改PCNN模型，我們是否應該遵循一些規(guī)則？例如，哪一部分可以改變？哪一部分不能改變？但從現(xiàn)有的參考文獻中，我們發(fā)現(xiàn)許多研究人員是根據(jù)自己的意愿來修改PCNN模型。研究者修改PCNN模型時，除了考慮良好的融合結果，還應該考慮到許多其他因素。最后，雖然近年來基于PCNN的圖像融合框架已經(jīng)基本保持穩(wěn)定，然而，我們應該在未來探索更有效的框架。

5 圖像融合取得的進步

我們已經(jīng)在圖像融合領域取得了許多重大的進展，如最佳融合規(guī)則、分布式融合和傳感器管理。綜合優(yōu)化方法是一個很有前景的方法，它已被應用于最優(yōu)分布式融合，它可以推廣線性融合規(guī)則，為融合規(guī)則提供統(tǒng)一的框架，還為最優(yōu)融合方法提供了一種替代方法。此外，信息融合也已被應用到其他應用程序，即衛(wèi)星姿態(tài)估計與視覺目標跟蹤。

6 圖像融合潛在的研究方向

現(xiàn)在一些新的算法已經(jīng)被應用在圖像融合領域，如稀疏表示，小波家族體系和壓縮感知。然而，一些實現(xiàn)高融合性能的方法需要大量的存儲空間和計算時間。因此，未來潛在的研究方向可能是是減少計算復雜度或內(nèi)存要求。更確切的說，未來人們的注意力會集中在如何保證圖像融合效率和計算效率之間的平衡。

此外，圖像融合也可以被看作是一個動態(tài)過程。應該注意的是，時間穩(wěn)定性和一致性的問題仍然是一個具有挑戰(zhàn)性的話題。此外，我們還沒有從理論與實踐的角度上探討動態(tài)融合性能。

[1]尚政國.多分辨率分析及其在圖像處理中的應用研究[D].哈爾濱：哈爾濱工程大學，2008:15-16

[2]王輝全.帶鋼多源圖像融合方法的研究[D].沈陽：東北大學，2011:28-29

[3]ZhongLiang Jing，Han Pan，YanYuan Qin.Current progress of information fusion in China[J].Chin.Sci. Bull，2013，58(36): 4533-4540

[4]Zhaobin Wang，Shuai Wang，Ying Zhu，Yide Ma.Review of Image Fusion Based on Pulse-Coupled Neural Network[J].Archives of Computational Methods in Engineering，2016，23(4):659 671

[5]潘現(xiàn)甫.圖像融合技術研究[D].北京：北京理工大學，2016:70-71

[6]姜志.基于PCNN和NSCT變換的圖像融合算法[D].浙江：浙江理工大學，2014：21

西華師范大學國家級大學生創(chuàng)新創(chuàng)業(yè)項目；項目編號：201510638047。

李桃（1991—），男，漢族，四川簡陽市人，學生，理學碩士，單位：西華師范大學計算機學院計算機應用技術專業(yè)，研究方向：圖像處理。