多源圖像融合綜述

劉立坤

(中國(guó)人民解放軍 91550部隊(duì)94分隊(duì)，遼寧 大連 116023)

1 圖像融合的概念

圖像融合［1］(Image Fusion)是關(guān)于同一個(gè)場(chǎng)景的兩個(gè)或兩個(gè)以上圖像中感興趣的信息相結(jié)合的過(guò)程，通過(guò)這一過(guò)程得到一個(gè)更多信息量的圖像。圖像場(chǎng)景中感興趣的信息的選取取決于的應(yīng)用程序。融合后系統(tǒng)工作頻段范圍與探測(cè)能力顯著提升，獲取信息的效率與整體系統(tǒng)可靠性明顯提高。融合圖像是無(wú)法從其中任何單一傳感器獲得。

圖像融合技術(shù)的應(yīng)用相當(dāng)廣泛［2］，涵蓋日常生活的許多方面，大到國(guó)家的航空航天、軍事國(guó)防等領(lǐng)域，小到醫(yī)療方面的醫(yī)學(xué)造影、小區(qū)的安全監(jiān)控等應(yīng)用。圖像融合技術(shù)在某些方面替代了人類視覺(jué)某些難以完成的工作。圖像融合就其應(yīng)用所起作用主要包括:

(1)圖像增強(qiáng)［3］。通過(guò)融合來(lái)自不同傳感器的圖像，從而獲得更清晰的圖像。例如，在遙感領(lǐng)域應(yīng)用中，常用兩種傳感器獲得同一區(qū)域地貌的高分辨率圖像和多光譜圖像，對(duì)這兩種圖像進(jìn)行融合，可以獲得該區(qū)域地貌的細(xì)節(jié)和輪廓更清晰的圖像。如紅外與可見(jiàn)光融合技術(shù)，可用于火災(zāi)預(yù)防與探測(cè)、敏感區(qū)域的治安監(jiān)控等等。

(2)特征提取。融合多傳感器的圖像后，可以得到某些特征更加突出的圖像，從而方便這些特征的提取(比如線條，邊緣輪廓等特征)。

(3)圖像去噪。目前有學(xué)者提出一種基于多個(gè)小波基的圖像融合去噪方法。與傳統(tǒng)的圖像去噪濾波方法(均值濾波、中值濾波、維納濾波等方法)相比，該去噪方法保留了更多圖像的細(xì)節(jié)信息。

(4)目標(biāo)識(shí)別與跟蹤。單一傳感器往往會(huì)受環(huán)境及傳感器成像范圍的限制，不能完全反應(yīng)場(chǎng)景信息，要獲得更清楚的目標(biāo)的細(xì)節(jié)以及運(yùn)動(dòng)軌跡圖像，往往通過(guò)圖像融合來(lái)達(dá)到。比如，有的研究人員研究的基于紅外與可見(jiàn)光的人臉識(shí)別等已經(jīng)應(yīng)用于機(jī)器人的智能識(shí)別系統(tǒng)。

(5)三圍重構(gòu)。通過(guò)分析多源圖像多樣性與相關(guān)性特征，運(yùn)用提升小波進(jìn)行快速圖像融合，然后根據(jù)微表面圖像紋理相似性，抽取出高程數(shù)據(jù)，通過(guò)頂點(diǎn)數(shù)組方式快速重構(gòu)三維立體場(chǎng)景［4］。

2 多源圖像融合的層次

圖像融合的層次可分為:像素級(jí)、特征級(jí)和決策級(jí)。

像素級(jí)融合是在基礎(chǔ)數(shù)據(jù)層面上進(jìn)行的信息融合，是最低層次的圖像融合，像素級(jí)圖像融合的結(jié)果為圖像，所以該類融合結(jié)果可以給予觀察者對(duì)現(xiàn)場(chǎng)以更快捷、直觀和全面的認(rèn)識(shí)，同時(shí)也更適合機(jī)器的進(jìn)一步處理和分析。特征級(jí)融合是對(duì)邊緣、形狀、紋理和區(qū)域等特征信息進(jìn)行綜合與處理，是中間層次的圖像融合，其特點(diǎn)是可對(duì)信息進(jìn)行壓縮處理，方便實(shí)時(shí)化處理。決策級(jí)融合利用對(duì)初始目標(biāo)的檢測(cè)和分類的輸出作為輸入的融合算法進(jìn)行數(shù)據(jù)集成決策級(jí)融合是以一定的準(zhǔn)則以及每個(gè)決策的可信度做出最優(yōu)決策，是最高層次的圖像融合。其特點(diǎn)是融合實(shí)時(shí)性比較較，同時(shí)由于信息量較少，容錯(cuò)能力比較強(qiáng)。像素級(jí)圖像融合可以保持盡可能多的源圖像數(shù)據(jù)，而特征級(jí)和決策級(jí)圖像融合可能會(huì)導(dǎo)致不準(zhǔn)確、不完整的傳遞的信息。

3 圖像融合的主要研究?jī)?nèi)容

圖像融合研究的主要內(nèi)容根據(jù)各層次融合在實(shí)際應(yīng)用中的不同，產(chǎn)生了許多不同的圖像融合處理方法。

3.1 像素級(jí)圖像融合

像素級(jí)圖像融合是目前圖像融合領(lǐng)域研究最早，也是研究得最多的圖像融合。像素級(jí)圖像融合一般可分為圖像預(yù)處理、圖像變換、信息綜合和圖像反變換四個(gè)處理階段。在預(yù)處理階段，主要是對(duì)源圖像進(jìn)行濾波去噪和圖像配準(zhǔn)處理。變換階段最常使用的方法有PCA、IHS變換、多分辨率方法等。在綜合階段就是對(duì)變換后的圖像以一定規(guī)則進(jìn)行綜合。反變換階段通過(guò)對(duì)綜合階段的那組系數(shù)進(jìn)行逆變換操作，從而得到融合圖像。

3.2 特征級(jí)圖像融合

特征級(jí)圖像融合處理先是對(duì)圖像進(jìn)行特征提取后再對(duì)這些特征信息進(jìn)行綜合分析與處理的一種融合方法。它是融合層次的中間層次，所提取的特征信息一般都是一種像素信息的充分統(tǒng)計(jì)量或表示量，具體包括目標(biāo)的邊緣、方向等信息。隨著科技的不斷發(fā)展，圖像信息壓縮算法得到不斷提高，特征級(jí)圖像融合在實(shí)時(shí)處理方面的優(yōu)勢(shì)逐漸凸顯出來(lái)，目前的C4I系統(tǒng)的數(shù)據(jù)融合研究大都在這一層次上展開(kāi)。特征級(jí)圖像融合一般可分為目標(biāo)狀態(tài)數(shù)據(jù)融合和目標(biāo)特性融合兩大類。目標(biāo)狀態(tài)數(shù)據(jù)融合實(shí)現(xiàn)過(guò)程首先是校準(zhǔn)圖像預(yù)處理完成的數(shù)據(jù)，再矢量估計(jì)主要參數(shù)的相關(guān)狀態(tài)，一般應(yīng)用在多傳感器目標(biāo)跟蹤領(lǐng)域。目標(biāo)特性融合屬于特征層面的聯(lián)合識(shí)別，即在融合前對(duì)圖像特征進(jìn)行分類組合等相關(guān)處理。

3.3 決策級(jí)圖像融合

決策級(jí)圖像融合是目前最高層次的融合，其結(jié)果為各種控制或決策提供依據(jù)。因此，決策級(jí)圖像融合必須結(jié)合具體的應(yīng)用以及后續(xù)決策的需求，有目的有選擇的提取或測(cè)量有關(guān)圖像數(shù)據(jù)的各類特征信息，從而實(shí)現(xiàn)融合目標(biāo)，其結(jié)果直接影響決策水平。決策級(jí)圖像融合的輸入信息為各種特征信息，輸出結(jié)果為決策描述，因此就具備數(shù)據(jù)量小、抗干擾能力強(qiáng)的特點(diǎn)。其主要優(yōu)點(diǎn)有:(1)信息傳輸要求不高。這是尤其數(shù)據(jù)量少?zèng)Q定的。(2)容錯(cuò)性能好。通過(guò)適當(dāng)?shù)娜诤戏椒梢韵龑?duì)傳感器的數(shù)據(jù)干擾。(3)決策能力強(qiáng)。能全方位有效反應(yīng)目標(biāo)及目標(biāo)所在環(huán)境的真實(shí)信息。(4)數(shù)據(jù)要求低。傳感器可以相同類型或不同類型，對(duì)傳感器的依賴和要求降低。

［1］敬忠良，肖剛，李振華.圖像融合——理論應(yīng)用［M］.北京:高等教育出版社，2007.10.

［2］覃征，鮑復(fù)民，李愛(ài)國(guó)等.數(shù)字圖像融合［M］.西安:西安交通大學(xué)出版社，2004.7.

［3］張兆禮，孫圣和.基于一種自組織神經(jīng)網(wǎng)絡(luò)的圖像數(shù)據(jù)融合算法研究.電子學(xué)報(bào)，2000，22(9):40～43.

［4］李祥，傅俊瓊.基于圖像融合的微表面快速三維重構(gòu)算法研究.計(jì)算機(jī)應(yīng)用研究，2009，26(10).