圖像融合算法性能評價(jià)系統(tǒng)研究

李翠玲 李宇中

摘要圖像融合的主要思想是采用一定的算法，把具有不同成像機(jī)理的圖像傳感器對同一場景的多個(gè)成像信息融合成一個(gè)新的圖像，從而使融合的圖像可信度更高，更適合人的視覺及計(jì)算機(jī)的檢測、分類、識別、理解等處理。本論文致力于對圖像融合相關(guān)技術(shù)進(jìn)行應(yīng)用、研究與實(shí)現(xiàn)，利用Matlab的GUI編寫人機(jī)界面，實(shí)現(xiàn)多幅圖像的輸入、圖像顯示、圖像融合以及根據(jù)性能指標(biāo)判斷融合后圖像的優(yōu)劣。

關(guān)鍵詞PCA小波變換圖像質(zhì)量評價(jià)MATLAB GUI

1 本課題主要研究內(nèi)容

在圖像融合算法性能評價(jià)系統(tǒng)研究中，利用Matlab的GUI編寫人機(jī)界面，實(shí)現(xiàn)多幅圖像的輸入、圖像顯示、圖像融合以及根據(jù)性能指標(biāo)判斷融合后圖像的優(yōu)劣；在算法上選擇了average（平均數(shù)算法）、PCA method（對基于主成份分析的識別算法）、Laplacian Pyramid（拉普拉斯金字塔算法）、DWT with DBSS（小波變換）四種算法來進(jìn)行圖像融合，同時(shí)在一定要求下加入噪聲來進(jìn)行比較；在性能評價(jià)上面通過兩幅殘缺圖像進(jìn)行以上四種算法的融合，并利用圖像的均值、標(biāo)準(zhǔn)差、熵和空間頻率這四個(gè)基本指標(biāo)的參數(shù)值來評價(jià)融合的效果。建立客觀的圖像融合技術(shù)評價(jià)標(biāo)準(zhǔn)，設(shè)計(jì)圖像融合算法性能評價(jià)系統(tǒng)。

1.1 圖像融合算法概述

（1）average（平均算法）?；诰植繀^(qū)域?qū)Ρ榷鹊倪x擇法利用人眼對對比度非常敏感這一事實(shí)，從兩幅原圖像中選擇對比度最大的像素點(diǎn)作為合成圖像的像素點(diǎn)。因?yàn)閳D像中的噪聲具有很高的對比度，所以對比度的選擇技術(shù)對噪聲非常敏感，這樣合成圖像中將包含很強(qiáng)的噪聲。于是Burr提出了平均和選擇相結(jié)合的方法，即用1個(gè)匹配矩陣來表示兩幅圖像的相似程度。當(dāng)兩幅圖像很相似時(shí)，合成圖像就采用兩幅圖的平均值，也就是權(quán)值分別為0.5和0.5，這樣就可以抑制噪聲。

（2）主成份分析(PCA)的識別算法。主成份分析（PCA）方法的實(shí)質(zhì)是將高維數(shù)據(jù)降為低維數(shù)據(jù)，使人們能夠更直觀地看到數(shù)據(jù)的結(jié)構(gòu)，因而可以用于模式識別、數(shù)據(jù)的特征提取及數(shù)據(jù)壓縮等領(lǐng)域。實(shí)際操作是將原來的各個(gè)因素指標(biāo)重新組合，組合后的新指標(biāo)是互不相關(guān)的，在由這些新指標(biāo)組成的新特征軸中，只用前幾個(gè)分量圖像就能完全表征原始集群的有效信息，圖像中彼此相關(guān)的數(shù)據(jù)被壓縮，而特征得到了突出，此方法在對于具有相關(guān)因子的多源遙感數(shù)據(jù)進(jìn)行融合時(shí)有顯著優(yōu)勢。

（3）Laplacian Pyramid（拉普拉斯金字塔算法）。用金字塔在空間上表示圖像是一種簡單方便的方法。概括地說金字塔圖像融合法就是將參加融合的每幅源圖像作金字塔表示，將所有圖像的金字塔表示在各相應(yīng)層上以一定的融合規(guī)則融合，可得到合成的金字塔，將合成的金字塔，用金字塔生成的逆過程重構(gòu)圖像，則可得到融合圖像。拉普拉斯金字塔分解，是實(shí)現(xiàn)圖像多分辨率分析的一種有效方式。每一層次拉普拉斯金字塔分解，將產(chǎn)生一個(gè)近似部分和剩余部分，其中將近似部分作了抽取，變?yōu)樵瓉淼?/2，下一層的分解只對近似部分進(jìn)行，最后將形成第 n層近似部分和N個(gè)細(xì)節(jié)部分組成的金字塔式的圖像分解。

（4）基于小波變換的圖像融合。在眾多的圖像融合技術(shù)中，基于小波變換的圖像融合方法已成為現(xiàn)今研究的一個(gè)熱點(diǎn)。在一幅圖像的小波變換中，絕對值較大的小波系數(shù)對應(yīng)于邊緣這些較為顯著的特征，所以大部分基于小波變換的圖像融合算法主要研究如何選擇合成圖像中的小波系數(shù)，也就是三個(gè)方向上的高頻系數(shù)，從而達(dá)到保留圖像邊緣的目的。雖然小波系數(shù)（高頻系數(shù)）的選擇對于保留圖像的邊緣等特征具有非常主要的作用，但尺度系數(shù)（低頻系數(shù)）決定了圖像的輪廓，正確地選擇尺度系數(shù)對提高合成圖像的視覺效果具有舉足輕重的作用。

1.2 圖像性能評價(jià)概述

為了定量評價(jià)融合圖像的效果和質(zhì)量，在性能評價(jià)上面通過兩幅殘缺圖像進(jìn)行以上四種算法的融合，并利用圖像的均值、標(biāo)準(zhǔn)差、熵和空間頻率這四個(gè)基本指標(biāo)的參數(shù)值來評價(jià)融合的效果。

（1）均值(Average Value)。均值是像素的灰度平均值，它反映了圖像的平均亮度，如果均值適中，則目視效果良好；在統(tǒng)計(jì)理論中，統(tǒng)計(jì)均值定義為均值的大小表示了圖像像素值的平均大小。

（2）標(biāo)準(zhǔn)差(Square Difference)。標(biāo)準(zhǔn)差作為衡量圖像信息的重要指標(biāo)，反映了灰度偏離灰度均值的程度，標(biāo)準(zhǔn)差越大，則灰度級分布越分散，圖像中所有灰度級出現(xiàn)的概率越趨于相等，則包含的信息量越趨于最大。標(biāo)準(zhǔn)差是均值間接求得的，圖像的標(biāo)準(zhǔn)差反映了圖像像素值的分布情況。

（3）熵（Entropy）。圖像的熵是包含平均信息量多少的度量，是衡量該圖像信息豐富程度的一個(gè)重要指標(biāo)。熵可用于衡量融合圖像的整體信息量，數(shù)值越大表示融合效果越好。

（4）空間頻率。空間頻率反映圖像的全面活躍水平，其值越大圖像越清晰。

MATLAB語言在矩陣運(yùn)算和數(shù)值計(jì)算等方面具有強(qiáng)大的功能，而且非常直觀、簡潔、效率高、交互性好，在數(shù)字圖像處理領(lǐng)域有較強(qiáng)的應(yīng)用性。系統(tǒng)結(jié)構(gòu)設(shè)計(jì)的思路按照MATLAB具體的仿真步驟：（1）將兩幅有缺陷的圖像采集到計(jì)算機(jī)內(nèi)，并將采集來的圖文格式圖像轉(zhuǎn)化為MATLAB支持的灰度圖像；（2）在圖像融合的average（平均數(shù)算法）、PCA method（對基于主元分析的識別算法）、Laplacian Pyramid（拉普拉斯金字塔算法）、DWT with DBSS（小波變換）四種算法中選擇一種算法來進(jìn)行圖像融合；（3）按選定融合規(guī)則，對兩幅圖像進(jìn)行融合處理，得到融合的圖像并得出評價(jià)分?jǐn)?shù)；（4）選擇并利用圖像的均值、標(biāo)準(zhǔn)差、熵和空間頻率這四個(gè)基本指標(biāo)的參數(shù)值來評價(jià)融合的效果；（5）結(jié)束。

根據(jù)圖像融合算法性能評價(jià)系統(tǒng)的流程，結(jié)合Matlab編程，設(shè)計(jì)出能夠載入圖像，并進(jìn)行圖像融合和性能評價(jià)的GUI圖形界面。

2.1 圖像輸入模塊

在圖像輸入模塊中，選擇路徑載入兩幅聚焦不同的圖片：圖像A為背景清晰但是近處鐵線結(jié)模糊的遠(yuǎn)景圖；圖像B為背景模糊但是鐵線結(jié)清晰的近景圖。

2.2 圖像融合模塊

（1）算法選擇。在圖像融合的average、PCA method、Laplacian Pyramid、DWT with DBSS四種算法中選擇一種算法來進(jìn)行圖像融合；在Laplacian Pyramid和DWT with DBSS的選擇過程中，需要進(jìn)一步選擇高通系數(shù)、低通系數(shù)和分解層數(shù)。

（2）圖像融合完成。在選擇完融合算法之后，點(diǎn)擊如圖1所示“融合圖像”的按鈕，系統(tǒng)在完成圖像融合之后會(huì)出現(xiàn)“融合完成??！”字樣，并在窗口中顯示出融合后的圖像。

（3）融合圖像評分。在完成圖像融合之后，點(diǎn)擊如圖所示“計(jì)算分值”按鈕，可以顯示出對融合圖像計(jì)算的分值，在該模塊中四種算法的融合圖像評分結(jié)果和人眼對圖像的視覺感觀基本達(dá)到一致。

（4）圖像評價(jià)參數(shù)選擇。通過選擇圖1所示左側(cè)四個(gè)評價(jià)參數(shù)的按鈕，在圖像基本參數(shù)模塊中將顯示出相應(yīng)的參數(shù)值，圖像A、圖像B以及融合圖像的對應(yīng)參數(shù)值橫向顯示可進(jìn)行對比。

3 圖像融合算法性能評價(jià)系統(tǒng)的設(shè)計(jì)

3.1 圖像質(zhì)量主觀評價(jià)

從融合圖像來看，效果最好的是基于DWT和拉普拉斯塔形分解融合算法中選擇高通系數(shù)為Salience/match measure，低通系數(shù)為inputA的融合圖像如圖2和圖3。圖2的融合圖像對比度好，基本能夠體現(xiàn)出目標(biāo)近處和遠(yuǎn)處相對準(zhǔn)確的細(xì)節(jié)信息；圖3的融合圖像對比度較差，亮度較暗需要進(jìn)一步增強(qiáng)。

3.2 圖像質(zhì)量客觀評價(jià)

3.3 圖像融合效果分析

從上述圖像實(shí)驗(yàn)主觀、客觀評價(jià)分析可以看出，融合算法效果最好的是基于DWT小波變換中高通系數(shù)為choose max、低通系數(shù)為inputB、分解層數(shù)為7的融合算法（圖4），該種算法在均值和標(biāo)準(zhǔn)差兩個(gè)評價(jià)指標(biāo)上得到最大值。其次是基于DWT小波變換中高通系數(shù)為Salience/matchmeasure、低通系數(shù)為inputA、分解層數(shù)和區(qū)域塊數(shù)都為3的融合算法（圖3），該種算法在熵的參數(shù)值和融合圖像的評分上處于領(lǐng)先。至于融合圖像評分最高分的基于拉普拉斯塔形分解中高通系數(shù)為Salience/match measure、低通系數(shù)為inputA、分解層數(shù)為2、區(qū)域塊數(shù)為5的融合算法（圖2），卻在四個(gè)評價(jià)指標(biāo)的數(shù)值上沒有最高值的顯示。

4 結(jié)論

融合圖像質(zhì)量主觀評價(jià)方法就是觀察者依靠自己的感覺對圖像的質(zhì)量進(jìn)行評價(jià)的方法。具體做法是由一組觀察者，對不同圖像融合方法得到的融合圖像進(jìn)行打分，或者對融合圖像中特定目標(biāo)進(jìn)行識別，統(tǒng)計(jì)出識別率和識別時(shí)問，然后綜合比較各融合圖像的優(yōu)劣。主觀評價(jià)方法的優(yōu)點(diǎn)是比較容易實(shí)現(xiàn)、結(jié)果較可靠，缺點(diǎn)是受圖像類型、應(yīng)用環(huán)境、觀察者的選取等因素的影響較大。

融合圖像質(zhì)量客觀評價(jià)方法是根據(jù)圖像融合的目的，選取和比較源圖像與融合圖像的具體評價(jià)參數(shù)來做出對融合圖像質(zhì)量的評價(jià)?？陀^評價(jià)方法不受人為因素影響，但選取不同的參數(shù)可能導(dǎo)致評價(jià)結(jié)果不同，從而與實(shí)際的融合圖像質(zhì)量不吻合，影響評價(jià)的可信度。這里采用在實(shí)際研究中常用的評價(jià)指標(biāo)對圖像融合質(zhì)量進(jìn)行客觀評價(jià)。

利用Matlab所提供的圖像處理與分析工具，結(jié)合其強(qiáng)大的矩陣計(jì)算能力，研究人員可利用前人已取得的研究成果，可以把精力集中在圖像融合技術(shù)理論的研究上，而不必關(guān)心圖像文件的格式、讀寫、顯示和已有成果的技術(shù)細(xì)節(jié)，并快速測試其圖像融合與質(zhì)量評價(jià)的新方案。測試時(shí)既可方便地得到統(tǒng)計(jì)數(shù)據(jù)，又可得到直觀圖示，免去了許多編程的煩惱，取得了事半功倍的效果。本文在 Matlab平臺支持下，從實(shí)際應(yīng)用的角度探討了四種常見圖像融合方法的具體實(shí)現(xiàn)過程，該系統(tǒng)為圖像融合及質(zhì)量評價(jià)提供一種算法實(shí)驗(yàn)平臺。