基于邊緣強(qiáng)度匹配的圖像融合并行算法的研究

吳粉俠，李 紅

（咸陽師范學(xué)院 信息工程學(xué)院，陜西 咸陽 712000）

圖像融合是一門綜合了傳感器、圖像處理、信號處理、人工智能等的技術(shù)，它是將不同傳感器或相同傳感器得到的多幅圖像經(jīng)過一定的融合算法進(jìn)行處理，最終得到一幅包含多幅圖像的特征和信息的高質(zhì)量圖像。圖像融合充分利用了多個(gè)待融合圖像中冗余信息和互補(bǔ)信息，是信息融合的一個(gè)有力工具，廣泛應(yīng)用于軍事、遙感、醫(yī)學(xué)圖像處理、制造業(yè)等領(lǐng)域。

目前圖像融合的算法主要分為3個(gè)層次，像素級圖像融合，特征級圖像融合，決策級圖像融合。像素級圖像融合是在基礎(chǔ)數(shù)據(jù)層面上進(jìn)行的信息融合，準(zhǔn)確性高，細(xì)節(jié)信息多，但處理的信息量最大。特征級圖像融合是對預(yù)處理和特征提取后獲取的圖像信息如邊緣，形狀和區(qū)域等信息進(jìn)行綜合與處理，它既保留了足夠的重要信息，又可對信息進(jìn)行壓縮，利于實(shí)時(shí)處理。決策級融合是根據(jù)一定的準(zhǔn)則以及每個(gè)決策的可信度做出最優(yōu)決策，此種融合實(shí)時(shí)性好，并且具有一定的容錯(cuò)能力。像素級圖像融合的算法有最大值最小值融合法，均值融合法，區(qū)域能量最大值融合算法，邊緣強(qiáng)度最大融合算法等[1]。

隨著圖像的規(guī)模的增大及圖像融合算法復(fù)雜度和提高，圖像融合面臨著新的處理速度的挑戰(zhàn)。傳統(tǒng)的圖像融合加速算法多用CPU并行處理模式，如ChaverD等基于通用多處理機(jī)系統(tǒng)研究圖像融合過程中大規(guī)模圖像的并行分解算法[2]；其處理速度也僅是常數(shù)倍的提高。GPU（Grahic Process Unit）從其誕生之日起，處理能力就以超越摩爾定律[3]的速度增長，使用GPU進(jìn)行加速，其處理速度是以數(shù)量級增長的。

本文分析了邊緣強(qiáng)度最大融合算法的并行特性，提出了一種改進(jìn)的邊緣強(qiáng)度最大的圖像融合策略，并在GPU上實(shí)現(xiàn)了該算法。首先分別計(jì)算兩幅圖像對應(yīng)像素的邊緣強(qiáng)度并以邊緣強(qiáng)度作為圖像融合規(guī)則對圖像進(jìn)行融合，需要處理的數(shù)據(jù)量大，而對這些數(shù)據(jù)處理操作基本相同，本質(zhì)上是一種局部的鄰域算法，易于并行化，因此利用GPU對其進(jìn)行了并行加速。實(shí)驗(yàn)結(jié)果表明本文算法得到的融合圖像包含了源圖像中較多信息，邊緣保持度好，從客觀評價(jià)指標(biāo)上總體較好，并且與在CPU上處理速度相比最大加速比達(dá)到近6 000倍。

1 算法思想

1.1 邊緣強(qiáng)度

圖像的邊緣包含了圖像的重要紋理信息，邊緣強(qiáng)度是圖像邊緣的客觀描述。邊緣強(qiáng)度的計(jì)算公式如式1[4]所示。

其中 Edge（x，y）表示像素的邊緣強(qiáng)度，f（x+m，y+n）為鄰域像素的灰度，窗口大小為M×N，一般取3×3或5×5，mean（x-m:x+m，y-n:y+n）為區(qū)域均值。

1.2 邊緣強(qiáng)度最大圖像融合規(guī)則

邊緣強(qiáng)度最大的融合規(guī)則指的是，對應(yīng)像素的邊緣強(qiáng)度計(jì)算以后，選擇邊緣強(qiáng)度絕對值最大的圖像的當(dāng)前像素的灰度作為融合后的圖像的灰度[4]。由于邊緣強(qiáng)度值較大的像素的灰度對應(yīng)圖像中對比度變化較大的邊緣特征，所以，邊緣強(qiáng)度最大法能夠較好地融合源圖像的高頻信息。

1.3 改進(jìn)的邊緣強(qiáng)度最大圖像融合規(guī)則

本文對邊緣強(qiáng)度最大的融合規(guī)則進(jìn)行了改進(jìn)，對應(yīng)像素的邊緣強(qiáng)度計(jì)算以后，計(jì)算兩幅圖像的邊緣強(qiáng)度差，依據(jù)其差值確定融合結(jié)果，融合規(guī)則如式2所示。

1.4 融合算法

本文所提出的圖像的融合算法首先分別計(jì)算圖像1和圖像2對應(yīng)像素M×N為鄰域的均值，再依據(jù)式（1）計(jì)算對應(yīng)位置的邊緣強(qiáng)度，最后再依據(jù)式（2）圖像邊緣強(qiáng)度最大的融合策略對圖像進(jìn)行融合，獲得融合結(jié)果圖像對應(yīng)像素的灰度。

圖1 GPU硬件模型Fig.1 GPU hardware model

2 GPU加速算法的實(shí)現(xiàn)

2.1 GPU體系結(jié)構(gòu)

圖2 CUDA編程模型Fig.2 CUDA Programming model

GPU（Graphics Processing Unit）即圖形處理器，是一種專用的圖形渲染設(shè)備，是顯卡的計(jì)算核心，它分擔(dān)了中央處理器（CPU）的圖形處理任務(wù)。GPU的高度并行化的架構(gòu)和可編程的著色器使人們將它用于計(jì)算通用任務(wù)，隨之產(chǎn)生了GPGPU（General Purpoise Computing on Graphics Processing Unit） 圖形處理器通用計(jì)算技術(shù)，該技術(shù)使顯卡可以進(jìn)行通用計(jì)算任務(wù)，從2009年開始，利用顯卡計(jì)算已漸成主流，GPGPU也漸被GPU計(jì)算代替[5]。GPU通過單指令多數(shù)據(jù)（SIMD）指令類型來支持?jǐn)?shù)據(jù)并行計(jì)算。如圖2所示，在SIMD結(jié)構(gòu)中，單一控制部件向每條流水線分派指令，同樣的指令處理部件同時(shí)執(zhí)行。例如NVDIA8800GT中包含有14組多處理器（Multiprocessor），每組多處理器有8個(gè)處理器（Processor），但每組多處理器只包含一個(gè)指令單元 （Instruction Unit）。從線程角度講，每個(gè)多處理器可并行運(yùn)行768個(gè)活動(dòng)線程，即包含14組多處理器的GPU可并行運(yùn)行10 752個(gè)活動(dòng)線程。從存儲(chǔ)器角度講，每個(gè)多處理器有16 kB可讀寫共享內(nèi)存、8 kB只讀常量內(nèi)存Cache、8 kB只讀紋理內(nèi)存Cache和8 192個(gè) 322 bit寄存器[6]。

2.2 CUDA編程模型簡介

CUDA是NVIDIA公司于2007年正式發(fā)布的一種不需借助圖形學(xué)API就可以使用類C語言進(jìn)行通用計(jì)算的開發(fā)環(huán)境和軟件體系。它包括一個(gè)硬件驅(qū)動(dòng)程序和一個(gè)應(yīng)用程序接口，直接將GPU作為數(shù)據(jù)并行計(jì)算設(shè)備。它能夠利用NVIDIA GPU的并行計(jì)算引擎比CPU更高效的解決許多復(fù)雜計(jì)算任務(wù)[7]。

CUDA編程模型將CPU作為主機(jī)（Host），GPU作為協(xié)處理器（co-processor）或者設(shè)備（Device）。在一個(gè)系統(tǒng)中，可以存在一個(gè)主機(jī)和若干個(gè)設(shè)備。CPU和GPU協(xié)同工作，CPU負(fù)責(zé)進(jìn)行邏輯性強(qiáng)的事務(wù)處理和串行計(jì)算，GPU則專注于執(zhí)行高度線程化的并行處理任務(wù)。CPU和GPU各自擁有相互獨(dú)立的存儲(chǔ)器地址空間：主機(jī)端的內(nèi)存和設(shè)備端的顯存。運(yùn)行在GPU上的CUDA并行計(jì)算函數(shù)稱為kernel（內(nèi)核函數(shù)），它是整個(gè)CUDA程序中的一個(gè)可以被并行執(zhí)行的步驟，以網(wǎng)格（Grid）的形式執(zhí)行，不同的網(wǎng)格則可以執(zhí)行不同的核函數(shù)；每個(gè)網(wǎng)格由若干個(gè)線程塊（Block）組成，每一個(gè)線程塊又由多個(gè)線程（thread）組成[7]。屬于同一線程塊的線程擁有相同的指令地址，能夠并行執(zhí)行，并且能夠通過共享存儲(chǔ)器（Shared memory）進(jìn)行線程塊內(nèi)通信。如圖2所示，一個(gè)完整的CUDA程序是由一系列的設(shè)備端kernel函數(shù)并行步驟和主機(jī)端的串行處理步驟共同組成的，主機(jī)端調(diào)用標(biāo)準(zhǔn)C編譯器生成目標(biāo)代碼，設(shè)備端則由NVIDIA的C編譯器生成相應(yīng)的含有PTX（Parallel Thread Execution）的目標(biāo)代碼，之后兩者鏈接生成完整的可執(zhí)行程序[7]。

2.3 GPU算法實(shí)現(xiàn)

算法中每一個(gè)像素點(diǎn)的融合都是點(diǎn)處理，邊緣強(qiáng)度的計(jì)算是以像素點(diǎn)為中心的鄰域處理，均可以對其進(jìn)行并行加速處理。本算法的GPU實(shí)現(xiàn)由主機(jī)端程序和設(shè)備端程序協(xié)同工作完成。主機(jī)端程序負(fù)責(zé)I/O數(shù)據(jù)的傳輸和程序流控制，設(shè)備端內(nèi)存的分配與釋放及內(nèi)核函數(shù)的啟動(dòng)[7]。本文中，主機(jī)端程序?qū)崿F(xiàn)圖像數(shù)據(jù)的讀寫、主機(jī)端和設(shè)備端存儲(chǔ)空間的分配、主機(jī)端和設(shè)備端數(shù)據(jù)的傳輸、紋理內(nèi)存的綁定與釋放、內(nèi)核函數(shù)的啟動(dòng)及主機(jī)端和設(shè)備端內(nèi)存空間的釋放等功能。在設(shè)備端，按本文算法進(jìn)行邊緣強(qiáng)度的計(jì)算及融合。本文算法中使用一個(gè)核函數(shù)來完成圖像融合的并行處理，使用一個(gè)線程格Grid，Grid中含有和圖像高度一致的線程塊數(shù)，每個(gè)線程塊含有的512個(gè)線程。本文算法將兩幅源圖像數(shù)據(jù)均與紋理存儲(chǔ)器綁定，通過讀取紋理存儲(chǔ)器中的數(shù)據(jù)進(jìn)行快速并行訪問。

本文算法處理流如圖3所示，具體算法步驟如下：

1）通過CPU分別將將兩幅圖像數(shù)據(jù)讀取到主機(jī)端內(nèi)存h_Src1，h_Src2中，并分配主機(jī)端內(nèi)存h_Des以存放融合結(jié)果圖像，根據(jù)讀取的圖像的大小在GPU上分配設(shè)備空間cuArray1、cuArray2、d_Des，拷貝 h_Src1 中的數(shù)據(jù)到設(shè)備內(nèi)存cuArray1中，拷貝h_Src2中的數(shù)據(jù)到設(shè)備內(nèi)存cuArray2中；

2）聲明紋理引用tex1并與cuArray1綁定，聲明紋理引用tex2并與cuArray2綁定；

3）設(shè)定GPU的線程組織；

4）運(yùn)行自定義的kernel函數(shù)對圖像進(jìn)行融合，處理結(jié)果存放到設(shè)備端內(nèi)存變量d_Des；

5）解除tex1與cuArray1紋理綁定，解除tex2與cuArray2紋理綁定；

6）從設(shè)備端向主機(jī)端拷貝結(jié)果數(shù)據(jù)d_Des到主機(jī)端h_Des中，并將h_Des保存到磁盤上；

7） 釋 放 設(shè) 備 端 cuArray1、cuArray2、d_Des 及 主 機(jī) 端h_Src1、h_Src2，h_Des的內(nèi)存空間。

圖3 本文算法流程Fig.3 The process of this algorithm

3 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)編程環(huán)境采用Visual Studio 2010，GPU編程語言CUDA 4.2。實(shí)驗(yàn)的硬件平臺為PC機(jī)，CPU是Intel（R） Core（TM） i5-2380P，顯卡為Novidia GTX 560 SE，含有288個(gè)CUDA核心。實(shí)驗(yàn)中用到了兩組不同的多聚焦圖像 （如圖4所示）。本文采用的融合算法有3種，方法一為利用像素取最大值的方法，方法二為邊緣強(qiáng)度取最大法，方法三為本文所用融合算法，文中選用的窗口大小為3*3計(jì)算像素點(diǎn)的邊緣強(qiáng)度。

對于融合算法的性能評價(jià)采用了熵、互信息和QAB/F，SF 4個(gè)準(zhǔn)則[8]，熵是衡量信息量豐富程度的一個(gè)重要指標(biāo)，通過圖像信息熵的比較可以對比出圖像的細(xì)節(jié)表現(xiàn)能力，熵越大則表示融合圖像所包含的信息量越豐富，融合質(zhì)量越好?；バ畔⒆鳛閮蓚€(gè)變量間的相關(guān)性的度量，用來衡量融合圖像包含源圖像中信息的多少，其值越大表明從源圖像中繼承的信息越多，融合結(jié)果越好。QAB/F利用Sobel邊緣檢測來衡量圖像邊緣信息保持度，其值越大說明邊緣保持越好。SF反映一幅圖像空間域的總體活躍程序，其值越大，圖像越清晰，即融合效果越好。

表1 不同算法圖像處理效果比較Tab.1 Comparison of different algorithms of image processing effect

從實(shí)驗(yàn)結(jié)果看，與方法一相比，本文方法得到的結(jié)果從視覺效果上看圖像對比度清晰，從評價(jià)指標(biāo)來看，熵的指標(biāo)差不多，MI指標(biāo)本文算法偏低，而后面二個(gè)指標(biāo)的值本文算法明顯偏高，表明在對比度，紋理清晰度方面本文算法優(yōu)于絕對值取大融合算法，紋理清晰，邊界保持較好說明本文采用的方法對多聚焦圖像融合時(shí)效果較好；與方法二相比，熵的指標(biāo)差不多，MI指標(biāo)略低，第三個(gè)指標(biāo)相差不多，SF指標(biāo)對clock來說低了許多，對Pepsi圖像來說，相差不大。從視覺效果上看，本文算法所獲取的圖像邊緣清晰，對比度明顯，圖像自然，沒有出現(xiàn)法二所示的偽輪廓和邊緣。總體上說，本文算法對多聚焦圖像融合的效果較好。

通過對圖像進(jìn)行20次測試取平均值的方法對CPU上實(shí)現(xiàn)的算法與GPU上實(shí)現(xiàn)的算法的處理速度做了比較。從表2中可以看出GPU上的加速效果非常明顯，隨著圖像尺寸的增大，采用CUDA進(jìn)行大規(guī)模并行計(jì)算的加速比增大，實(shí)驗(yàn)中的最大加速比達(dá)到近6 000倍。

圖4 待融合圖像Fig.4 The images for fusion

圖5 像素取最大值的方法Fig.5 Method of pixel maximum value

圖6 邊緣強(qiáng)度最大法Fig.6 method of maximal edge strength

圖7 本文方法Fig.7 Proposed method

4 結(jié)束語

本文提出的基于邊緣強(qiáng)度匹配的圖像融合并行算法，依據(jù)圖像的邊緣強(qiáng)度決定采用何種融合策略，并在GPU上對其進(jìn)行了實(shí)現(xiàn)。實(shí)驗(yàn)結(jié)果表明采用本文所用算法得到的融合圖像在保持視覺效果良好及客觀評價(jià)參數(shù)較高的情況下，具有非常高效的處理速度。

表2 不同尺寸圖像處理速度比較Tab.2 Comparison of different size of the image processing speed

[1]趙娟，孫澎濤.基于像素級的圖像融合[J].長春工程學(xué)院學(xué)報(bào)，2011，12（2）:106-108 ZHAO Juan，SUN Peng-tao.The image fusioin based on pixel-level[J].J.C h angchun Ins t.T ech ，2011，12（2）:106-108

[2]Chaver D，Prieto M，Pinuel L，et al.Parallel Wavelet Transform for Large ScaleimageProcessing [C]//Proc of Parallel and Distributed Processing Symposium.2002:4-9.

[3]Owens J，LuebkeD，Govindaraju N.A Survey of General Purpose Computation on Graphics Hardware[J].Computer Graphics Forum，2007，26（1）:80-113.

[4]李紅，吳粉俠，趙蓓娟.基于結(jié)構(gòu)相似性的多源圖像融合[J].咸陽師范學(xué)院學(xué)報(bào)，2012，27（6）：45-48.LI Hong，WU Fen-xia，ZHAO Pei-juan.Multi-source image fusion based on structural similarity[J].Journal of Xianyang Normal University，2012，27（6）：45-48.

[5]仇德元.GPUGPU編程技術(shù)[M].北京：機(jī)械工業(yè)出版社，2012.

[6]吳粉俠，李紅.GPU實(shí)現(xiàn)的椒鹽噪聲自適應(yīng)中值濾波算法[J].咸陽師范學(xué)院學(xué)報(bào)，2013，28（4）：47-51.WU Fen-xia，LI Hong.Improved adaptive filtering algorithm based on programmable GPU[J].Journal of Xianyang Normal University，2013，28（4）：47-51.

[7]CUDA programming guide Ver2.0{EB/OL}.[2009-12-29].http://developer.nvidia.com/object/cuda_2_0downloads.html.

[8]敬忠良，肖剛，李振華.圖像融合理論與應(yīng)用[M].北京：高等教育出版社，2007.