基于提升小波的古銅鏡X光圖像融合方法研究

劉 凱，王慧琴*，吳 萌，相建凱,盧 英

(1.西安建筑科技大學(xué) 信息與控制工程學(xué)院， 西安 710055；2.陜西省文物保護(hù)研究院， 西安 710075)

引 言

文物在出土后，表面會(huì)有較厚的銹層或者其它附著物，局部甚至全部掩蓋文物信息，以至于通過(guò)直接觀察很難完整地顯現(xiàn)信息，而在未知的情況下對(duì)文物進(jìn)行保護(hù)或修復(fù)處理，容易對(duì)其造成傷害。X射線成像技術(shù)作為5種常用的無(wú)損檢測(cè)技術(shù)之一，可以在文物檢測(cè)與文物信息重建中廣泛應(yīng)用，在我國(guó)文物研究中，隨著文物保護(hù)工作的日益完善與更加科學(xué)化的保護(hù)研究，X射線檢測(cè)技術(shù)越來(lái)越受到重視和普及，使得在文物保護(hù)方面也得到了技術(shù)支持與推進(jìn)[1]。X光片上表現(xiàn)的信息較少地受到表面腐蝕物的干擾，它所呈現(xiàn)的文物面貌比肉眼直接觀察更為精準(zhǔn)。X光射入文物后，會(huì)與文物發(fā)生相互作用，被文物材質(zhì)吸收或被其散射。不同材質(zhì)和厚度的文物對(duì)X光的反應(yīng)不同，從而使X光射線的強(qiáng)度在射穿文物后發(fā)生不同程度的衰減[2]。材料中所含元素的相對(duì)原子數(shù)越大，材料厚度越厚，對(duì)X射線吸收越強(qiáng)。因銅鏡的邊緣區(qū)和紋飾區(qū)的厚度不同，最佳X光投射強(qiáng)度也不同。因此，分別使用邊緣區(qū)和紋飾區(qū)的最佳投射強(qiáng)度，會(huì)得出兩幅X光片，兩幅X光分別集中了邊緣區(qū)和紋飾區(qū)的詳細(xì)信息，圖像融合技術(shù)可良好地融合銅鏡的詳細(xì)信息。

圖像融合是通過(guò)計(jì)算機(jī)技術(shù)和圖像處理等技術(shù)，將多源通道收集的相同目標(biāo)圖像，提取每個(gè)通道的數(shù)據(jù)，并且集成有利信息用來(lái)形成高質(zhì)量圖像的處理過(guò)程[3-4]。小波變換因其良好的時(shí)頻局部性和多分辨性，已成為非平穩(wěn)信號(hào)分析的常用工具，被廣泛應(yīng)用于包括圖像融合在內(nèi)的圖像處理之中[5]。近幾十年里，圖像融合研究取得了長(zhǎng)足的發(fā)展，出現(xiàn)了許多的融合方法和融合策略，而基于多分辨率分析的圖像融合方法考慮到人眼視覺(jué)系統(tǒng)的敏感特性，將圖像分解到不同尺度空間，有針對(duì)性地突出圖像的重要特征和細(xì)節(jié)信息[6]。實(shí)際上，大多都是可見光與多傳感器的多源圖像融合，如CHEN等人使用小波變換的方法融合了紅外與X光的圖像融合[7]。ZHANG等人使用稀疏表示對(duì)遙感圖像進(jìn)行融合[8]。X光多源圖像融合僅在醫(yī)學(xué)影像領(lǐng)域有所應(yīng)用與研究，CHEN等人使用光線跟蹤配準(zhǔn)圖像算法融合多源X光圖像的信息融合[9]。YANG等人使用提升小波變換融合醫(yī)學(xué)上的計(jì)算機(jī)斷層掃描(computed tomography,CT)與核磁共振成像(magnatic resonance imaging,MRI)圖像等[10]。但X光多源圖像融合在文物信息重建方面尤為缺乏。

1 相關(guān)理論

1.1 圖像融合

圖像融合可以根據(jù)信息流的不同分為不同的融合等級(jí)，分別為像素級(jí)圖像融合、特征級(jí)圖像融合和符號(hào)決策級(jí)圖像融合[11-13]。

圖像在像素級(jí)的融合是最基本的圖像融合，它將不同的物理參量進(jìn)行融合。根據(jù)融合策略直接在源圖上進(jìn)行處理，組合源圖像中的像素得到融合圖像[14]。但由于它對(duì)像素進(jìn)行操作，計(jì)算機(jī)必須處理大量數(shù)據(jù)，并且處理需要很長(zhǎng)時(shí)間，因此合并后的圖像不能及時(shí)顯示出來(lái)，無(wú)法實(shí)現(xiàn)實(shí)時(shí)處理。

特征級(jí)圖像融合首先根據(jù)圖像的紋理、對(duì)比度、形狀等進(jìn)行特征提取，然后融合源圖像的特征域，最后將這些特征融合到同一圖像中。特征級(jí)融合對(duì)圖像信息進(jìn)行了壓縮，實(shí)時(shí)性有所提高。因圖像特征被提取為融合信息，所以丟失了許多細(xì)節(jié)特征。

符號(hào)決策級(jí)圖像融合是對(duì)圖像信息更高的抽象融合，融合方法是從源圖像中抽取特征和分類，處理得到各個(gè)決策的權(quán)值與置信度，并將這些轉(zhuǎn)化成全局最佳決策，每個(gè)適應(yīng)特征的選擇取決于實(shí)際情況中的不同因素。符號(hào)決策級(jí)圖像融合的計(jì)算量是最小的，且對(duì)前兩種方法具有很強(qiáng)的依賴性。

1.2 提升小波

近20多年，已經(jīng)提出了許多用于構(gòu)造小波及其濾波器組的方法，用于工程應(yīng)用領(lǐng)域和信號(hào)處理，如正交小波、半正交小波和雙正交小波等。

這些方法大多數(shù)在頻域中構(gòu)建，并且過(guò)程較復(fù)雜。1995年，貝爾實(shí)驗(yàn)室的SWELDENS博士提出了一種不依賴于Fourier變換的第2代小波構(gòu)造方法,利用時(shí)域提升模式構(gòu)造小波。與塔式算法相比，第2代小波變換方法是一種更有效的小波變換實(shí)現(xiàn)方法[15]。它的優(yōu)勢(shì)有以下4點(diǎn)：(1)不需要進(jìn)行Fourier變換，變換過(guò)程直接在時(shí)域內(nèi)完成，同時(shí)繼承了第1代小波多分辨率的特性，具有很強(qiáng)的適應(yīng)性與靈活的結(jié)構(gòu)設(shè)計(jì)能力；(2)靈活性和通用性強(qiáng)，小波函數(shù)的改善是使用簡(jiǎn)單的小波函數(shù)改進(jìn)小波基的特征來(lái)實(shí)現(xiàn)的；(3)它不再是一種特定小波函數(shù)通過(guò)尺度和平移得到，適合于不等間隔采樣的構(gòu)造問(wèn)題；(4) 存儲(chǔ)量相對(duì)較小，執(zhí)行效率高、且算法簡(jiǎn)單、運(yùn)算速度快，可以分析任意長(zhǎng)度的信號(hào)。

1998年，DAUBECHIES和SWELDENS證明任何具有有限沖擊響應(yīng)濾波器的離散小波變換都可以通過(guò)一系列簡(jiǎn)單的多步提升步驟來(lái)解決。即可以使用第1代小波變換算法實(shí)現(xiàn)的所有離散小波變換都可以使用第2代小波方法來(lái)實(shí)現(xiàn)。這個(gè)結(jié)論建立了離散小波變換與提升小波之間的聯(lián)系。目前，第2代小波具有多種構(gòu)造方法，包括基于提升方法的第2代小波構(gòu)造、冗余第2代小波構(gòu)造、自適應(yīng)第2代小波構(gòu)造、自適應(yīng)冗余第2代小波構(gòu)造等等。在眾多領(lǐng)域得到廣泛應(yīng)用。

提升小波分解主要包含3個(gè)步驟：分解、對(duì)偶提升和主要提升[16-17]。

分解：在符合完全重構(gòu)要求的前提下，將原始輸入信號(hào)x分解成偶數(shù)序列和奇數(shù)序列，即xe(n)=x(2n),xo(n)=x(2n+1)。

對(duì)偶提升：基于初始信號(hào)的相關(guān)性，用偶數(shù)序列預(yù)測(cè)奇數(shù)序列，預(yù)測(cè)誤差d(n)=xo(n)-P[xe(n)]，其中,P[]為預(yù)測(cè)算子，d(n)反映原始信號(hào)x中的高頻信息。

主要提升：使用d(n)更新偶數(shù)序列xe(n)，即c(n)=xe(n)+U[d(n)]，其中,U[]為更新算子，c(n)為原始輸入信號(hào)x的低頻信息。

2 X光圖像融合

在X光圖像融合算法中，首先要確定融合規(guī)則。古銅鏡X光的源圖像經(jīng)過(guò)提升小波分解后可得到X光圖像的低頻分量(Al,Bl)和高頻分量(Ah,Bh)，需采用不同的規(guī)則分別對(duì)低頻分量和高頻分量進(jìn)行融合(Fh,Fl)。目前，低頻分量的融合方法主要有單像素融合，一般采用加權(quán)平均的方法進(jìn)行融合。高頻分量采用區(qū)域融合，包含有區(qū)域方差，模極大值等方法進(jìn)行融合[18-21]。單像素點(diǎn)融合方法忽略了單點(diǎn)像素與周圍像素的相關(guān)性，會(huì)使融合后的圖像過(guò)渡不自然，但其融合速度快。加權(quán)平均的融合規(guī)則會(huì)降低圖像前景與背景之間的差異，使得融合后圖像的對(duì)比度降低。傳統(tǒng)方法中高頻分量大多使用區(qū)域特征來(lái)確定融合規(guī)則，增加了融合后圖像的對(duì)比度浮動(dòng)。融合框架如圖1所示。

Fig.1 Image fusion frame based on lifting wavelet

2.1 X光圖像低頻子帶融合規(guī)則

X光圖像富有大量的能量信息，低頻子帶繼承了X光圖像的大部分能量。加權(quán)平均準(zhǔn)則和取系數(shù)極大值等融合規(guī)則在融合過(guò)程中會(huì)使得融合圖像的對(duì)比度減弱，使得圖像的信息丟失。區(qū)域能量與區(qū)域方差相結(jié)合可以很好地避免這種情況，因?yàn)閄光圖像包含了大部分能量信息，低頻分量包含了X光圖像的能量信息，使用區(qū)域能量作為系數(shù)可以有效地保留X光圖像的信息。區(qū)域方差反映了圖像灰度的離散程度。極大地保留了圖像目標(biāo)特征。因此本文中提出使用區(qū)域方差與區(qū)域能量相結(jié)合，綜合兩者可更好地表達(dá)源圖像的信息。

首先，計(jì)算低頻子帶以點(diǎn)(i,j)為中心的區(qū)域方差，區(qū)域方差定義如下：

(1)

其次，圖像以第i行、第j列為中心的低頻子帶區(qū)域能量定義如下：

(2)

融合圖像的低頻子帶系數(shù)以區(qū)域能量與區(qū)域方差來(lái)確定，當(dāng)圖像M的區(qū)域能量和區(qū)域方差都大于圖像N時(shí)，選取圖像M的低頻子帶系數(shù)作為融合圖像系數(shù)；當(dāng)圖像M的區(qū)域能量和區(qū)域方差都小于圖像N時(shí)，選取圖像N的低頻子帶系數(shù)作為融合系數(shù)；當(dāng)圖像M的區(qū)域能量和區(qū)域方差都不大于或都不小于圖像N時(shí)，本文中以區(qū)域能量的系數(shù)作為加權(quán)融合，圖像M、N的區(qū)域能量占比值如下：

(3)

最后，低頻子帶融合后的系數(shù)可表示為：

(4)

2.2 X光圖像高頻子帶融合規(guī)則

圖像邊緣信息與圖像紋理信息是高頻子帶融合的關(guān)鍵，圖像的邊緣及紋理含有大量的信息，X光圖像邊緣細(xì)節(jié)包含了紋飾區(qū)的大部分信息。X光圖像的邊緣細(xì)節(jié)是X光圖像的重要特征。人類視覺(jué)特征主要以邊緣及輪廓認(rèn)識(shí)圖像,包含了圖像的細(xì)節(jié)特性。目前大多數(shù)高頻融合規(guī)則都是取圖像特征求取理論最優(yōu)解，而古銅鏡X光根據(jù)鏡緣區(qū)和紋飾區(qū)的材質(zhì)與厚度已取得相應(yīng)區(qū)域的最優(yōu)解。因此使用空間頻率在源圖像上選取最優(yōu)解，避免了融合時(shí)取特征權(quán)值后，降低或增加圖像對(duì)比度和信息丟失的可能性?？臻g頻率反映了圖像的總體活動(dòng)與清晰度。空間頻率包含了行頻率與列頻率,空間頻率可定義為：

(5)

式中，fr表示空間頻率的行頻率，fc表示空間頻率的列頻率，對(duì)于X×Y大小的圖像，fr與fc的定義為：

(6)

(7)

式中，X,Y表示總行數(shù)和總列數(shù);f(i,j)表示位置(i,j)處的灰度值。

定義空間頻率比θ=fs,M,k(2l,i,j)/fs,N,k(2l,i,j)。fs,M,k(2l,i,j)與fs,N,k(2l,i,j)分別表示在第k個(gè)融合子帶、在分辨率為2l下,點(diǎn)(i,j)的空間頻率。按以下準(zhǔn)則初步確定融合后的子帶數(shù)據(jù)：

(8)

式中，Dk(2l,i,j)表示在第k個(gè)融合子帶、在分辨率為2l下,點(diǎn)(i,j)的融合值，DM,k(2l,i,j)與DN,k(2l,i,j)分別表示源圖像M、源圖像N在第k個(gè)融合子帶，點(diǎn)(i,j)位置的融合值。

鄰域選取S×T(本文中取3×3)大小的驗(yàn)證窗口，中心像素點(diǎn)的系數(shù)使用鄰域8個(gè)像素點(diǎn)的系數(shù)來(lái)源窗口來(lái)驗(yàn)證并修正。修正的方式如下：目標(biāo)像素點(diǎn)融合后的圖像來(lái)源于圖像M，且鄰域8個(gè)像素超過(guò)1/2來(lái)源于N時(shí)，將中心像素替換為N在該位置的系數(shù);中心像素來(lái)源于圖像N，且周圍像素超過(guò)1/2來(lái)源于M時(shí)，將該中心像素位置的系數(shù)修改為M。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

本實(shí)驗(yàn)中采用3組6幅古銅鏡X光圖像作為實(shí)驗(yàn)數(shù)據(jù)，采用的圖像數(shù)據(jù)為陜西省文物保護(hù)研究院采集的古銅鏡X光圖像。實(shí)驗(yàn)中采用MATLAB仿真，平臺(tái)為Intel i5-2400 3.1GHz四核處理器、4G內(nèi)存。采集到的3組6幅古銅鏡圖像如圖2所示。圖2中，每組古銅鏡X光圖像都是采用邊緣區(qū)和紋飾區(qū)的最佳投射強(qiáng)度采集的X光圖像。

3.2 實(shí)驗(yàn)結(jié)果分析

為了能更加客觀地評(píng)價(jià)融合圖像的性能，實(shí)驗(yàn)對(duì)比了除本文中算法以外其它3種不同的算法，分別為加權(quán)平均+模極大值、加權(quán)平均+鄰域方差、傳統(tǒng)小波變換以及本文中的方法。實(shí)驗(yàn)結(jié)果如圖3、圖4和圖5所示。

Fig.2 X-ray images of ancient bronze mirrors

a—fusion source image a of ancient bronze mirrorⅠ b—fusion source image b of ancient bronze mirrorⅠ c—fusion source image a of ancient bronze mirrorⅡ d—fusion source image b of ancient bronze mirrorⅡ e—fusion source image a of ancient bronze mirrorⅢ f—fusion source image b of ancient bronze mirrorⅢ

Fig.3 Fusion effect of ancient bronze mirrorⅠ

a—weighted average+modulus maxima b—weighted average+regional variance c—traditional wavelet d—the method of this paper

Fig.4 Fusion effect of ancient bronze mirror Ⅱ

a—weighted average+modulus maxima b—weighted average+regional variance c—traditional wavelet d—the method of this paper

Fig.5 Fusion effect of ancient bronze mirror Ⅲ

a—weighted average+modulus maxima b—weighted average+regional variance c—traditional wavelet d—the method of this paper

融合得到的效果圖一般采用圖像信息熵、平均梯度與標(biāo)準(zhǔn)差來(lái)對(duì)融合圖像進(jìn)行客觀評(píng)價(jià)比較。信息熵U反映了圖像中平均信息量的多少，圖像的信息熵越大，說(shuō)明圖像的保留的信息就越豐富，其定義為[7]：

(9)

式中，Pi表示某一灰度值在圖像中出現(xiàn)的概率，L為圖像總灰度級(jí)數(shù)。

平均梯度V表現(xiàn)了圖像的邊界與影線兩側(cè)的灰度情況變化差異，也是圖像的清晰度，圖像的平均梯度越大，表明圖像越清晰。平均梯度V的定義為：

(10)

式中,g(m,n)表示圖像在第m行、第n列的灰度值。

標(biāo)準(zhǔn)差W可以反映圖像的灰度均值的狀況，標(biāo)準(zhǔn)差越大，表現(xiàn)出的視覺(jué)效果越好，標(biāo)準(zhǔn)差的定義為：

(11)

實(shí)驗(yàn)結(jié)果如表1、表2和表3所示。

Table 1 Performance comparison of different fusion algorithms for ancient bronze mirror Ⅰ

information entropyaverage gradientstandard deviationalgorithm 1 6.07420.022030.4525algorithm 26.07890.022530.2534algorithm 36.06480.024330.6245method of this paper6.38540.034233.9648

Table 2 Performance comparison of different fusion algorithms for ancient bronze mirror Ⅱ

information entropyaverage gradientstandard deviationalgorithm 1 2.85420.027337.7843algorithm 22.86310.028038.3145algorithm 32.86530.027837.5247method of this paper2.97750.033239.6012

Table 3 Performance comparison of different fusion algorithms for ancient bronze mirror Ⅲ

information entropyaverage gradientstandard deviationalgorithm 1 3.57390.034336.7548algorithm 23.60320.033535.6574algorithm 33.54680.034435.8962method of this paper3.86250.039838.6214

從表中可以看出，本文中的算法在圖像的信息熵、平均梯度和標(biāo)準(zhǔn)差上都略高于其它3種算法。分析表中數(shù)據(jù)可知，在3組銅鏡實(shí)驗(yàn)中,相對(duì)于其它3種算法，本文中的算法信息熵平均提升了5.76%，平均梯度平均提升了28.70%，標(biāo)準(zhǔn)差平均提升了7.70%，由此可知，本文中算法的融合圖像在信息量清晰度視覺(jué)效果方面都優(yōu)于其它算法。綜合分析和對(duì)照數(shù)據(jù)可知：本文中提出的算法有效地保留了源圖像的信息，對(duì)于邊緣的傳遞效果更優(yōu)秀。

4 結(jié) 論

文物研究和保護(hù)首要工作是完整科學(xué)地認(rèn)識(shí)和分析文物信息，X光射線成像作為一種特殊的文物投影，它所呈現(xiàn)的文物面貌比肉眼觀察更為精準(zhǔn)，使用提升小波將源圖像分別分解為低頻子圖和高頻子圖，并分別對(duì)其低頻子圖采用區(qū)域方差與能量加權(quán)、高頻子圖采用空間頻率來(lái)確定融合規(guī)則。實(shí)驗(yàn)結(jié)果表明，該算法具有良好的融合效果，為文物保護(hù)工作者提供了更準(zhǔn)確可靠的信息,在文物信息重建領(lǐng)域有著廣闊的應(yīng)用前景。