紅外與X光圖像融合方法研究

陳樹越，劉金星，丁 藝，董 偉

(常州大學(xué)信息科學(xué)與工程學(xué)院，江蘇 常州213164)

1 引言

紅外熱成像檢測(cè)技術(shù)由于具有無損傷、非接觸式、可靠性好的優(yōu)點(diǎn)，因而被廣泛應(yīng)用于工業(yè)中的缺陷檢測(cè)、故障診斷等領(lǐng)域［1］。紅外與可見光圖像的融合，可以得到構(gòu)件表面的熱輻射圖，同時(shí)還含有豐富的背景信息。常見的紅外與可見光圖像融合的方法有小波融合、金字塔融合、像素平均加權(quán)融合等方法［2－4］。X光具有很高的穿透本領(lǐng)，能透過許多對(duì)可見光不透明的物體。工業(yè)上用于探傷，X光可以激發(fā)熒光，使感光乳膠感光，故X光可作用于電離計(jì)、閃爍計(jì)數(shù)器和感光乳膠片等來進(jìn)行構(gòu)件的缺陷檢測(cè)［5］。

紅外圖像與X光圖像進(jìn)行融合，不僅能獲得構(gòu)件表面的溫度場(chǎng)分布，還可以透過構(gòu)件內(nèi)部獲得不可視零部件的結(jié)構(gòu)，進(jìn)而判斷和追蹤熱輻射來源，使得圖像的信息更加豐富。本文在分析紅外與可見光融合的基礎(chǔ)上，提出了紅外圖像與X光圖像的融合方案。采用交互式選擇配準(zhǔn)點(diǎn)的方法對(duì)他們進(jìn)行圖像配準(zhǔn)，然后用灰度加權(quán)平均法對(duì)圖像進(jìn)行融合。通過實(shí)驗(yàn)，我們得出了融合后的圖像，從圖像中可以獲得構(gòu)件內(nèi)部的分布及溫度場(chǎng)分布，并對(duì)融合后的圖像進(jìn)行了質(zhì)量評(píng)價(jià)。

2 圖像配準(zhǔn)與融合

2．1 圖像配準(zhǔn)

圖像配準(zhǔn)是將兩幅或者多幅從不同視角、在不同條件或時(shí)間下獲得的關(guān)于同一場(chǎng)景的圖像進(jìn)行最佳匹配的過程，從而去掉待配準(zhǔn)圖和標(biāo)準(zhǔn)圖在幾何上的差異，如旋轉(zhuǎn)，平移和變形，使得相同目標(biāo)在不同的圖像上具有相同的坐標(biāo)［6］。

可以將圖像配準(zhǔn)定義為:

式中，P1、P2分別為待配準(zhǔn)圖像和參考圖像，兩幅圖像在點(diǎn)(x，y)處的灰度值分別表示為P1(x，y)，P2(x，y);L和F分別表示一維灰度變換函數(shù)和二維灰度變換函數(shù)，F(xiàn)可以用一些常見的空間變換模型表示，如仿射變換、投影變換等［7］，本文采用了仿射變換。

圖像特征的配準(zhǔn)方法根據(jù)在特征點(diǎn)提取的過程中是否需要人為介入，可以將基于特征點(diǎn)的配準(zhǔn)方法分為自動(dòng)配準(zhǔn)和交互式配準(zhǔn)。自動(dòng)配準(zhǔn)方法是使用各種角點(diǎn)算法提取出待測(cè)圖像特征點(diǎn)，然后通過某種算法除去不一致的特征點(diǎn)，獲得可靠的特征點(diǎn)對(duì)。交互式配準(zhǔn)方法分別在參考圖像和待配準(zhǔn)圖像上選取特征點(diǎn)對(duì)，這個(gè)過程是由人主觀選取的。對(duì)紅外圖像和X光圖像的融合，由于它們?cè)诨叶群吞卣餍畔⑸线€存在著較大的差別，很難通過自動(dòng)配準(zhǔn)的方法精確地選取到一致的特征點(diǎn)。所以，本文采用交互式配準(zhǔn)的方法。

2．2 圖像融合

灰度加權(quán)平均法圖像融合算法對(duì)原圖像的像素值直接取相同的權(quán)值，然后進(jìn)行加權(quán)平均得到融合圖像的像素值，得到一幅新的融合圖像。加權(quán)平均法不需要對(duì)圖像進(jìn)行任何變換，也不需要考慮像素之間的關(guān)系。假定融合的源圖像分別為f1和f2，圖像大小為M×N，融合圖像為f，則融合過程可以表示為［8］:

式中，m表示圖像中像素的行號(hào)，m=1，2，3，…，M;n表示圖像中像素的列號(hào)，n=1，2，3，…，N;w1，w2為加權(quán)系數(shù)，一般情況下，w1+w2=1。

3 質(zhì)量評(píng)價(jià)

對(duì)同樣的兩幅圖像，不同的融合方法可以得到不同的融合圖像，并且不同的融合方法有不同的優(yōu)點(diǎn)。因此，對(duì)融合圖像進(jìn)行質(zhì)量評(píng)價(jià)，有助于我們選擇適當(dāng)?shù)膱D像融合算法和改進(jìn)現(xiàn)有的融合算法。

客觀評(píng)價(jià)主要有:熵、平均梯度、標(biāo)準(zhǔn)差、均方根誤差、信噪比、峰值信噪比、聯(lián)合熵、偏差與相對(duì)偏差、交互信息量。由于在實(shí)際應(yīng)用中很難得到融合圖像的標(biāo)準(zhǔn)圖像，因此，對(duì)于紅外與X光圖像融合效果，可以采用圖像的熵、平均梯度、標(biāo)準(zhǔn)差等來評(píng)價(jià)圖像融合前后的變化和融合圖像質(zhì)量。

設(shè)f和g為M×N的源圖像，r為融合圖像。L為圖像灰度級(jí)數(shù)，h(i)為圖像的歸一化直方圖，hf，g(i)為f和g的歸一化聯(lián)合直方圖。所采用的評(píng)價(jià)融合圖像的幾種方法如下:

(1)熵:反映圖像攜帶平均信息量的多少，熵越大，圖像攜帶的信息量越豐富［9－10］。

(2)標(biāo)準(zhǔn)差:圖像中像素的灰度與整幅圖像平均灰度相比的離散情況，標(biāo)準(zhǔn)差越大，圖像的灰度分布越分散，說明圖像的對(duì)比度就越大［11］。

(3)平均梯度指圖像的邊界或影線兩側(cè)附近灰度有明顯差異，即灰度變化率大，這種變化率的大小可用來表示圖像清晰度。它反映了圖像微小細(xì)節(jié)反差變化的速率，即圖像多維方向上密度變化的速率，表征圖像的相對(duì)清晰程度［12］。

其中，f(m，n)表示圖像中點(diǎn)(m，n)的灰度大小。圖像的平均梯度越大，說明圖像越清晰。

4 實(shí)驗(yàn)結(jié)果及分析

電路在工作中，其中的元器件會(huì)產(chǎn)生熱量，實(shí)驗(yàn)以電路板為研究對(duì)象，對(duì)其進(jìn)行了X光與紅外圖像融合，并對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行了分析。首先，采用紅外熱像儀和數(shù)字X光成像機(jī)獲取紅外與X光圖像，如圖1所示。

圖1 紅外與X光圖像

由于在一幅圖像中，圖像的灰度變化大多存在于低頻部分，而圖像的邊緣和線條等細(xì)節(jié)通常存在于高頻部分。因此，為了使圖像的輪廓變得更突出，線條變得更清晰，先對(duì)X光圖像進(jìn)行高通濾波處理，處理后的圖像如圖2所示。然后，再以圖2為基準(zhǔn)圖像，對(duì)紅外圖像進(jìn)行配準(zhǔn)，用交互式選擇配準(zhǔn)點(diǎn)的方法得到配準(zhǔn)的紅外圖像，如圖3所示。

采用灰度平均融合法對(duì)圖2與圖3圖像進(jìn)行融合，得到融合后的圖像，如圖4所示。通過融合實(shí)驗(yàn)結(jié)果可以清晰地觀察到電路板所反映的溫度信息和內(nèi)部結(jié)構(gòu)細(xì)節(jié)。

圖2 高通濾波的X光圖像

圖3 配準(zhǔn)后的紅外圖像圖

圖4 融合圖像

由于不存在標(biāo)準(zhǔn)的融合圖像，因此，采用熵、標(biāo)準(zhǔn)差和聯(lián)合熵來客觀評(píng)價(jià)獲得的融合圖像。由于本實(shí)驗(yàn)中主要是獲得構(gòu)件內(nèi)部溫度場(chǎng)分布和細(xì)節(jié)，尤其是芯片的溫度場(chǎng)分布，因此，選取芯片附近互相對(duì)應(yīng)的的區(qū)域進(jìn)行融合質(zhì)量評(píng)價(jià)，如圖5所示，評(píng)價(jià)結(jié)果如表1所示。

圖5 相對(duì)應(yīng)的區(qū)域圖像

由表1可知，融合圖像熵值比紅外圖像大，比X光小，這是因?yàn)閳D像的信息熵表示圖像中灰度分布的聚集特征所包含的信息量，即灰度的起伏量。表明X圖像最為清晰，而融合后的圖像次之。融合圖像的標(biāo)準(zhǔn)差和平均梯度都介于紅外圖像和X光圖像之間，表明它在繼承了兩幅圖像的信息基礎(chǔ)上進(jìn)行了折中，既包含構(gòu)件的溫度場(chǎng)分布，同時(shí)也反映了構(gòu)件內(nèi)部清晰的結(jié)構(gòu)。實(shí)驗(yàn)表明融合后的圖像盡管沒有X光圖像清晰，但它能表達(dá)溫度場(chǎng)信息，而比紅外圖像對(duì)構(gòu)件的細(xì)節(jié)描述上更加清晰。

表1 評(píng)價(jià)結(jié)果

5 結(jié)論

提出了X光和紅外圖像的融合，結(jié)合了相關(guān)的質(zhì)量評(píng)價(jià)參數(shù)來評(píng)價(jià)圖像。通過實(shí)驗(yàn)，得到了紅外與X光圖像的融合圖，可以直觀地獲得構(gòu)件表面和內(nèi)部結(jié)構(gòu)的溫度場(chǎng)的分布，為了驗(yàn)證實(shí)驗(yàn)的融合效果，還進(jìn)行了融合圖像的質(zhì)量評(píng)價(jià)，從主觀上來看，融合圖像在溫度和構(gòu)建內(nèi)部細(xì)節(jié)上的表達(dá)很明顯，效果較好。同時(shí)，通過客觀評(píng)價(jià)實(shí)驗(yàn)，表明融合圖像所選擇的三種客觀評(píng)價(jià)指標(biāo)都介于兩者之間，因此，融合圖像在保留了構(gòu)件內(nèi)部結(jié)構(gòu)清晰的前提下還包含有圖像豐富的溫度場(chǎng)信息。

［1］ GUO Tiantai．Application of infrared thermal imaging technique in non－destructive testing［J］．Machine Tool＆Hydraulics，2004(2):110－111．(in Chinese)郭天太．紅外熱成像技術(shù)在無損檢測(cè)中的應(yīng)用［J］．機(jī)床與液壓，2004(2):110－111．

［2］ TAO Shifeng，WANG Yihong．Application research on wavelet fusion technology in image segmentation algorithm［J］．Measurement＆Control Technology，2014，33(2):39－42．(in Chinese)陶士鳳，王亦紅．小波融合技術(shù)在圖像分割算法中的應(yīng)用研究［J］．測(cè)控技術(shù)，2014，33(2):39－42．

［3］ HU GANG，LIU Zhe，XU Xiaoping，et al．Research and recent development of image fusion at pixel level［J］．Application Research of Computers，2008，25(3):651－652．(in Chinese)胡鋼，劉哲，徐小平，等．像素級(jí)圖像融合技術(shù)的研究與進(jìn)展［J］．計(jì)算機(jī)應(yīng)用研究，2008，25(3):651－652．

［4］ Sheng Zheng，Wen Zhongshi，Liu Jian，et al．Multisource image fusion method using support value transform［J］．IEEE Transactions on Image Processing，2007，16(7):1183－1837．

［5］ ZHENG Jinzhou，LU Shaodong．The application of X－ray technology in sectuirty inspection domain［J］．CT Theory and Applications，2012，21(2):357－361．(in Chinese)鄭金州，魯紹棟．X射線技術(shù)在安檢領(lǐng)域的應(yīng)用［J］．CT理論與應(yīng)用研究，2012，21(2):357－361．

［6］ YUAN Jinsha，ZHAO Zhenbing，GAO Qiang，et al．Review and prospect on infrared/visible image registration［J］．Laser＆Infrared，2009，39(7):693－699．(in Chinese)苑津莎，趙振兵，高強(qiáng)，等．紅外與可見光圖像配準(zhǔn)研究現(xiàn)狀與展望［J］．激光與紅外，2009，39(7):693－699．

［7］ WU Xueling，REN Fu，DU Qingyun．Spatial information augmented representation using affine transformations registration［J］．Computer Engineering and Applications，2010，46(3):16－17．(in Chinese)武雪玲，任福，杜清運(yùn)．仿射變換虛實(shí)配準(zhǔn)的空間信息增強(qiáng)表達(dá)［J］．計(jì)算機(jī)工程與應(yīng)用，2010，46(3):16－17．

［8］ WANG Ke，OU Yangning．Study of image fusion and evaluation methods［J］．Video Engineering，2007，31(1):20－21．(in Chinese)王珂，歐陽(yáng)寧．圖像融合技術(shù)及評(píng)價(jià)方法［J］．電視技術(shù)，2007，31(1):20－21．

［9］ ZHENG Yongan，SONG Jianshe，ZHOU Wenming，et al．Objective evaluation method for image fusion based on image quality index［J］．Systems Engineering and Electronics，2006，28(3):463－466．(in Chinese)鄭永安，宋建社，周文明，等．基于質(zhì)量因子的圖像融合客觀評(píng)價(jià)方法［J］．系統(tǒng)工程與電子技術(shù)，2006，28(3):463－466．

［10］Deepak Kumar Sahu，M P Parsai．Different image fusion techniques－a critical review［J］．International Journal of Modern Engineering Research，2012，2(5):4299－4300．

［11］LI Guangxin．Fusion technology of infrared and visible images［D］．Changchun:Jilin University，2008．(in Chinese)李光鑫．紅外和可見光圖像融合技術(shù)研究［D］．長(zhǎng)春:吉林大學(xué)，2008．

［12］WANG Haihui，PENG Jiaxiong，WU Wei．Comparison of the methods of evaluating the performance of multi－sensor image fusion［J］．Infrared and Laser Engineering，2004，33(2):189－193．(in Chinese)王海暉，彭嘉雄，吳?。u(píng)價(jià)多傳感器圖像融合效果方法的比較［J］．紅外與激光工程，2004，33(2):189－193．