基于紅外圖像融合算法的高壓容器檢測技術(shù)研究

邱 根，王 鋰，陳 凱

（電子科技大學(xué)自動化工程學(xué)院，四川 成都 611731）

0 引 言

隨著科技發(fā)展與進(jìn)步，高壓容器得到廣泛應(yīng)用，并且推動了各個行業(yè)的發(fā)展?；趹?yīng)用環(huán)境的多變性，高壓容器采用不同的規(guī)格與材質(zhì)以適應(yīng)環(huán)境的變化[1-2]。然而，復(fù)雜的應(yīng)用環(huán)境以及材料的特殊性等原因，會使得高壓容器產(chǎn)生疲勞裂紋、腐蝕損傷甚至孔洞等一系列的損傷類型[3-5]。因此對高壓容器潛在損傷的檢測是一類重要的研究方向。基于無損檢測的紅外熱成像技術(shù)因其高效性、損耗低、安全性高等優(yōu)勢而應(yīng)用廣泛[6-9]。

由于高壓容器體積過于巨大或者缺陷信息的幾何形狀特點，單幅圖像往往無法完全展示針對缺陷的信息，這時就需要應(yīng)用到圖像拼接技術(shù)，對紅外熱像儀拍攝到的多個視頻流進(jìn)行ICA處理得到完整缺陷信息重構(gòu)圖像[10-11]，對獲得的重構(gòu)圖像進(jìn)行拼接融合從而獲得完整清晰的圖像結(jié)果。同時，因拍攝角度和環(huán)境亮度等其他因素的影響，容易對圖像配準(zhǔn)過程產(chǎn)生干擾，降低配準(zhǔn)結(jié)果的準(zhǔn)確度，導(dǎo)致最終無法獲得有效的融合圖像以供進(jìn)一步針對缺陷部位的研究，因此需要研究魯棒性強、時效性高并且能對拼接結(jié)果進(jìn)行調(diào)整處理的拼接算法。

基于局部不變特征的匹配算法因其具有計算量小、魯棒性強，對圖像偏移、旋轉(zhuǎn)、灰度亮度變化等都有較好的適應(yīng)力的特點，成為了圖像匹配算法研究的主流方向。本文采用SURF算法對多個視頻流進(jìn)行ICA處理后得到的完整缺陷信息重構(gòu)圖像進(jìn)行特征提取[12-13]，同時采用雙向匹配法和MSAC算法對提取到的特征點對進(jìn)行匹配[14-16]，再通過提出的圖像融合算法對兩幅圖像進(jìn)行無縫拼接以及消除亮度和色彩對比度差異，最終融合結(jié)果圖像基本達(dá)到了預(yù)期效果[17-18]。

1 研究方法

1.1 紅外圖像融合算法流程

首先，對試件表面進(jìn)行多次紅外無損檢測，得到多個紅外視頻流，針對每個紅外視頻流使用ICA處理算法后得到局部區(qū)域的重構(gòu)圖像[10-11]。需要指出的是，對于含有缺陷的局部區(qū)域，ICA算法可以保證重構(gòu)圖像包含該局部區(qū)域的完整缺陷信息。接下來對重構(gòu)圖像應(yīng)用一套完整的圖像拼接和圖像融合流程，最終獲得試件經(jīng)紅外無損檢測后的完整融合圖像。圖1為本文所采用的圖像拼接融合算法的流程圖。

圖1 圖像拼接算法流程圖

1.2 ICA重構(gòu)算法

在紅外熱成像檢測系統(tǒng)中，由缺陷引起的熱輻射變化導(dǎo)致試件不同檢測區(qū)域有著不同的溫度變化率，樣本的所有這些空間溫度響應(yīng)被紅外相機作為圖像序列記錄下來。紅外傳感器無法直接定義這些熱響應(yīng)，但是可以認(rèn)為記錄下了一個由幾個特征區(qū)域組成的獨立成分構(gòu)成的盲源信號。不同的獨立特征區(qū)域有著不同的典型熱響應(yīng)特征，可以幫助提取不同的獨立信號圖像，從原始圖像序列到最終獲得突出各缺陷信息的特征圖像，這些典型的特征圖像為重構(gòu)圖像。ICA的目標(biāo)是從原始采集的圖像序列中分離出幾個獨立成分（ICs），如果人工地選擇缺陷部分和樣本背景為兩個獨立成分，即可實現(xiàn)含缺陷部分的重構(gòu)圖像。

基本的ICA數(shù)學(xué)模型可以表示為：

新的重構(gòu)序列可以被表示為生成的獨立信號的線性組合：

對于每一個估計的獨立信號，對應(yīng)其第i個區(qū)域產(chǎn)生的獨立信號圖像序列的重建過程可表示為：

根據(jù)缺陷信號對應(yīng)的圖像序列即可提取到包含完整缺陷信息的重構(gòu)圖像。

1.3 特征提取算法

本文采用SURF算法提取特征點的步驟分為特征點檢測和特征點描述。SURF算法在生成特征矢量時，利用積分圖像，使用快速Hessian檢測子來判斷經(jīng)尺度空間變換后提取的圖像關(guān)鍵點是否為極值點，完成特征點的檢測。特征點描述首先需要確定每個關(guān)鍵點的主方向，然后沿主方向構(gòu)造一個窗口領(lǐng)域，在窗口內(nèi)提取用來描述關(guān)鍵點的特征向量[12-13]。

SURF算法檢測特征點是基于尺度空間的，空間中的任意一像素點（x,y），對應(yīng)的尺度是σ，則Hessian矩陣的定義為：

其中Lxx,Lxy,Lyy是圖像上的點分別與高斯濾波二階偏導(dǎo)卷積后得到的。通過這種近似方法會帶來誤差，濾波器響應(yīng)的相對權(quán)重ω用于平衡Hessian行列式的表達(dá)式，通過此權(quán)重因子糾正后的近似Hessian表達(dá)式為：

可以通過式（10）中所示的近似Hessian矩陣行列式的計算方法，快速地對圖像中每一點求響應(yīng)并記錄下來就得到在相應(yīng)尺度 σ上的響應(yīng)圖，并通過非極大值抑制法精確定位極值點，每一個像素點通過與它所有的相鄰點進(jìn)行比較，判斷其是否比它的圖像域和尺度域的相鄰點大或者小。和同尺度的8個相鄰點和與其上下相鄰尺度對應(yīng)的9×2個點總共26個點比較，確保在尺度空間和二維圖像空間都檢測到極值點。至此已經(jīng)得到特征點的位置信息和其所在的尺度信息。

1.4 特征點匹配

特征點提取步驟之后，需要對包含了64維向量信息的特征點進(jìn)行匹配，在檢測到的特征點中找出具有相似性的特征點對，依據(jù)特征點建立兩幅圖像之間的一種對應(yīng)關(guān)系，為之后的拼接工作與最終的圖像融合提供了基礎(chǔ)[14-16]。

Hessian矩陣不僅可以用來檢測到特征點的位置，另外，該矩陣跡的正負(fù)性還與特征點的亮度密切相關(guān)。

Hessian矩陣跡的表達(dá)式為：

其中 dx、dy分別是積分圖像濾波器中x、y方向的響應(yīng)值。根據(jù)Hessian矩陣跡的符號能夠加快相似性度量時的匹配速度，根據(jù)亮度的不同把特征點分為特征點與其鄰域的亮度比背景區(qū)域要亮和暗的兩種，對于比背景區(qū)域亮的特征點值為正的，比背景區(qū)域暗的特征點Hessian矩陣的跡是負(fù)的。

傳統(tǒng)SURF算法在特征點匹配過程中，基于歐氏距離作為相似性度量，參考圖像中的某個特征點，通過搜索策略獲得待配準(zhǔn)圖像中與點p距離最小和次小的兩個點，分別記為q1和q2，并且記這兩個點與點p的特征描述矢量之間的距離分別即為d1和d2。設(shè)定一個閾值T，將d1與d2的比值與閾值T進(jìn)行比較，如果前者大于后者，那么點q1即為所選擇的匹配點，點p和點q1成為一對匹配點，該方法稱作最近/次近比率法，用數(shù)學(xué)表達(dá)式可表示為：

由于特征匹配階段算法速度快，可以通過犧牲少量時間來提高匹配過程的正確率，獲得了唯一對應(yīng)的匹配點對，同樣為后續(xù)去除誤匹配階段算法提供更精確的匹配點對，加快后續(xù)算法的速度。去除誤匹配算法采用MSAC算法，其表達(dá)式為：

1.5 圖像融合

圖像拼接的最后一步是利用上節(jié)求得的參考圖像和待拼接圖像間的基礎(chǔ)變換矩陣將兩幅圖像整合成一幅完整的圖像。本文提出一種改進(jìn)的先對亮度調(diào)整之后再采用基于距離的加權(quán)平均融合算法來實現(xiàn)基本無亮度差異以及明顯拼接縫的融合結(jié)果[17-18]。

基于距離的加權(quán)融合算法基本思路是根據(jù)重疊區(qū)域里的特征點到左右邊界的距離，分別記為d1和d2，則合并后的像素值表示為：

式中：I1和I2——重疊區(qū)域中兩圖像特征點對應(yīng)的像素值；

I——最后經(jīng)過加權(quán)得到的新的像素點像素值。

該方法有效地消除了由初始圖像間采集以及后續(xù)預(yù)處理算法引起的色彩和亮度差異，后續(xù)實驗部分表明，應(yīng)用本文改進(jìn)的融合算法，獲得了良好的圖像拼接質(zhì)量，拼接縫隙幾乎消失，并消除了極為明顯的亮度和色彩差異，圖像拼接效果平滑自然。

2）學(xué)生的英語水平能到了提升。音樂治療專業(yè)學(xué)生的英語基礎(chǔ)普遍較薄弱。教師在開課前經(jīng)與學(xué)生訪談得知，大部分學(xué)生的英語高考分?jǐn)?shù)較低，多數(shù)學(xué)生對大學(xué)英語課程有壓力感，甚至對能否順利通過期末考試存在擔(dān)憂。在實施任務(wù)型教學(xué)模式后，學(xué)生接觸和使用英語的時間增加了，信心也增強了，其英語基本技能得到了明顯的提升。

2 實驗過程及結(jié)果分析

2.1 特征點提取實驗

本實驗采用的是壓容器復(fù)合金屬板樣本，對圖2中的九孔試件進(jìn)行特征點提取。紅外采集樣本為362幀512×640的圖像數(shù)據(jù)，對同一九孔試件進(jìn)行兩次紅外采集數(shù)據(jù)后經(jīng)過降維和ICA處理，為檢驗算法性能和可行性，在Matlab環(huán)境下實現(xiàn)了本文的算法，通過對兩幅重構(gòu)圖像提取到的缺陷獨立成分得到的結(jié)果圖像進(jìn)行匹配實驗，以此來檢驗算法的性能。

圖2 試件

采用SURF算法在參考圖像中提取到了415個特征點，待配準(zhǔn)圖像中提取到了376個特征點，這里為了便于觀察，只顯示了其中50個特征點效果圖。圖3中（a）和（b）分別為參考圖像和待配準(zhǔn)圖像的檢測結(jié)果。從特征點效果圖可以看出，采用SURF算法所得到的參考圖像和待拼接圖像結(jié)果中的特征點能被明顯辨識，該方法能夠較為準(zhǔn)確地檢測并提取到紅外缺陷圖像中的特征點信息。

圖3 SURF算法特征提取結(jié)果

2.2 特征點匹配實驗

完成對圖像提取SURF特征點之后，需要進(jìn)行特征匹配的步驟。在得到數(shù)量可觀的特征點后，匹配方法的選擇也是圖像配準(zhǔn)中的重要一環(huán)。

本文特征點匹配實驗采用Hessian矩陣來檢測前面提取到的415個參考圖像特征點和376個待配準(zhǔn)圖像特征點，為了加快相似度匹配速度，首先通過特征點亮度預(yù)先判定矩陣跡的正負(fù)性，再通過最近/次近比率法搜索策略檢測特征點的位置。同時，采用雙向匹配法確保匹配點對的唯一性原則和MSAC算法剔除誤匹配點對來提高匹配正確率。

圖4是本文算法結(jié)果圖，匹配對數(shù)為27，匹配正確率70%。圖5是傳統(tǒng)SURF法采用的特征點匹配效果圖，匹配對數(shù)為34，匹配正確率56%。

圖4 采用雙向匹配算法效果圖

圖5 傳統(tǒng)SURF采用最近鄰與次近鄰比法匹配效果圖

采用本文算法獲得的匹配點對數(shù)減少了20%，對于出現(xiàn)的一些誤匹配的點對，依據(jù)本文選用的MSAC算法將其剔除，使匹配精度得到進(jìn)一步提高。圖6為剔除后的匹配結(jié)果，最終在雙向匹配獲得的27對匹配點基礎(chǔ)上，去除誤配點對，得到用于估計變換模型的內(nèi)點對19對，數(shù)量可觀的內(nèi)點數(shù)量可以保證估計的變換矩陣參數(shù)的精確度。

圖6 MSAC法剔除誤匹配點對后結(jié)果圖

通過對比可以直觀發(fā)現(xiàn)，在對圖像進(jìn)行雙向匹配并對誤匹配點對剔除之后，圖像中的匹配點對數(shù)顯著減少，成功率大大提高，這對后續(xù)拼接以及圖像融合算法中速度的提升起著重要的作用。

圖7 幾何變換的結(jié)果圖

2.3 圖像融合實驗

本文圖像融合目的在于平衡兩幅圖像的亮度差異，以及消除拼接縫隙，使圖像更加自然地顯示，對于后期的觀察與研究有很大幫助。實驗根據(jù)本文提出的改進(jìn)算法先對亮度進(jìn)行調(diào)整，再采用基于距離的加權(quán)平均融合算法，以實現(xiàn)拼接融合圖像無亮度差異和明顯拼接縫的效果。

圖8所示為未經(jīng)融合處理的直接拼接結(jié)果，極易觀察到拼接部位出現(xiàn)了較為明晰的拼接縫以及縫隙兩端的亮度和色彩差異。

圖8 直接拼接結(jié)果

根據(jù)本文提出的算法對圖像進(jìn)行基于亮度和距離加權(quán)融合處理，得到處理后的圖像中沒有顯示出明顯的拼接縫，圖像之間過渡平緩，達(dá)到了預(yù)期的效果。對亮度加權(quán)處理后的結(jié)果如圖9所示，相比圖8的直接拼接結(jié)果，可觀察出色彩對比度和亮度的差異得到了明顯的改善，基于亮度加權(quán)處理后的圖像成功消除了明顯的亮度差異，使得圖像顯示正確且平滑。

圖9 亮度調(diào)整后拼接結(jié)果

采用本文拼接算法最終融合后的結(jié)果如圖10所示，融合之后的圖像成功消除了拼接縫和明顯的色彩對比度差異，圖像之間過渡平緩，顯示正確且平滑，達(dá)到了預(yù)期效果，為后期的研究工作奠定了良好基礎(chǔ)。

圖10 最終拼接融合結(jié)果

3 結(jié)束語

本文采用SURF算法對經(jīng)過ICA處理的紅外熱圖像進(jìn)行特征提取，通過雙向匹配法和MSAC算法進(jìn)行特征點對的粗匹配和去除誤匹配過程，最后提出改進(jìn)的基于亮度和距離加權(quán)融合算法對參考圖像和待配準(zhǔn)圖像進(jìn)行融合。通過實驗仿真，在SURF算法提取到數(shù)量可觀的特征點以及經(jīng)匹配算法后得到的一定數(shù)量的精準(zhǔn)匹配點對后，通過提出的算法可以實現(xiàn)最終圖像的無縫拼接以及消除亮度和色彩對比度差異，實驗結(jié)果體現(xiàn)了算法的有效性。