基于AKAZE和MSRCR增強(qiáng)的紅外圖像目標(biāo)提取

王立力，夏飛

（上海電力學(xué)院，上海 200090）

0 引言

在變電站中，應(yīng)用紅外熱成像技術(shù)，對電力設(shè)備進(jìn)行非接觸的熱輻射掃描成像，得到熱像圖，通過研究紅外的圖像，判斷設(shè)備是否故障。紅外診斷技術(shù)是一種非接觸，被動式的測量技術(shù)，可以檢測和診斷變電站設(shè)備大量的內(nèi)外部缺陷。

在紅外電氣設(shè)備的運(yùn)行狀態(tài)監(jiān)測中，為了掌握設(shè)備的運(yùn)行狀況，以及故障的演變，需要在不同時期連續(xù)記錄設(shè)備的紅外圖像。然而，由于搭載的運(yùn)行設(shè)備的小車底盤無法每次都精確的停在同一位置，導(dǎo)致紅外熱成像傳感器出現(xiàn)觀測角的偏移，由此無法獲得目標(biāo)的準(zhǔn)確參數(shù)。因此，需要對偏差圖像進(jìn)行配準(zhǔn)，消除位置偏差和透視的影響。

為了將不同的兩張圖的部分點的坐標(biāo)找到一一對應(yīng)的關(guān)系，需要獲得歐氏尺度上和灰度級的轉(zhuǎn)換關(guān)系。主要任務(wù)是尋找最佳的空間變換 f與灰度變換關(guān)系g，實現(xiàn)兩幅圖像的對準(zhǔn)。圖像的配準(zhǔn)需要以下幾步：建立特征向量的高維空間、搜尋匹配特征、求解轉(zhuǎn)換參數(shù)、特征點變換。

我們選擇AKAZE進(jìn)行紅外圖像匹配，可以使結(jié)果不因旋轉(zhuǎn)發(fā)生變形、光照改變無法匹配、匹配速度塊、不受環(huán)境擾動影響。

1 算法設(shè)計

1.1 檢測流程

首先采用MSRCR增強(qiáng)模板圖像，第一步通過頻域低通濾波去除噪聲。之后，采用Canny提取模板輪廓，通過人工或者機(jī)器學(xué)習(xí)，由輪廓圖構(gòu)建興趣區(qū)域。第二步，采集到新的紅外熱成像圖之后，應(yīng)用AKAZE算法，將采集到的新圖像與模板圖像進(jìn)行配準(zhǔn)，通過FLANN對特征點進(jìn)行粗匹配，然后通過兩級篩選，獲得精確的特征點匹配結(jié)果。第三部，從匹配的特征點計算出單應(yīng)性矩陣，將新圖像映射到模板的區(qū)域，提取出興趣目標(biāo)。

1.2 圖像預(yù)處理

首先對圖像采用MSRCR算法增強(qiáng)紅外灰度圖。

因為采集的圖像的灰度分布較為集中，部分區(qū)域?qū)Ρ炔幻黠@，為了可以高效的檢測圖像中的特征點，提高圖像的配準(zhǔn)效率，這里采用MSRCR提升對灰度圖像的細(xì)節(jié)。

自然界或者人造場景中的光線部分直接進(jìn)入人眼作為背景亮度，部分光線照射到物體上反射進(jìn)入人眼，使得物體可以背人感知。這部分光線取決于物體表面的物理性質(zhì)，不受環(huán)境光的干擾。因此，人眼感知的圖像，來源于環(huán)境和反射光線的疊加：

式中：I(x,y)表示觀察者看到的圖像，L(x,y)表示背景光照的部分量R(x,y)表示觀察物體反射出來的部分量對I(x,y)做高斯模糊得到L(x,y)。加上帶權(quán)重偏置量w后，得到公式：

下圖是MSRCR算法對圖像進(jìn)行增強(qiáng)的前后對比，左側(cè)是采集到的圖像右側(cè)是經(jīng)過增強(qiáng)后顯示的圖像?？梢钥吹剿惴梢詫D像的細(xì)節(jié)的清晰度大大增強(qiáng)的。

圖1 算法流程圖

圖2 左圖是增強(qiáng)前灰度圖，右圖MSRCR增強(qiáng)后灰度圖

由于使用MSRCR算法增強(qiáng)了圖像，使得圖像在有效部分增強(qiáng)的同時，引入了高斯噪聲信號，同時把熱成像元件中的高頻噪聲信號增強(qiáng)了，這里采用頻域低通濾波對圖像圖像作濾波處理。

圖3 左圖原圖經(jīng)中值濾波后提取的邊緣圖右圖原圖經(jīng)維納濾波后提取的邊緣圖

圖4 濾波后提取邊緣的效果，可以明顯看到噪點干擾的消失

2 紅外圖像配準(zhǔn)

2.1 AKAZE搜尋特征點

非線性擴(kuò)散濾波（Nonlinear Diffusion Filtering）：這個過程采用流量函數(shù)描述紅外圖像的亮度的變化，表示為偏微分方程。圖像明暗的變化對應(yīng)到非線性空間的擴(kuò)散過程。以便克服高斯尺度空間邊緣模糊的問題：

其中，L是采集到的紅外圖像亮度;div，，?分別是發(fā)散和梯度算子。c(x,y,t)是取決于圖像差分結(jié)構(gòu)的傳導(dǎo)函數(shù)，表示為:

其中，采用函數(shù)?Lm對紅外圖進(jìn)行高斯平滑，獲得的梯度圖像。為了增強(qiáng)較小區(qū)域的擴(kuò)散效果，傳導(dǎo)函數(shù)g(x)：

其中，kd是調(diào)整因子，用來改變特征對比度，確定增強(qiáng)和保留的邊緣。這個方法計算開銷很大，需要多次迭代才能獲得近似解。

建立快速顯性擴(kuò)散（Fast Explicit Diffusion，F(xiàn)ED）的費尺度空間：建立一個考慮各向異性擴(kuò)散的非線性尺度空間。為了加快非線性尺度空間的構(gòu)建。

使用外部FED函數(shù)周期計算時，首先求出迭代步長Tj。

其中Tmax是符合顯式擴(kuò)展穩(wěn)定性條件的最大步長。然后計算如下的迭代：

I是單位矩陣。輸入梯度圖像A(Li)和初始值Li+1,0，代入；不同的迭代步長 Tj。最后更新梯度圖像A(Li)。

其中，Tmax是滿足顯性算法的穩(wěn)定性條件的最大步長。將FED循環(huán)嵌入到尺度由精到粗的浸漬法結(jié)構(gòu)中，可以極大改善計算速度。

建立非線性尺度空間：金字塔結(jié)構(gòu)有O層級和S子層組成，對了對圖像像素縮放，采用如下公式建立層與像素尺度的對應(yīng)關(guān)系：每層與原始圖像具有相同分辨率，尺度參數(shù)可以表示為:

每層有S個子層，所以共有N=O·S幅圖像。像素尺度無法直接使用非線性擴(kuò)散濾波，因此要將其轉(zhuǎn)化為時間尺度：

特征點檢測與描述：首先計算獲得的金字塔每一層濾波圖像Li的Hessia行列式，表示為

由于特征值具有旋轉(zhuǎn)不變性，所以求取以特征點為中心的局部主導(dǎo)方向。采用π/3扇形區(qū)域作為局部區(qū)域，δi為采樣步長，計算區(qū)域中像素的一階導(dǎo)數(shù)Lx和Ly，對結(jié)果高斯加權(quán)，算出特征點主方向。

在尺度為δi圖像上，選擇特征點為中心，大小為(24?δi)?(24?δi)的區(qū)間計算特征點一階導(dǎo)數(shù) Lx和 Ly。該區(qū)域再細(xì)分為16個子方格，共4行4列，邊長是(9?δi)。在每個子區(qū)間中心高，使用高斯（半徑δ1=2.5*δi）加權(quán)，然后采用下式疊加：

獲得16個子區(qū)域的特征描述符，然后以特征點為中心，采用高斯（半徑δ2=1.5*δi）對特征描述符加權(quán)，每個子區(qū)間有4個描述子，因此，最終獲得的64個長度的歸一化特征向量。

2.2 AKAZE特征點匹配與篩選

為了提高算法的運(yùn)算速度，實現(xiàn)紅外匹配的實時性。這里選擇 Fast Library for Approximate Nearest?Neighbor（快速近似最鄰近庫，F(xiàn)LANN）[15]算法。通常使用KNN近鄰算法建立不同圖像特征點的映射關(guān)系。

FLANN算法流程如下：

（1）首先建立隨機(jī)樹，對于多維特征，首先選擇維度D=5作為起始維度。當(dāng)搜索樹優(yōu)先級隊列，以便可以順序搜索隨機(jī)樹。通過檢查固定數(shù)量的葉節(jié)點，計算獲得近似程度，之后，搜索中值，返回最佳候選對象。

（2）使用K均值聚類將不同層的點分割到K個不同的區(qū)域，然后遞歸地對每個區(qū)域中的點應(yīng)用相同的方法來構(gòu)造分層k均值樹。當(dāng)區(qū)域中的點數(shù)小于K，我們停止遞歸。

（3）算法以最佳bin-first方式探索分層K-means樹，首先單次遍歷整個樹，將遍歷路徑中每個節(jié)點的所有未探索的分支添加到一個有限隊列中。然后，從優(yōu)先隊列中提取與請求點中心距離最近的分支，再從該分支處，重新開始遍歷樹。在遍歷樹的過程中，不斷向優(yōu)先隊里添加未探索的分支。當(dāng)檢查的樹葉節(jié)點數(shù)滿足預(yù)先設(shè)定的值時，停止探索。搜索的精度由用戶指定。

2.3 單應(yīng)矩陣的計算

在處理實時圖像到模板的映射時，我們需要計算平面單應(yīng)性映射矩陣。一個單應(yīng)矩陣是大小為3×3的矩陣H,滿足給定一個點P1=[x1,y1,w1]T,H把點P1變成新的點P2=[x2,y2,w2]T=HP1,對應(yīng)的圖像上的兩個點分別是得到等價的矩陣形式：Au=v

如果存在四對不共線匹配點對，可以構(gòu)建8個方程，存在唯一解。

3 實驗分析

3.1 圖像采集平臺

實驗硬件設(shè)備，使用上海熱像826型紅外熱成像儀。

實驗平臺是Windows 10（Intel Core 3632,8G內(nèi)存）。

3.2 實驗結(jié)果分析

為了驗證基于AKAZE和flann及RANSAC紅外熱成像圖像配準(zhǔn)算法的有效性，這里將其與基于SIFT、基于orb、基于surf、基于brisk算法進(jìn)行定量的分析比較。

定量分析的指標(biāo)如下：

重復(fù)率：兩幅圖像Ia和Ib上分別檢測到的特征點a和b，兩幅圖像Ia和Ib上分別檢測到的特征點a和b，A是點集b到a的單應(yīng)性矩陣的線性化表示，(ATμbA)表示點集b映射到圖像Ia上的點對。 μa∩(ATμbA)表示b映射到圖像Ia的有效集，μa∪(ATμbA)表示b映射到圖像Ia的總點集。可以用來判斷匹配點的是否可以多次重復(fù)檢出。那么重復(fù)率表示如下：

匹配率，為了驗證匹配的效果，采用匹配率來衡量

表1 重復(fù)率統(tǒng)計

其中0.8d表示，基于公式d2＜0.8*d1，即最近似匹配點對歐氏距離的0.8倍大于次近似匹配的歐氏距離。

采用這個評判方式，可以初步部分篩除誤匹配的情況。

召回率（recall）：指算法正確匹配的特征點對占總有效匹配特征點數(shù)的比例。召回率通常用于評價特征描述子的匹配性能。召回率越高，描述子的描述效果越好。

表2 召回率

匹配誤差：采用均方根誤差RMSE來評判圖像特征點的匹配效率，圖像運(yùn)用單應(yīng)性矩陣變換分析模板的特征點和檢測到的新特征點之間差異的大小。

兩幅圖像Ia和Ib上分別檢測到的特征點a和b，如果a與通過單應(yīng)性矩陣映射到Ib的點之間的距離的均方根誤差小于1.5，可以認(rèn)為匹配轉(zhuǎn)換效果滿足要求。

表3 匹配誤差

其中Td是特征點檢測算法提取兩幅圖像特征點的時間。正向映射，表示輸入圖像Ib的特征點映射模板圖像Ia上的RMSE值。反向映射，表示表示模板圖像Ia的特征點映射到輸入圖像Ib上的RMSE值。RMSE值越小，表示特征匹配率越好。

3.3 實驗測試

實驗測試了多組數(shù)據(jù)，這里列舉其中3組加以說明。從上至下依次是模板輪廓圖、紅外熱成像輸入圖像、MSRCR增強(qiáng)圖像、AKAZE特征匹配、輸出目標(biāo)提取結(jié)果。

可以看到三組實驗都將目標(biāo)對象從背景中抓取了出來，以便后期對目標(biāo)的識別。實驗內(nèi)容如下所示。

圖5 紅外圖像匹配與特定目標(biāo)提取實驗

4 結(jié)語

本文研究了基于AKAZE特征并結(jié)合MSRCR圖像增強(qiáng)的紅外圖像目標(biāo)抓取算法。采用快速近似最鄰近庫FLANN匹配AKAZE算法從兩幅紅外圖像上提取的特征點。然后次用MSRCR算法對紅外圖像進(jìn)行增強(qiáng)，對模板圖像采用頻域低通濾波去除噪聲，然后使用Canny算子提取目標(biāo)輪廓。最后，將輸入圖像投射到模板，提取出目標(biāo)對象，以便后續(xù)處理。AKAZE算法較原先采用的SURF算法更為穩(wěn)定，速度也更快。MSR?CR圖像增強(qiáng)相比直方圖均衡算法，對目標(biāo)的增強(qiáng)更為均勻，對噪聲有一定的抑制。下一步計劃將可見光圖像與紅外圖像進(jìn)行配準(zhǔn)，增加圖像的細(xì)節(jié)特征。

[1]郝偉偉,張曉芳,黃宇,楊峰,郭百巍.Determining Relativeposition and Attitude of a Close Non-cooperative Target Based on the SIFT Algorithm[J/OL].Journal of Beijing Institute of Technology,2014,23（03）:390-394.

[2]Alcantarilla P F，Nuevo J，Bartoli A.Fast Explicit Diffusion for Accelerated Features in Nonlinear ScaleSpaces[C].Proceedings of British Machine VisionConference.Berlin，Germany:Springer，2013:131-142.

[3]P.F.Alcantarilla,A.Bartoli,A.J.Davison.KAZE features[C].In Eur.Conf.on Computer Vision（ECCV）,2012:214–227.

[4]Krystian Mikolajczyk and Cordelia Schmid.A Performance Evaluation of Local Descriptors[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2005（10）:VOL.27,NO.10.

[5]JulioZaragoza,Tat-Jun Chin,Michael SBrown.As-Projective-As-Possible Image Stitching with Moving DLT［C］.Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition，2013:2339-2346．

[6]STONE H S，BO T，GUIRE M M.Analysis of Image Registration Noise Due to Rotationally Dependent Aliasing[J].Journal of Visual Communication and Image Representation，2003，14（2）:114-135．

[7]Daniel J.Jobson,Zia-ur Rahman,Glenn A.Woodell.A Multiscale Retinex for Bridging the Gap Between Color Images and the Human Observation of Scenes[J].IEEE Transactions on Image Processing,Vol.6,No.7,JULY 1997.

[8]Sunglok Choi，Taemin Kim，Wonpil Yu．Performance Evaluation of RANSAC Family[C].Proceedings of British Machine Vision Conference.Berlin，Germany:Springer，2009:1-12.

[9]LU F，WU ZH ZH，XIANG L.Fast Image Diffusion for Feature Detection and Description[J].InternationalJournal of Computer Theory sand Engineering，2016，8（1）:58-62．

[10]David G.Lowe.Distinctive Image Features from Scale-Invariant Keypoints.International Journal of Computer Vision,2004（5）.

[11]Muja M，Lowe D G.Fast Approximate Nearest Neighbors with Automatic Algorithm Configuration[C].Proceedings of the 4th International Conference on Computer Vision Theory and Applications.Berlin，Germany:Springer，2009:213-220.

[12]ZHENG Y B，HUANG X SH，F(xiàn)ENG S J.An Image Matching Algorithm based on Combination of SIFT and Therotation Invariant LBP[J].Journal of Computer-AidedDesign&Computer Graphics，2010，22（2）：286-292．

[13]鄭永斌，黃新生，豐松江.SIFT和旋轉(zhuǎn)不變LBP相結(jié)合的圖像匹配算法[J].計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報，2010，22（2）：286-292．

[14]李瑩.基于Retinex理論的圖像增強(qiáng)算法研究[D].西北大學(xué),2014.

[15]王宇.長線列紅外中長波圖像融合關(guān)鍵技術(shù)研究[D].中國科學(xué)院研究生院（上海技術(shù)物理研究所）,2014.

[16]趙振兵,王琴,余萍,王颯颯.基于BEMD的電力設(shè)備紅外與可見光圖像的配準(zhǔn)研究[J].電力系統(tǒng)保護(hù)與控制,2011,39（23）:25-29.[2017-09-29]