基于深度學(xué)習(xí)的電力設(shè)備紅外與可見光圖像配準(zhǔn)

付 添，鄧長征，韓欣月，弓萌慶

基于深度學(xué)習(xí)的電力設(shè)備紅外與可見光圖像配準(zhǔn)

付 添，鄧長征，韓欣月，弓萌慶

（三峽大學(xué) 電氣與新能源學(xué)院，湖北 宜昌 443002）

針對(duì)現(xiàn)有電力設(shè)備紅外與可見光圖像配準(zhǔn)難度大、配準(zhǔn)時(shí)間長等問題，提出一種基于深度學(xué)習(xí)的電力設(shè)備紅外與可見光圖像配準(zhǔn)融合的方法。本文將特征提取與特征匹配聯(lián)合在深度學(xué)習(xí)框架中，直接學(xué)習(xí)圖像塊對(duì)與匹配標(biāo)簽之間的映射關(guān)系，用于后續(xù)的配準(zhǔn)。此外為了緩解訓(xùn)練時(shí)紅外圖像樣本不足的問題，提出一種利用紅外圖像及其變換圖像學(xué)習(xí)映射函數(shù)的自學(xué)習(xí)方法，同時(shí)采用遷移學(xué)習(xí)來減少訓(xùn)練時(shí)間，加速網(wǎng)絡(luò)框架。實(shí)驗(yàn)結(jié)果表明：本文方法與其他4種配準(zhǔn)算法相比性能指標(biāo)均有顯著提升，本文平均準(zhǔn)確率為89.909，同其余4種算法相比分別提高了2.31%、3.36%、2.67%、0.82%，本文平均RMSE（Root Mean Square Error）為2.521，同其余4種配準(zhǔn)算法相比分別降低了14.68%、15.24%、4.90%、1.04%，算法平均用時(shí)為5.625s，較其余4種算法分別降低了5.57%、6.82%、2.45%、1.75%，有效提高了電力設(shè)備紅外與紅外可見光圖像配準(zhǔn)的效率。

圖像配準(zhǔn)；深度學(xué)習(xí)；自學(xué)習(xí)；深度神經(jīng)網(wǎng)絡(luò)；電力設(shè)備

0 引言

電力設(shè)備作為電力系統(tǒng)的重要組成部分，它的運(yùn)行狀態(tài)往往決定著整個(gè)電力系統(tǒng)的安全與穩(wěn)定[1-2]。通過電力設(shè)備的紅外圖像可以判斷其是否發(fā)生故障，但是紅外圖像往往輪廓不夠清晰，而可見光圖像信息豐富，細(xì)節(jié)也更全面，因此圖像融合技術(shù)應(yīng)運(yùn)而生，將紅外和可見光圖像進(jìn)行融合后，就可以得到既符合人們的視覺特性，又不受光照強(qiáng)度的影響，還包含了兩幅源圖像細(xì)節(jié)信息的融合圖像[3-6]。然而在實(shí)際應(yīng)用中，紅外與可見光圖像不可能完全一樣，因此在進(jìn)行圖像融合前需要進(jìn)行配準(zhǔn)，根據(jù)紅外與可見光圖像上的特征信息，利用變換參數(shù)，將紅外與可見光圖像變換到同一坐標(biāo)系下。

隨著深度學(xué)習(xí)的發(fā)展，深度學(xué)習(xí)技術(shù)也被引入到了紅外與可見光圖像配準(zhǔn)領(lǐng)域。文獻(xiàn)[7-9]利用神經(jīng)網(wǎng)絡(luò)來提取特征學(xué)習(xí)相似度度量，雖然提高了算法的性能，但收斂速度緩慢。文獻(xiàn)[10-12]利用深度學(xué)習(xí)方法解決了醫(yī)學(xué)圖像配準(zhǔn)問題，取得了令人鼓舞的結(jié)果。文獻(xiàn)[13-15]首次利用深度神經(jīng)網(wǎng)絡(luò)的方法來度量?jī)蓚€(gè)圖像塊的相似性。文獻(xiàn)[16-20]利用深度強(qiáng)化學(xué)習(xí)將圖像配準(zhǔn)轉(zhuǎn)化為迭代求解最優(yōu)動(dòng)作序列的過程，但這類深度迭代算法收斂速度緩慢。文獻(xiàn)[21-22]將深度特征與傳統(tǒng)算子結(jié)合以提高精度，但在過程中增加了冗余。文獻(xiàn)[23]使用CNN（Convolution Neural Network）網(wǎng)絡(luò)對(duì)圖像進(jìn)行特征提取來實(shí)現(xiàn)多模圖像配準(zhǔn)?？偟膩碚f，這些配準(zhǔn)框架都需要獲得盡可能多的局部特征點(diǎn)來進(jìn)行變換模型的估計(jì)，這可能會(huì)導(dǎo)致相應(yīng)的特征點(diǎn)的缺乏，造成配準(zhǔn)失敗。

本文提出一種基于深度學(xué)習(xí)的電力設(shè)備紅外與可見光圖像配準(zhǔn)方法。與傳統(tǒng)方法不同，本文將特征提取與特征匹配聯(lián)合在深度學(xué)習(xí)框架中，在提高電力設(shè)備紅外與可見光圖像匹配精度的同時(shí)具有較低的時(shí)間復(fù)雜度。

1 本文方法

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文提出的紅外與可見光配準(zhǔn)框架如圖1所示。本文將特征提取與特征匹配聯(lián)合在深度學(xué)習(xí)框架中，直接學(xué)習(xí)圖像塊對(duì)與匹配標(biāo)簽之間的關(guān)系。將紅外與可見光圖像塊對(duì)作為神經(jīng)網(wǎng)絡(luò)的輸入，輸出的是相對(duì)應(yīng)的匹配標(biāo)簽，然后，利用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)新的紅外與可見光圖像塊對(duì)的匹配標(biāo)簽。本文的網(wǎng)絡(luò)框架主要包括兩個(gè)部分：第一部分是提取紅外與可見光圖像塊的特征點(diǎn)并自發(fā)學(xué)習(xí)特征匹配函數(shù)，完成深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，第二部分是紅外與可見光圖像配準(zhǔn)。首先為紅外與可見光圖像塊對(duì)分配不同的匹配標(biāo)簽，用于訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)。然后利用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)待配準(zhǔn)圖像中圖像塊對(duì)的匹配關(guān)系，最后，剔除錯(cuò)誤的匹配點(diǎn)對(duì)，計(jì)算待配準(zhǔn)圖像的變換矩陣，配準(zhǔn)并融合圖像。

1.2 自學(xué)習(xí)策略

由于配準(zhǔn)框架需要獲得盡可能多的局部特征點(diǎn)來進(jìn)行匹配標(biāo)簽的預(yù)測(cè)，但是，與可見光圖像不同，紅外圖像的獲取十分困難，為了盡可能地從紅外圖像中獲得局部特征點(diǎn)，從而使神經(jīng)網(wǎng)絡(luò)得到充分的訓(xùn)練，本文提出一種自學(xué)習(xí)策略，具體步驟如下：

1）特征點(diǎn)檢測(cè)。本文以紅外與可見光圖像塊對(duì)為訓(xùn)練神經(jīng)網(wǎng)絡(luò)的樣本，而圖像塊對(duì)是以特征點(diǎn)為中心選取的，因此得到準(zhǔn)確有效的特征點(diǎn)是關(guān)鍵。由于視角或傳感器的原因，紅外與可見光圖像存在一定程度的外觀差異，傳統(tǒng)方法檢測(cè)到的特征點(diǎn)可能包含嚴(yán)重的異常值，進(jìn)而在后續(xù)的配準(zhǔn)中產(chǎn)生大量的誤匹配，深度學(xué)習(xí)恰好解決了這個(gè)問題，卷積神經(jīng)網(wǎng)絡(luò)可以自適應(yīng)地學(xué)習(xí)紅外與可見光圖像塊中具有不變特征的信息，并以此為特征點(diǎn)，這些特征點(diǎn)與圖像大小、光線、視角無關(guān)。以這些特征點(diǎn)為中心的圖像塊也會(huì)有明顯的特征顯示，使用這樣的訓(xùn)練樣本來訓(xùn)練神經(jīng)網(wǎng)絡(luò)可以保證神經(jīng)網(wǎng)絡(luò)的優(yōu)良性能，大大提高后續(xù)配準(zhǔn)精度。

圖1 圖像配準(zhǔn)融合深度學(xué)習(xí)框架

2）變換圖像。利用一組變換矩陣{1,2, …,}對(duì)紅外圖像進(jìn)行尺度變換、旋轉(zhuǎn)、平移，得到一組變換的紅外圖像{1,2,…,I}。

3）選取訓(xùn)練樣本。首先利用卷積神經(jīng)網(wǎng)絡(luò)提取可見光圖像中的特征點(diǎn)，一共有個(gè)特征點(diǎn){1,2,…,x}，然后利用卷積神經(jīng)網(wǎng)絡(luò)同樣提取變換紅外圖像{1,2,…,I}的特征點(diǎn)，也可以得到個(gè)特征點(diǎn){1,2,…,x}。則可見光圖像與變換的紅外圖像I的匹配點(diǎn)對(duì)為{(x,x),＝}，不匹配點(diǎn)對(duì)為{(x, x),≠}這里＝(1,2,…,)，＝＝(1,2, …,)。最后，根據(jù)特征點(diǎn)選取圖像塊集，可見光圖像塊集為{1,2, …,p}，變換的紅外圖像I的圖像塊集為{1,2,…,p}，則可以得到匹配的圖像塊對(duì)為{(p, p),＝}，不匹配的圖像塊對(duì)為{(p, p),≠}，訓(xùn)練樣本表示為{(p, p),y}，其中匹配標(biāo)簽y為：

于是得到1個(gè)匹配的正樣本和－1個(gè)不匹配的負(fù)樣本，為了保證神經(jīng)網(wǎng)絡(luò)的訓(xùn)練性能，必須要維持正負(fù)樣本的平衡，本文的做法是在－1個(gè)負(fù)樣本中隨機(jī)選取1個(gè)負(fù)樣本與正樣本對(duì)應(yīng)，達(dá)到樣本平衡。圖2為自學(xué)習(xí)策略中訓(xùn)練樣本的生成方案。

2 訓(xùn)練過程

一般的深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練過程是從隨機(jī)初始化參數(shù)開始，然后使用BP（Back Propagation）算法調(diào)整整個(gè)網(wǎng)絡(luò)的參數(shù)，利用隨機(jī)梯度下降算法使損失函數(shù)最小化。然而這個(gè)過程會(huì)導(dǎo)致過度擬合，并且訓(xùn)練成本較高，為此我們采用兩步訓(xùn)練策略來緩解這些問題。一開始，由于沒有可用的深度學(xué)習(xí)模型，我們應(yīng)用玻爾茲曼機(jī)來訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)，只用一個(gè)圖像對(duì)(1,1)，即最初的學(xué)習(xí)，經(jīng)過訓(xùn)練的深度學(xué)習(xí)模型不僅可以配對(duì)1和1，而且還學(xué)習(xí)了紅外圖像和可見光圖像的某些共性屬性，因此，它可以通過遷移學(xué)習(xí)作為其他圖像的訓(xùn)練網(wǎng)絡(luò)。

2.1 初始學(xué)習(xí)

預(yù)訓(xùn)練時(shí)將數(shù)據(jù)的先驗(yàn)信息帶入?yún)?shù)初始化中，可以防止過擬合，同時(shí)具有較好的范化性能[24]。根據(jù)這一思想，應(yīng)用無監(jiān)督的預(yù)訓(xùn)練，即限制性玻爾茲曼機(jī)（Restricted Boltzmann Machine, RBM,）[25]，來初始化深度學(xué)習(xí)網(wǎng)絡(luò)參數(shù)。

RBM學(xué)習(xí)輸入數(shù)據(jù)的分布特性，它由輸入層和特征提取層組成。它將輸入單元記為∈{0,1}，將特征提取單元記為∈{0,1}，則聯(lián)合概率分布和能量函數(shù)可表示為：

圖2 自學(xué)習(xí)策略中訓(xùn)練樣本的生成方案

由于RBM的獨(dú)立性，輸入單元和特征提取單元的激活概率更新為：

式中：是sigmoid函數(shù)，()＝1/(1＋exp(－))。

2.2 遷移學(xué)習(xí)

對(duì)于一幅新的未配準(zhǔn)圖像，如果通過本文提出的自學(xué)習(xí)從頭開始訓(xùn)練網(wǎng)絡(luò)，會(huì)耗費(fèi)大量的時(shí)間，因此，我們提出利用遷移學(xué)習(xí)的方法減少訓(xùn)練時(shí)間，提高訓(xùn)練網(wǎng)絡(luò)擬合新圖像的可靠性。遷移學(xué)習(xí)是將源網(wǎng)絡(luò)作為目標(biāo)網(wǎng)絡(luò)的初始狀態(tài)，然后利用目標(biāo)數(shù)據(jù)對(duì)目標(biāo)網(wǎng)絡(luò)進(jìn)行微調(diào)的過程。這樣不僅提高了網(wǎng)絡(luò)的范化性能，而且大大減少了訓(xùn)練的時(shí)間。在本文中，我們有一個(gè)經(jīng)過訓(xùn)練的網(wǎng)絡(luò)，它在初始學(xué)習(xí)后學(xué)習(xí)同質(zhì)數(shù)據(jù)的某些屬性。按照同樣的思路，我們將已有的深度學(xué)習(xí)網(wǎng)絡(luò)作為初始網(wǎng)絡(luò)，然后利用新圖像中相應(yīng)的匹配標(biāo)簽對(duì)網(wǎng)絡(luò)進(jìn)行微調(diào)。

3 配準(zhǔn)

3.1 去除外點(diǎn)

在匹配步驟中，將可見光圖像1和紅外圖像1中所有的圖像塊對(duì){p, p}輸入訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)中，預(yù)測(cè)匹配標(biāo)簽，如果標(biāo)簽為1，則以匹配的圖像塊對(duì)的中心點(diǎn)作為圖像匹配的初始特征點(diǎn)。由于圖像塊的尺寸很小，我們可能會(huì)在1和1之間發(fā)現(xiàn)多個(gè)相似的圖像塊對(duì)。這種一對(duì)多匹配混淆了變換矩陣的計(jì)算。因此，我們應(yīng)用一個(gè)全局約束來刪除這些假匹配點(diǎn)。本文在RANSAC（Random Sample Consensus）[26]算法的基礎(chǔ)上做出如下改進(jìn)，本文通過上述訓(xùn)練好的圖像塊匹配模型來判定配準(zhǔn)點(diǎn)對(duì)的特征，弱化了求解參數(shù)模型時(shí)的多迭代對(duì)算法耗時(shí)的影響。然后針對(duì)RANSAC算法對(duì)每次生成的單應(yīng)性矩陣進(jìn)行合理性判定而造成的處理效率問題，通過快速舍棄不合理的矩陣來減少單應(yīng)性矩陣驗(yàn)證和特征點(diǎn)檢測(cè)時(shí)間。最后通過更新樣本集再次求解矩陣，使得產(chǎn)生的單應(yīng)性矩陣是最優(yōu)的結(jié)果。如圖3所示，改進(jìn)SANSAC算法的運(yùn)行時(shí)間為0.06s，與傳統(tǒng)的SANSAC算法0.09s相比提高了33%。

3.2 幾何變換

通過全局約束刪除假匹配點(diǎn)后，得到圖像塊之間準(zhǔn)確的對(duì)應(yīng)關(guān)系，由對(duì)應(yīng)關(guān)系求得匹配變換矩陣。通過匹配變換矩陣，可以擬合出紅外與可見光圖像塊之間的變換參數(shù)，對(duì)圖像塊進(jìn)行重采樣，使得紅外與可見光圖像置于統(tǒng)一坐標(biāo)系中。相似性變換可以定義為：

式中：(e)、(e)分別為相似變換系數(shù)；(e)權(quán)重函數(shù)，紅外與可見光圖像棋盤圖如圖4所示。

4 實(shí)驗(yàn)結(jié)果及其分析

4.1 配準(zhǔn)融合評(píng)價(jià)指標(biāo)

1）準(zhǔn)確率（Accuracy, ACC）[27]是指匹配標(biāo)簽預(yù)測(cè)為正樣本的樣本數(shù)目和不匹配標(biāo)簽預(yù)測(cè)為負(fù)樣本的樣本數(shù)目占總的樣本數(shù)目的比例，其表達(dá)式為：

圖4 紅外與可見光圖像棋盤圖

2）精度（Precision,）[27]是指匹配標(biāo)簽預(yù)測(cè)為正樣本中正確預(yù)測(cè)的比例，其表達(dá)式為：

3）召回率（Recall,）[27]是指正樣本被正確預(yù)測(cè)的比例，其表達(dá)式為：

式中：TP表示將匹配標(biāo)簽預(yù)測(cè)為正樣本；TN表示將匹配標(biāo)簽預(yù)測(cè)為負(fù)樣本；FP表示將不匹配標(biāo)簽預(yù)測(cè)為正樣本；FN表示將不匹配標(biāo)簽預(yù)測(cè)為負(fù)樣本。

4）F-measure[20]是一個(gè)綜合指標(biāo)，用來度量分類方法的性能，其表達(dá)式為：

5）均方根誤差（root mean square error, RMSE）可以衡量配準(zhǔn)算法的精度，均方根誤差越小說明配準(zhǔn)效果越好，其定義為：

式中：(1i,1i)為紅外圖像匹配點(diǎn)坐標(biāo)；(2i,2i)為對(duì)應(yīng)的可見光圖像匹配點(diǎn)坐標(biāo)；為匹配點(diǎn)對(duì)數(shù)。

4.2 敏感性分析

為了評(píng)估不同圖像塊大小對(duì)深度學(xué)習(xí)模型的影響，依次選取18、34、50、66大小的圖像塊進(jìn)行4組相互獨(dú)立的實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表1所示。

表1 不同圖像大小對(duì)模型的影響結(jié)果

由表1可知，隨著圖像塊大小逐漸增大，ACC、、和F-measure整體趨勢(shì)是呈上升趨勢(shì)的。這是因?yàn)閳D像塊對(duì)越大，細(xì)節(jié)信息就越豐富，物體的輪廓也越清晰，匹配的準(zhǔn)確率也隨之增大。但并不意味著圖像塊越大越好，因?yàn)閳D像塊對(duì)越大，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練時(shí)間和訓(xùn)練難度也會(huì)隨著增大，應(yīng)用其預(yù)測(cè)匹配標(biāo)簽的時(shí)間也會(huì)隨著增大。

4.3 實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證本文算法，選擇了較為先進(jìn)的4種算法進(jìn)行對(duì)比，對(duì)比算法為CSS（Curvature Scale Space）算法[28]、CNN（Convolution Neural Network）算法[29]、DSGAN（Generative Adversarial Network for Distant Supervision）算法[30]、DVGG（Difference of Gaussian with VGG）算法[31]。圖5是5組采用本文算法實(shí)現(xiàn)的紅外與可見光圖像配準(zhǔn)融合效果圖，由圖可知本文算法的配準(zhǔn)精度高，融合后的圖像邊緣清晰，能夠清楚反映電力設(shè)備的紅外圖像特征和可見光圖像特征。

表2給出了5組實(shí)驗(yàn)數(shù)據(jù)下5種算法的配準(zhǔn)結(jié)果對(duì)比，從數(shù)據(jù)中我們可以看出，本文算法的ACC、RMSE均有明顯提高，本文平均ACC為89.909，同其余4種算法相比分別提高了2.31%、3.36%、2.67%、0.82%，由于精確度更高，所以匹配效果更好。本文平均RMSE為2.521，同其余4種配準(zhǔn)算法相比分別降低了14.68%、15.24%、4.90%、1.04%，由于平均均方根誤差系數(shù)更小，說明本文配準(zhǔn)算法具有優(yōu)越性。

表3給出了5組實(shí)驗(yàn)數(shù)據(jù)下5種算法的配準(zhǔn)時(shí)間對(duì)比，從數(shù)據(jù)中我們可以看出，本文算法具有較低的時(shí)間復(fù)雜度。本文算法平均用時(shí)為5.625s，較其余4種算法分別降低了5.57%、6.82%、2.45%、1.75%，平均匹配時(shí)間更少、魯棒性更強(qiáng)。

圖5 電力設(shè)備紅外與可見光圖像配準(zhǔn)融合

表2 不同配準(zhǔn)算法配準(zhǔn)結(jié)果對(duì)比

5 結(jié)論

本文提出了一種用于電力設(shè)備的紅外與可見光圖像配準(zhǔn)融合的深度學(xué)習(xí)框架，這種端到端架構(gòu)直接學(xué)習(xí)圖像塊對(duì)與其匹配標(biāo)簽之間的映射函數(shù)。為了彌補(bǔ)紅外圖像數(shù)據(jù)量小的問題，提出一種利用紅外圖像及其變換圖像學(xué)習(xí)映射函數(shù)的自學(xué)習(xí)方法，不需要依賴于其他數(shù)據(jù)，并且應(yīng)用遷移學(xué)習(xí)方法進(jìn)一步提高了映射函數(shù)的準(zhǔn)確性，降低了訓(xùn)練成本。實(shí)驗(yàn)結(jié)果表明，本文的方法具有優(yōu)越性，平均匹配時(shí)間更少，滿足電力系統(tǒng)在線檢測(cè)的實(shí)時(shí)性。

表3 不同匹配算法時(shí)間對(duì)比

[1] 張旭, 魏娟, 趙冬梅, 等. 電網(wǎng)故障診斷的研究歷程及展望[J]. 電網(wǎng)技術(shù), 2013, 37(10): 2745-2553.

ZHANG Xu, WEI Juan, ZHAO Dongmei, et al. Research history and prospect of power grid fault diagnosis [J]., 2013, 37(10): 2745-2553.

[2] 劉曉康, 萬曦, 涂文超, 等. 基于紅外可見光圖像配準(zhǔn)的電力設(shè)備分割算法[J]. 計(jì)算機(jī)與現(xiàn)代化, 2020(8): 26-30.

LIU Xiaokang, WAN Xi, TU Wenchao, et al. Power equipment segmentation algorithm based on infrared and visible image registration[J]., 2020(8): 26-30.

[3] 王鯤鵬, 徐一丹, 于起峰. 紅外與可見光圖像配準(zhǔn)方法分類及現(xiàn)狀[J]. 紅外技術(shù), 2009, 31(5): 270-274.

WANG Kunpeng, XU Yidan, YU Qifeng. Classification and status quo of infrared and visible image registration methods[J]., 2009, 31(5): 270-274.

[4] 趙洪山, 張則言. 基于文化狼群算法的電力設(shè)備紅外和可見光圖像配準(zhǔn)[J]. 光學(xué)學(xué)報(bào), 2020, 40(16): 1-14.

ZHAO Hongshan, ZHANG Zeyan Infrared and visible image registration of power equipment based on cultural wolf swarm algorithm[J]., 2020, 40(16): 1-14.

[5] MA J Y, JIANG X Y, FAN A X, et al. Image matching from handcrafled to deep features: A survey [J]., 2021, 129(1): 23-79.

[6] 徐全飛, 馮旗. 基于SURF和矩陣乘法的超大規(guī)模遙感圖像亞像素配準(zhǔn)算法研究[J]. 紅外技術(shù), 2017, 39(1): 44-52.

XU Quanfei, FENG Qi Research on subpixel registration algorithm of super large scale remote sensing image based on surf and matrix multiplication[J]., 2017, 39(1): 44-52.

[7] WU G R, KIM M, WANG Q, GAO Y Z, et al. Unsupervised deep feature learning for deformable registration of MR brain image[C]//16, 2013: 649-656.

[8] CHENG X, ZHANG L, ZHENG Y F. Deep similarity learning for multimodal medical images[J]., 2018, 6(3): 248-252.

[9] Simonovsky M, Gulierrez-Becker B, Mateus D, et al. A deep metric for multimodal registration[C]//19th2016: 10-18.

[10] Kabus S, Netsch T, Fischer B, et al. B-spline registration of 3D images with Levenberg-Marquardt optimization[C]//,2004, 5370: 304-313.

[11] TANG L S, Hamarneh G, Celler A. Co-registration of bone CT and SPECT images using mutual information[C]//, 2006: 116-121.

[12] MIAO S, WANG Z J, LIAO R. A CNN regression approach for real-time 2D/3D registration[J]., 2016, 35(5): 1352-1363.

[13] HAN Xufeng, LEUNG T, JIA Y, et al. MatchNet: Unifying feature and metric learning for patch-based matching[C]//2015(CVPR), 2015: 3279-3286, Doi: 10.1109/CVPR.2015.7298948.

[14] Krebs J, Mansi T, Delingette H, et al. Robust non-rigid registration through agent-based action learning[C]//20th, 2017: 344-35.

[15] Dosovitskiy A, Fischer P, Ilg E, et al. FlowNet: learning optical flow with convolutional networks[C]//, 2015: 2758-2766.

[16] LI H W, WANG B H, LI L. Research on the infrared and visible power-equipment image fusion for inspection robots[C]//2010 1st, 2010: 1-5.

[17] 李寒, 王庫, 劉韶軍. 基于灰度冗余和SURF算法的電氣設(shè)備紅外和可見光圖像配準(zhǔn)[J]. 電力系統(tǒng)保護(hù)與控制, 2011, 39(11): 111-115, 123.

LI Han, WANG Ku, LIU Shaojun. Infrared and visible image registration of electrical equipment based on gray redundancy and surf algorithm[J]., 2011, 39(11): 111-115, 123.

[18] 姜騫, 劉亞東, 方健, 等. 基于輪廓特征的電力設(shè)備紅外和可見光圖像配準(zhǔn)方法[J].儀器儀表學(xué)報(bào), 2020, 41(11): 252-260.

JIANG Qian, LIU Yadong, FANG Jian, et al. Infrared and visible image registration method of power equipment based on contour feature[J]., 2020, 41(11): 252-260.

[19] 李云紅, 羅雪敏, 蘇雪平, 等. 基于改進(jìn)CSS的電力設(shè)備紅外與可見光圖像配準(zhǔn)[J]. 激光與光電子學(xué)進(jìn)展, 2021, 11(24): 1-15.

LI Yunhong, LUO Xuemin, SU Xueping, et al. Infrared and visible image registration of power equipment based on improved CSS [J]., 2021, 11(24): 1-15.

[20] Taylor S, Drummond T. Binary histogrammed intensity patches for efficient and robust matching[J]., 2011, 94(2): 241-265.

[21] MA W, ZHANG J, WU Y, et al. A novel two-step registration method for remote sensing images based on deep and local features[J]., 2019, 57: 4834-4843.

[22] YE F, SU Y, XIAO H, et al. Remote sensing image registration using convolutional neural network features[J]., 2018, 15: 232-236.

[23] LIU X L, JIANG D S, WANG M N, et al. Image synthesis based multi-modal image registration framework by using deep fully convolutional networks[J]., 2019, 57(5): 1037-1048.

[24] 周微碩, 安博文, 趙明, 等. 基于幾何不變性和局部相似特征的異源遙感圖像配準(zhǔn)算法[J]. 紅外技術(shù), 2019, 41(6): 561-571.

ZHOU Weishuo, AN Bowen, ZHAO Ming, et al A registration algorithm for heterogeneous remote sensing images based on geometric invariance and local similarity [J]., 2019, 41(6): 561-571.

[25] Salakhutdinov R, Hinton G E. Deep Boltzmann machines[C]//12th, 2009: 448-455.

[26] 楊瓊楠, 馬天力, 楊聰錕, 等. 基于優(yōu)化采樣的RANSAC圖像匹配算法[J]. 激光與光電子學(xué)進(jìn)展, 2020, 57(10): 259-266.

YANG Qiongnan, MA Tianli, YANG Congkun, et al. RANSAC image matching algorithm based on optimized sampling[J]., 2020, 57(10): 259-266.

[27] 李航. 統(tǒng)計(jì)學(xué)習(xí)方法[M]. 北京: 清華大學(xué)出版社, 2012.

LI Hang.[M]. Beijing: Tsinghua University Press, 2012.

[28] 朱英宏, 李俊山, 湯雨. 基于CSS角點(diǎn)提取的紅外與可見光圖像匹配算法[J].系統(tǒng)工程與電子技術(shù), 2011, 33(11): 2540-2545.

ZHU Yinghong, LI Junshan, TANG Yu. Infrared and visible image matching algorithm based on CSS corner extraction[J]., 2011, 33(11): 2540-2545.

[29] 岳國華, 邢曉利. 基于卷積神經(jīng)網(wǎng)絡(luò)和校正網(wǎng)絡(luò)相結(jié)合的遙感圖像配準(zhǔn)方法研究[J]. 計(jì)算機(jī)應(yīng)用與軟件, 2021, 38(11): 185-190.

YUE Guohua, XING Xiaoli. Research on remote sensing image registration method based on convolution neural network and correction network[J]., 2021, 38(11): 185-190.

[30] FU J, LI W S, XU L M. DSAGAN: A generative adversarial network based on dual-stream attention mechanism for anatomical and functional image fusion [J]., 2021, 576: 484-506.

[31] 王少杰, 武文波, 徐其志. VGG與DoG結(jié)合的光學(xué)遙感影像精確配準(zhǔn)方法[J]. 航天返回與遙感, 2021, 42(5): 76-84.

WANG Shaojie, WU Wenbo, XU Qizhi. An accurate registration method of optical remote sensing images based on VGG and DoG[J]., 2021, 42(5): 76-84.

Infrared and Visible Image Registration for Power Equipments Based on Deep Learning

FU Tian，DENG Changzheng，HAN Xinyue，GONG Mengqing

(College of Electrical and New Energy, China Three Gorges University, Yichang 443002, China)

A registration fusion method of infrared and visible images of power equipment based on deep learning is proposed that aims at problems with difficult and long registration time of infrared and visible images of existing power equipment. In this study, feature extraction and feature matching are combined in a deep learning framework to directly learn the mapping relationship between image block pairs and matching labels for subsequent registration. In addition, a self-learning method using infrared image and its transform image to learn the mapping function is proposed to alleviate the problem of insufficient infrared image samples during training Simultaneously, transfer learning is used to reduce the training time and accelerate the network framework. The experimental results show that the performance index of this method is significantly improved compared with the other four registration algorithms. The average accuracy of this method is 89.909, which is 2.31%, 3.36%, 2.67%, and 0.82% higher than that of the other four algorithms, respectively. The average RMSE of this method is 2.521. Compared with the other four registration algorithms, the algorithm is reduced by 14.68%, 15.24%, 4.90%, and 1.04%, respectively. The average time of the algorithm is 5.625 s, which is reduced by 5.57%, 6.82%, 2.45%, and 1.75% respectively. The efficiency of infrared and visible image registration of the power equipment must be effectively improved.

image registration, deep learning, self-study, deep neural network, power equipment

TP391.41

A

1001-8891(2022)09-0936-08

2021-12-05；

2022-02-09.

付添（1994-），男，湖北云夢(mèng)人，碩士研究生，主要從事圖像處理，圖像配準(zhǔn)研究。

鄧長征（1980-），男，湖北宜昌人，博士，副教授，主要從事圖像處理，智能在線檢測(cè)研究。E-mail：814496537@qq.com。