基于GNR先驗(yàn)的電力設(shè)備熱成像超分辨率方法

劉云峰，趙洪山，楊晉彪，韓晉鋒，劉秉聰

基于GNR先驗(yàn)的電力設(shè)備熱成像超分辨率方法

劉云峰1，趙洪山2，楊晉彪1，韓晉鋒1，劉秉聰2

（1. 國網(wǎng)晉城供電公司，山西 晉城 048000；2. 華北電力大學(xué)（保定）電力工程系，河北 保定 071000）

電力設(shè)備紅外圖像在電力設(shè)備狀態(tài)監(jiān)測、故障識別等方面發(fā)揮著重要作用。針對紅外圖像應(yīng)用時存在的分辨率低，清晰度不足的問題，本文提出一種基于圖像梯度范數(shù)比（Gradient Norm-ratio, GNR）先驗(yàn)約束的壓縮感知電力設(shè)備紅外圖像超分辨率方法。通過分析電力設(shè)備紅外圖像在不同采樣比時重建圖像高頻信息的變化規(guī)律，將GNR先驗(yàn)引入傳統(tǒng)壓縮感知超分辨率模型中。并針對改進(jìn)后的模型設(shè)計(jì)了有效的求解算法，通過半二次分裂方法引入輔助變量，對不同變量交替迭代求解，實(shí)現(xiàn)紅外圖像超分辨率重建。仿真實(shí)驗(yàn)結(jié)果驗(yàn)證了GNR先驗(yàn)信息的引入，有利于超分辨率算法取得更好的重建效果。與現(xiàn)有經(jīng)典超分辨率方法相比，本文方法重建圖像無論在主觀視覺效果還是客觀評價指標(biāo)上都有了較好的提升。

電力設(shè)備；紅外圖像；壓縮感知；超分辨率；梯度范數(shù)比

0 引言

隨著智能配電網(wǎng)建設(shè)的推進(jìn)，采用紅外診斷技術(shù)對配電設(shè)備進(jìn)行實(shí)時監(jiān)測與故障診斷可以有效地提升配電網(wǎng)的運(yùn)行可靠性[1-3]。但是，與輸電網(wǎng)相比配電網(wǎng)設(shè)備數(shù)量巨大，大規(guī)模部署價格昂貴的傳統(tǒng)高分辨率紅外傳感器將使企業(yè)產(chǎn)生難以承受的成本[4-5]。因此，如何使用低成本的低分辨紅外傳感器達(dá)到高分辨率紅外傳感器的效果是推進(jìn)紅外診斷技術(shù)在配電系統(tǒng)應(yīng)用的關(guān)鍵[6]。

超分辨率（Super Resolution, SR）成像技術(shù)主要目的在于克服低成本、低精度的影像采集裝置限制，通過單幀或多幀的低分辨率（Low Resolution，LR）圖像輸入，根據(jù)不同先驗(yàn)知識，完成對圖像的重建，得到高分辨率圖像（High Resolution，HR），恢復(fù)圖像采集過程中丟失的高頻信息[7]。根據(jù)重建時輸入LR圖像數(shù)量的不同，超分辨率又可分為單幀和多幀圖像超分辨率。其中多幀圖像超分辨率方法包含有插值法[8-9]、迭代反投影法[10]、最大似然估計(jì)法[11]、稀疏編碼方法[12]和基于學(xué)習(xí)的方法等[13-14]。多幅圖像的超分辨率方法通過將同一場景內(nèi)的相近時間位置獲得的多幅圖像配準(zhǔn)，利用不同圖像含有的互補(bǔ)信息完成對分辨率的提升。而單幀超分辨率方法重建時僅使用某一場景內(nèi)的單幅圖像，難度更大。針對電器設(shè)備的紅外圖像這一具體應(yīng)用對象而言，其重建超分辨率圖像關(guān)注重點(diǎn)除了結(jié)構(gòu)清晰易于識別，其對設(shè)備溫度的準(zhǔn)確反應(yīng)也是至關(guān)重要的。多圖超分辨率由于輸入的低分辨率紅外圖像并不嚴(yán)格來自于同一時刻，因此很容易導(dǎo)致重建圖像對溫度的反映失去準(zhǔn)確性，這一問題在電力行業(yè)更為關(guān)注的設(shè)備溫度快速變化的情況下尤其嚴(yán)重。故選擇基于單幅圖像的超分辨率方法更能夠保證重建的準(zhǔn)確性。

基于單幅圖像的超分辨率方法主要分為3類：基于插值、基于重建以及基于學(xué)習(xí)的超分辨率方法。其中基于插值的超分辨率方法最為簡單，但由于其固有的平滑效益，易使重建圖像丟失細(xì)節(jié)，邊緣較為模糊，研究者就這一問題相繼提出了各類改進(jìn)措施[15-17]。基于重建的超分辨率方法[18-21]通過引入先驗(yàn)知識為限制條件完成基于圖像降質(zhì)模型的反向迭代求解。文獻(xiàn)[18]提出了一種基于非局部信息的超分辨率算法。X. Zhang等人[19]基于圖像的非局部自相似性提出了非局部全變分模型。為更好處理圖像局部信息，Li等人[20]利用自然圖像中的局部結(jié)構(gòu)自相似性，提出了轉(zhuǎn)向核回歸總變分的概念，并以非局部全變分正則項(xiàng)作為補(bǔ)充，構(gòu)成其超分辨率重建模型。Pejman等人[21]提出的迭代反投影方法獲得高分辨率圖像重建結(jié)果?；趯W(xué)習(xí)的方法主要目標(biāo)在于尋找HR圖像與LR圖像間的對應(yīng)關(guān)系，通常為訓(xùn)練同構(gòu)字典或建立二者兼得映射關(guān)系[22]。Wang等[23]提出空間特征變換-生成對抗網(wǎng)絡(luò)（Spatial Feature Transform-Generative Adversarial Network，SFT-GAN）模型，以圖像的分割掩碼作為SISR的先驗(yàn)知識，指導(dǎo)SISR中不同區(qū)域的紋理重建。文獻(xiàn)[24]是一類目前最新的方法，它使用強(qiáng)化學(xué)習(xí)尋找最優(yōu)網(wǎng)絡(luò)，可減少人工對模型設(shè)計(jì)的影響。這類方法先定義一個搜索空間，使用相應(yīng)的控制器處理搜索，經(jīng)評估后輸出重建結(jié)果，通過網(wǎng)絡(luò)訓(xùn)練自動調(diào)整，直到網(wǎng)絡(luò)收斂得到良好的重建結(jié)果為止。

考慮到基于學(xué)習(xí)的超分辨率方法需大量高分辨率紅外圖像樣本且進(jìn)行超分辨率重建時上采樣倍率受所構(gòu)建模型或同構(gòu)字典的限制，靈活度較低，本文針對電力設(shè)備紅外傳感器獲取紅外圖像的低分辨率問題，采用了壓縮感知框架下基于重建的方式。并且本文通過分析電力設(shè)備紅外圖像在不同采樣比時重建圖像高頻信息的變化規(guī)律，將圖像梯度范數(shù)比（Gradient Norm-ratio, GNR）引入傳統(tǒng)壓縮感知超分辨率模型中。并針對改進(jìn)后的模型設(shè)計(jì)了有效的求解算法，通過半二次分裂方法引入輔助變量，對不同變量交替迭代求解，實(shí)現(xiàn)紅外圖像超分辨率重建。仿真實(shí)驗(yàn)結(jié)果驗(yàn)證了GNR先驗(yàn)信息的引入，有利于超分辨率算法取得更好的重建效果。與現(xiàn)有經(jīng)典超分辨率方法相比，本文方法重建圖像無論在主觀視覺效果還是客觀評價指標(biāo)上都有了較好的提升。

1 壓縮感知理論模型

壓縮感知理論給出了通過非線性優(yōu)化技術(shù)重建下采樣信號的方法[25]。假設(shè)將所需的高分辨率圖像表示為維列向量∈R，其中為一較大數(shù)值。理論上可以表示任何一維信號，就本問題而言，為一個已被轉(zhuǎn)換成×1維矢量的像素灰度圖像（或RGB圖像某一通道的像素圖像）。而超分辨率的目的為通過低分辨率輸入∈R，其中<<，來估計(jì)得到高分辨率信號。本文的目標(biāo)是僅使用作為輸入來恢復(fù)高分辨率信號。

這個問題本質(zhì)上是不適定的，由于分辨率降低，信息丟失，單個低分辨率圖像重建時可以映射到多個潛在高分辨率圖像。為了解決這一問題，需要應(yīng)用壓縮感知理論的關(guān)鍵假設(shè)，即信號的變換形x在某一個基下是稀疏的，這便意味著在該變換形式下，x中至多有個非零因子。這是一個合理的假設(shè)，高分辨率圖像在不同的變換域中均是可以壓縮的，例如小波域，傅里葉域或人工構(gòu)建的過完備字典等。此時根據(jù)上述假設(shè)的合理性，可以將壓縮感知超分辨率模型寫作：

＝＝x(1)

式中：矩陣為下采樣矩陣，多采用點(diǎn)采樣矩陣或雙三次插值下采樣矩陣。

在給定測量的情況下求解出x，則x為求取的高分辨率信號。此時壓縮感知理論指出若＞2，且矩陣滿足有RIP條件，那么即可通過式(1)尋找滿足等式方程的稀疏度最高的x對唯一地求解[26]。此時表達(dá)式為：

式中：||x||0表示稀疏系數(shù)x中的非零元素個數(shù)，但由于求解式(2)的數(shù)值計(jì)算為NP難問題。Donoho[25]指出，可以通過求解一個更加簡單的1優(yōu)化問題來得到同等的解，此時表達(dá)式為：

而這一問題可通過線性規(guī)劃或基追蹤的方法加以解決。但若將式(3)所示模型直接用于解決圖像超分辨率問題，仍有一定問題存在。由于在超分辨率應(yīng)用條件下，采樣矩陣無法采用更具普適性的隨機(jī)高斯矩陣或隨機(jī)伯努利矩陣，必須采用點(diǎn)采樣矩陣或三次插值下采樣矩陣。致使傳感矩陣對RIP條件滿足度較低，圖像重建效果往往不夠理想。因此還需引入新的先驗(yàn)知識，提升重建圖像視覺質(zhì)量，以使其更好滿足工程應(yīng)用需要。

2 基于GNR先驗(yàn)的壓縮感知超分辨率模型

2.1 GNR先驗(yàn)

根據(jù)上文所述，基礎(chǔ)壓縮感知模型在直接應(yīng)用于圖像超分辨率重建時，由于應(yīng)用條件受限，其方法性能較差。需要增加額外的有效先驗(yàn)知識，提升重建圖像質(zhì)量。圖像降質(zhì)過程本質(zhì)為像素點(diǎn)信息的丟失混疊。這一過程會致使圖像高頻信息丟失，反映到直觀視覺效果上，即低分辨率圖像的邊緣紋理不清晰，對比度較低。故需要尋找一指標(biāo)作為約束條件，當(dāng)重建圖像趨向于模糊潛像時，該指標(biāo)增大，當(dāng)趨向清晰潛像時，該指標(biāo)降低。從而通過對該指標(biāo)的約束懲罰，使迭代重建過程中的恢復(fù)圖像向清晰潛像靠攏，使圖像高頻細(xì)節(jié)得以恢復(fù)。

在優(yōu)化問題中，最常見的約束為1范數(shù)，2范數(shù)及l范數(shù)等，其中一般0＜＜1。以1范數(shù)為例，其在圖像處理中多用于懲罰高頻段，當(dāng)圖像含有噪聲時，可通過最小化1范數(shù)來去除噪聲。而圖像降質(zhì)時高頻段本身便會衰減，最小化圖像高頻分量的1范數(shù)將會導(dǎo)致重建圖像進(jìn)一步模糊。對其余范數(shù)而言，由于其作用機(jī)理與1范數(shù)相似，因此若直接引入范數(shù)約束作為正則項(xiàng)，并不能起到提升圖像重建質(zhì)量的目的。但通過統(tǒng)計(jì)不同范數(shù)對重建圖像高頻息約束時的成本發(fā)現(xiàn)，雖然其成本都隨著輸入圖像分辨率的降低，即重建圖像的模糊而降低，但不同范數(shù)成本降低速度并不相同，2范數(shù)成本降低速度明顯高于1范數(shù)。因此引入高頻信息范數(shù)比值作為先驗(yàn)信息，能夠保證隨重建圖像質(zhì)量降低，該懲罰項(xiàng)成本不斷增大，換而言之即通過降低該項(xiàng)成本，可以達(dá)到提高重建圖像質(zhì)量的目的。圖像高頻信息可通過多種方式獲得，本文則選取橫縱方向梯度為例，通過范數(shù)比的形式對重建圖像加以約束。圖1為采用不同約束項(xiàng)時重建圖像高頻信息成本變化示意圖。

圖1 采用不同約束項(xiàng)時重建圖像高頻信息成本變化圖

其中高頻信息通過分別采用橫向差分算子1＝[1 －1]和縱向差分算子2＝[1 －1]T對重建圖像進(jìn)行卷積的方式獲取。重建圖像則為典型電力設(shè)備紅外圖像在經(jīng)過不同比例下采樣后，通過三次插值重建回原大小得到的一系列圖像。由圖1可以明顯看出，隨著采樣比例的增加，即重建圖像的模糊，各范數(shù)約束下的高頻信息成本在不斷降低，而1范數(shù)和2范數(shù)比值的成本則不斷增大。記GNR()=||||1/||||2，將GNR()作為約束項(xiàng)引入目標(biāo)函數(shù)，即可實(shí)現(xiàn)最小化目標(biāo)函數(shù)過程中，提升中間迭代圖像質(zhì)量的目的。

2.2 超分辨率模型及求解算法

本節(jié)將構(gòu)建改進(jìn)后的壓縮感知超分辨率目標(biāo)函數(shù)。將GNR()先驗(yàn)引入后，目標(biāo)函數(shù)構(gòu)建為：

式中：,和分別為權(quán)重系數(shù)；?為卷積運(yùn)算符；為對應(yīng)的高分辨率圖像的二維形式；為過完備字典，采用文獻(xiàn)[27]中介紹的方法訓(xùn)練得到，采用人工構(gòu)建的過完備字典目的在于提升對圖像的稀疏表達(dá)能力，從而提升稀疏系數(shù)x的稀疏度，提升重建圖像質(zhì)量。為了便于求解目標(biāo)函數(shù)，通過半二次分裂方法引入輔助變量，得到目標(biāo)函數(shù)為：

將?轉(zhuǎn)變?yōu)榫仃囅喑说男问剑纯傻玫阶罱K待求解的目標(biāo)函數(shù)：

式中：1和2分別為根據(jù)1和2生成的托普利茲循環(huán)矩陣；和分別為輔助變量的向量和矩陣形式；為權(quán)重系數(shù)，在迭代過程中不斷增大，當(dāng)其足夠大時，可認(rèn)為與數(shù)值近似相同，此外也起到同樣的作用。此時可將目標(biāo)函數(shù)的求解分為，x和子問題的求解，只需在迭代過程中不斷增大懲罰系數(shù)和，分別求解上述3個未知變量即可完成重建。

當(dāng)求解子問題時，固定x和變量，此時目標(biāo)函數(shù)為：

式(7)所示的目標(biāo)函數(shù)為典型的最小二乘問題，可通過梯度下降法求解，求解方式為：

式中：為下降步長，可通過文獻(xiàn)[28]中介紹的回溯直線搜索法確定。

求解子問題時，固定x和變量，將函數(shù)GNR()展開，目標(biāo)函數(shù)為：

式中：＝1,2。由于GNR(w)項(xiàng)的存在，子問題非凸。但可通過固定分母||w||2中w為上一次迭代取值，使式(10)變?yōu)橥箖?yōu)化問題。此時式(10)所示問題可通過迭代收縮閾值算法進(jìn)行求解：

式中：為下降步長；?為分量乘法；sign為符號函數(shù)。

完成和子問題的求解后，固定上述變量，求解稀疏系數(shù)x。目標(biāo)函數(shù)為：

式(13)與式(10)所示問題類似，同樣可采取迭代收縮閾值的方式進(jìn)行求解，故求解過程不再贅述。

當(dāng)完成各變量的求解后，判斷(K)－(K－1)2是否小于，或迭代次數(shù)是否大于max，若判斷結(jié)果為是，則完成迭代，輸出重建圖像。最終，式(4)所示目標(biāo)函數(shù)求解算法流程圖如圖2所示。

3 實(shí)驗(yàn)及結(jié)果分析

3.1 實(shí)驗(yàn)環(huán)境及評價指標(biāo)

在本節(jié)中，給出了電力設(shè)備紅外圖像盲超分辨率重建實(shí)例，通過與現(xiàn)有算法重建結(jié)果進(jìn)行比較，驗(yàn)證了本文所提出的基于壓縮感知的盲超分辨率算法的有效性。本文實(shí)驗(yàn)環(huán)境為：Intel Core(TM)i5-9300H CPU @2.40GHz，內(nèi)存16.00GB，MATLAB R2019a編程，并通過反復(fù)實(shí)驗(yàn)調(diào)整得到以下固定參數(shù)：＝0.05，＝1，0＝2，0＝2，max＝256，max＝256，max＝5。HR圖像重建時為便于計(jì)算進(jìn)行分塊重建，分塊大小為32×32。所用稀疏字典大小為1024×3096，即字典中含有3096個長度為1024的原子。重建后采用文獻(xiàn)[29]中介紹的方法解決因分塊導(dǎo)致的重建圖像中存在的“塊效應(yīng)”問題。

圖2 求解算法流程圖

為使實(shí)驗(yàn)結(jié)果更具說服力，本文分別對人工合成電力設(shè)備紅外圖像，以及實(shí)際拍攝的電力設(shè)備紅外圖像進(jìn)行重建，對比方法選取Zhang[17]，未改進(jìn)的原始壓縮感知方法，Yang[22]和Li[20]提出的方法。其中人工合成的電力設(shè)備紅外圖像由于存在原始高分辨率清晰圖像，采用峰值信噪比（peak signal to noise ratio, PSNR）和結(jié)構(gòu)相似度（structural similarity, SSIM）兩個評價指標(biāo)對重建結(jié)果進(jìn)行評價，而實(shí)際拍攝的電力設(shè)備紅外圖像由于其不存在原始高分辨率清晰圖像，因此采用無原圖評價指標(biāo)對重建結(jié)果進(jìn)行量化，本文所采取的指標(biāo)為影像平均梯度（average gradient, AG）以及信息熵（information entropy, IE）這兩個客觀評價指標(biāo)。其中AG的計(jì)算方式為：

式中：f(,)和f(,)分別為圖像行方向和列方向的差分算子對圖像卷積結(jié)果，本文采用Sobel算子。最終求得AG數(shù)值越大，意味圖像中灰度變化越劇烈，圖像層次越多，一般而言圖像越加清晰。

信息熵在物理學(xué)中表示某個體系的均勻程度，某體系分布越均勻，其信息熵越大，由此類推出圖像的信息熵概念。定義為：

式中：()為灰度值為的像素點(diǎn)在影像中出現(xiàn)的頻率，最終求得的IE數(shù)值越大，表示圖像中包含的信息越豐富。

3.2 人工下采樣圖像重建結(jié)果分析

本節(jié)共選取12張不同電力設(shè)備紅外圖像人工合成低分辨率圖像，圖3給出其中兩張圖像通過不同方法超分辨率重建的結(jié)果圖像以及其原始高清圖像。其余10張圖像則以PSNR和SSIM評價參數(shù)的形式，給出不同方法的重建結(jié)果。

由圖3可以明顯看出本文算法重建效果優(yōu)于其余對比方法的重建結(jié)果，Zhang的算法由于插值類算法固有的平滑效益，且為經(jīng)訓(xùn)練或利用圖像先驗(yàn)信息，其重建結(jié)果較為模糊，邊緣并不清晰。原始壓縮感知算法由于其理論本身與超分辨率問題并不完全適應(yīng)，重建圖像視覺效果同樣較差，圖像邊緣紋理并不清晰。Yang和Li的方法相較前兩種方法視覺效果有明顯的提高，但與本文方法相比，其重建結(jié)果圖像清晰程度仍有所不如，尤其在邊緣部分更為明顯。表1和表2給出了不同方法重建后的PSNR以及SSIM數(shù)據(jù)對比，可以看出本文方法重建的圖像在客觀評價參數(shù)上相較其余方法也取得了較好結(jié)果。

3.3 實(shí)際低分辨率圖像重建結(jié)果分析

文章第3.2節(jié)通過合成低分辨率圖像初步驗(yàn)證了本文算法的有效性，本節(jié)將通過實(shí)際拍攝低分辨率圖像進(jìn)行進(jìn)一步驗(yàn)證。次此實(shí)驗(yàn)選取12張于現(xiàn)場拍攝的低分辨率紅外圖像，通過不同超分辨率方法進(jìn)行重建。給出其中兩張紅外圖像的各方法重建結(jié)果，其余10張紅外圖像的重建結(jié)果以客觀評價參數(shù)AG和IE的形式給出。圖4、圖5為實(shí)際低分辨率紅外圖像不同方法的重建結(jié)果。

表1 不同方法重建圖像PSNR評價指標(biāo)對比

表2 不同方法重建圖像SSIM評價指標(biāo)對比

圖4 1號圖像不同方法重建結(jié)果

圖5 2號圖像不同方法重建結(jié)果

由圖4、圖5可以看出，在應(yīng)用于實(shí)際場景時，本文方法相較對比方法仍有較為明顯的提升，重建紅外圖像的紋理相對對比方法而言更為清晰。這種圖像質(zhì)量的提升能為后續(xù)進(jìn)行的異常發(fā)熱區(qū)域定位，故障類型識別提供更好的應(yīng)用環(huán)境。表3、表4分別給出了不同方法對剩余10張紅外圖像重建結(jié)果的AG和IE評價參數(shù)數(shù)值，與主觀視覺效果相互印證，說明了本文方法性能的優(yōu)越性。

表3 不同方法重建圖像AG評價指標(biāo)對比

表4 不同方法重建圖像IE評價指標(biāo)對比

3.4 計(jì)算復(fù)雜度分析

本文中待求解的目標(biāo)函數(shù)為式(5)，其中待求解變量為、x、1、2。針對變量，本文采用梯度下降法的方式進(jìn)行求解。若不采取任何優(yōu)化措施，當(dāng)待重建低分辨率圖像大小為128×128時，其單次求解用時為0.24s左右，若采用文獻(xiàn)[30]中一步最陡下降法求解，則單次迭代用時在0.008s左右。針對x變量，本文采用的求解方法為收縮迭代閾值方法。求解分為兩步進(jìn)行，分別為軟閾值收縮以及梯度下降求解。其中軟閾值收縮求解較為簡單，單次求解所需時間在10－5s，而梯度下降法由于x變量求解時，梯度向量的求取相較變量更為簡單，在采用一步最陡下降法進(jìn)行優(yōu)化的情況下，單次求解耗時在5×10－4s左右。針對1、2變量，其求解方式均為收縮迭代閾值方法。其中軟閾值收縮步驟所需時間與x變量相同，而梯度下降過程中由于矩陣維度相較矩陣而言更小，其單次迭代所需時間在10－4s左右。

根據(jù)圖2以及實(shí)驗(yàn)部分所給出參數(shù)取值可知，在全部迭代過程中，至多進(jìn)行5輪循環(huán)，每輪循環(huán)變量計(jì)算1次，變量x計(jì)算64次，變量1、2各計(jì)算8次。根據(jù)上述分析中各變量單次計(jì)算所需時間可以得到，重建128×128低分辨率圖像理論所需時間在0.208s左右。但由于實(shí)際運(yùn)算過程中除上述迭代步驟外，還存在1、2托普利茲循環(huán)矩陣的生成，“塊效應(yīng)”問題的解決等計(jì)算步驟，因此最終圖像重建實(shí)際用時在0.4s左右。而對不同尺寸紅外圖像的重建實(shí)驗(yàn)結(jié)果如圖5所示，其中輸入原始圖像大小由64×64等比例遞增至512×512，各尺寸圖像重建實(shí)驗(yàn)均選取50張不同紅外圖像進(jìn)行重建。圖中顯示的不同大小紅外圖像重建所需時間由50張圖像重建所需時間取平均得到。

圖5 不同大小圖像重建所需時間

由圖5可見，本文方法能夠以較快速度重建低分辨率紅外圖像。而根據(jù)國家標(biāo)準(zhǔn)[31]，普通型紅外探測器分辨率在160×120以下，本文方法對其重建用時在1s以下，可以適應(yīng)物聯(lián)網(wǎng)場景下大量紅外圖像的重建工作。

4 結(jié)論

本文針對電力設(shè)備紅外傳感器獲取紅外圖像的低分辨率問題，采用了壓縮感知框架下基于重建的方式。并通過分析電力設(shè)備紅外圖像在不同采樣比時重建圖像高頻信息的變化規(guī)律，將圖像梯度范數(shù)比引入傳統(tǒng)壓縮感知超分辨率模型中。針對改進(jìn)后的模型設(shè)計(jì)了有效的求解算法，通過半二次分裂方法引入輔助變量，對不同變量交替迭代求解，實(shí)現(xiàn)紅外圖像超分辨率重建。仿真實(shí)驗(yàn)結(jié)果驗(yàn)證了GNR先驗(yàn)信息的引入，有利于超分辨率算法取得更好的重建效果。與現(xiàn)有經(jīng)典超分辨率方法相比，本文算法性能存在一定優(yōu)勢，有利于為紅外診斷技術(shù)在電力系統(tǒng)中應(yīng)用提供更良好的數(shù)據(jù)基礎(chǔ)。

[1] 王毅, 陳啟鑫, 張寧, 等. 5G 通信與泛在電力物聯(lián)網(wǎng)的融合: 應(yīng)用分析與研究展望[J]. 電網(wǎng)技術(shù), 2019, 43(5): 1575-1585.

WANG Yi, CHEN Qixin, ZHANG Ning, et al. Fusion of the 5G communication and the ubiquitous electric internet of things: application analysis and research prospects[J]., 2019, 43(5): 1575-1585.

[2] 李鵬, 畢建剛, 于浩, 等. 變電設(shè)備智能傳感與狀態(tài)感知技術(shù)及應(yīng)用[J].高電壓技術(shù), 2020, 46(9): 3097-3113．

LI Peng, BI Jiangang, YU Hao, et al. Technology and application of intelligent sensing and state sensing for transformation equipment[J]., 2020, 46(9): 3097-3113.

[3] 梁興, 嚴(yán)居斌, 尹磊. 基于紅外圖像的輸電線路故障識別[J]. 電測與儀表, 2019, 56(24): 99-103.

LIANG Xing, YAN Jubin, YIN Lei. Fault identification of transmission lines based on infrared image[J]., 2019, 56(24): 99-103.

[4] 趙仕策, 趙洪山, 壽佩瑤. 智能電力設(shè)備關(guān)鍵技術(shù)及運(yùn)維探討[J]. 電力系統(tǒng)自動化, 2020, 44(20): 1-10.

ZHAO Shice, ZHAO Hongshan, SHOU Peiyao. Discussion on key technology and operation & maintenance of intelligent power equipment[J]., 2020, 44(20): 1-10.

[5] Lozanov Y, Tzvetkova S. A methodology for processing of thermographic images for diagnostics of electrical equipment[C]//2019 11th(BulEF)., 2019: 1-4.

[6] LI Y, ZHAO K, REN F, et al. Research on super-resolution image reconstruction based on low-resolution infrared sensor[J]., 2020, 8: 69186-69199.

[7] 唐艷秋, 潘泓, 朱亞平, 等. 圖像超分辨率重建研究綜述[J]. 電子學(xué)報(bào), 2020, 48(7): 1407-1420.

TANG Yanqiu, PAN Hong, ZHU Yaping, et al. A survey of image super-resolution reconstruction[J]., 2020, 48(7): 1407-1420.

[8] B?tz M, Eichenseer A, Kaup A. Multi-image super-resolution using a dual weighting scheme based on Voronoi tessellation[C]//2016(ICIP)., 2016: 2822-2826.

[9] WANG L, LIN Z, DENG X, et al. Multi-frame image super-resolution with fast upscaling technique[J/OL].: 1706.06266, 2017.

[10] Rasti P, Demirel H, Anbarjafari G. Improved iterative back projection for video super-resolution[C]//2014 22nd(SIU)., 2014: 552-555.

[11] 楊欣, 費(fèi)樹岷, 周大可. 基于MAP的自適應(yīng)圖像配準(zhǔn)及超分辨率重建[J]. 儀器儀表學(xué)報(bào), 2011, 32(8): 1771-1775.

YANG Xin, FEI Shumin, ZHOU Dake. Self-adapting weighted technology for simultaneous image registration and super-resolution reconstruction based on MAP[J]., 2011, 32(8): 1771-1775.

[12] Kato T, Hino H, Murata N. Multi-frame image super resolution based on sparse coding[J]., 2015, 66: 64-78.

[13] Greaves A, Winter H. Multi-frame video super-resolution using convolutional neural networks[J]., 2017, 8(3):76-85.

[14] Hayat K. Multimedia super-resolution via deep learning: a survey[J]., 2018, 81: 198-217.

[15] DONG W, ZHANG L, Lukac R, et al. Sparse representation-based image interpolation with nonlocal autoregressive modeling[J]., 2013, 22(4): 1382-1394.

[16] WANG L, WU H, PAN C. Fast image upsampling via the displacement field[J]., 2014, 23(12): 5123-5135.

[17] ZHANG Y, FAN Q, BAO F, et al. Single-image super-resolution based on rational fractal interpolation[J]., 2018, 27(8): 3782-3797.

[18] Manjón J V, Coupé P, Buades A, et al. Non-local MRI upsampling[J]., 2010, 14(6): 784-792.

[19] ZHANG X, Burger M, Bresson X, et al. Bregmanized nonlocal regularization for deconvolution and sparse reconstruction[J]., 2010, 3(3): 253-276.

[20] LI L, XIE Y, HU W, et al. Single image super-resolution using combined total variation regularization by split Bregman Iteration[J]., 2014, 142: 551-560.

[21] Rasti P, Demirel H, Anbarjafari G. Improved iterative back projection for video super-resolution[C]//2014 22nd(SIU)., 2014: 552-555.

[22] YANG J, Wright J, HUANG T S, et al. Image super-resolution via sparse representation[J]., 2010, 19(11): 2861-2873.

[23] WANG X, YU K, DONG C, et al. Recovering realistic texture in image super-resolution by deep spatial feature transform[C]//, 2018: 606-615.

[24] Zoph B, Le Q V. Neural architecture search with reinforcement learning[J/OL]: 1611.01578, 2016.

[25] Donoho D L. Compressed sensing[J]., 2006, 52(4): 1289-1306.

[26] Candes E, Romberg J. Sparsity and incoherence in compressive sampling[J]., 2007, 23(3): 969.

[27] Sulam J, Ophir B, Zibulevsky M, et al. Trainlets: Dictionary learning in high dimensions[J/OL].: 1602.00212, 2016.

[28] ZHANG H, Hager W W. A nonmonotone line search technique and its application to unconstrained optimization[J]., 2004, 14(4): 1043-1056.

[29] JIN J, YUAN J, SHEN Q, et al. Curvelet transform based adaptive image deblocking method[J]., 2014, 40(8): 117-129.

[30] Chengbo L. An efficient algorithm for total variation regularization with applications to the single pixel camera and compressive sensing[D]. Houston: Department of Computational and Applied Mathematics, 2009.

[31] 中華人民共和國國家質(zhì)量監(jiān)督檢驗(yàn)檢疫總局. 工業(yè)檢測型紅外熱像儀[S]. GB/T 19870-200, [2021-06-08].

General Administration of Quality Supervision, Inspection and Quarantine of the People's Republic of China. Industrial Inspecting Thermal Imagers[S]. GB/T 19870-200, [2021-06-08].

Super Resolution Method for Power Equipment Infrared Imaging Based on Gradient Norm-ratio Prior

LIU Yunfeng1，ZHAO Hongshan2，YANG Jinbiao1，HAN Jinfeng1，LIU Bingcong2

(1. State Grid Jincheng Power Supply Company, Jincheng 048000, China; 2. Department of Power Engineering, North China Electric Power University (Baoding), Baoding 071000, China)

Infrared images play an important role in the condition monitoring and fault identification of power equipment. Aiming at solving the problems of low resolution and low definition in the application of infrared images, this paper proposes a super-resolution method for compressed infrared images of sensing power equipment based on the prior constraint of the image gradient ratio (GNR). The GNR prior was introduced into the traditional compressed sensing super-resolution model by analyzing the variation in high-frequency information of power equipment infrared images at different sampling ratios. An effective algorithm was designed to solve the improved model. By introducing auxiliary variables into the semi-quadratic splitting method, different variables were iteratively and alternately solved to realize the super-resolution reconstruction of infrared images. The simulation results show that the introduction of GNR prior information was conducive to the super-resolution algorithm achieving better reconstruction. Compared with existing classical super-resolution methods, the proposed method improves both the subjective visual effect and objective evaluation index.

electrical equipment, infrared image, compressed sensing, super resolution, gradient norm-ratio

TM41

A

1001-8891(2023)01-0040-09

2021-06-08；

2021-08-03.

劉云峰（1978-），男，高級工程師，主要研究方向?yàn)殡娏ο到y(tǒng)自動化。E-mail：50044024@qq.com。

國網(wǎng)山西電力公司科技項(xiàng)目配電設(shè)備智能傳感與態(tài)勢感知運(yùn)維技術(shù)研究（921010025）。