基于循環(huán)互相關(guān)系數(shù)的CGAN溫度值圖像擴(kuò)增

王凱旋，任福繼，倪紅軍，呂帥帥，汪興興

（1.南通大學(xué) 機(jī)械工程學(xué)院, 江蘇 南通 226019; 2.德島大學(xué) 智能信息工學(xué)部, 日本 德島 7708501）

變電設(shè)備是電能輸送的重要組成部分，由于長期暴露在復(fù)雜的環(huán)境中，容易產(chǎn)生裂縫、老化、腐蝕等缺陷，引起變電設(shè)備溫度異常，影響電力系統(tǒng)的穩(wěn)定性[1-2]?；诩t外圖像的缺陷檢測技術(shù)能夠根據(jù)變電設(shè)備的熱效應(yīng)特點(diǎn)判斷是否存在缺陷，具有操作簡單、檢測時(shí)間快、靈敏度高等優(yōu)點(diǎn)[3]。因此，通過識別紅外圖像中的溫度值，能夠快速篩選出缺陷，并方便統(tǒng)計(jì)和記錄。在實(shí)際巡檢過程中，由于變電設(shè)備檢測的周期較長、溫度變化不確定性高，采集的紅外圖像溫度值樣本較少，存在數(shù)據(jù)集不平衡問題，無法滿足模型的訓(xùn)練要求[4-5]。

針對此問題，圖像擴(kuò)增技術(shù)通過增加訓(xùn)練集數(shù)量，可以有效緩解訓(xùn)練時(shí)產(chǎn)生的過擬合和梯度下降現(xiàn)象[6-7]。近年來，研究學(xué)者們對基于機(jī)器學(xué)習(xí)技術(shù)的圖像擴(kuò)增方法進(jìn)行了大量研究[8-10]。Goodfellow等[11]受博弈論思想的影響率先提出了生成對抗網(wǎng)絡(luò)(generative adversarial network, GAN)，通過生成器和判別器的對抗訓(xùn)練，不斷學(xué)習(xí)樣本的數(shù)據(jù)分布。Han等[12]提出了一種基于改進(jìn)GAN的遙感圖像生成方法，采用沃瑟斯坦距離測量生成分布與真實(shí)分布間的差異，解決了訓(xùn)練過程中梯度消失等問題。Song等[13]將GAN輸入噪聲限制為二進(jìn)制，并且采用多任務(wù)和無監(jiān)督方式將圖像轉(zhuǎn)換成二進(jìn)制編碼同時(shí)進(jìn)行圖像壓縮和檢索。Guo等[14]在判別器中加入對比度增強(qiáng)操作，并將原始GAN的多層感知層替換為深度卷積神經(jīng)網(wǎng)絡(luò)，增強(qiáng)了圖像細(xì)節(jié)和特征提取能力。這些方法雖然能夠有效地增加樣本數(shù)量，但是針對真實(shí)場景中的復(fù)雜背景圖像缺乏特征分析，無法保證生成圖像的質(zhì)量。

為擴(kuò)增變電設(shè)備溫度值圖像并提高生成圖像質(zhì)量，本文提出了基于循環(huán)互相關(guān)系數(shù)的CGAN溫度值圖像擴(kuò)增方法。提出了一種循環(huán)互相關(guān)系數(shù)改進(jìn)原始CGAN模型的損失函數(shù)，實(shí)現(xiàn)了數(shù)據(jù)集的擴(kuò)增，在提高生成圖像質(zhì)量的同時(shí)解決了原始CGAN模型訓(xùn)練過程不穩(wěn)定和過擬合的問題；在此基礎(chǔ)上，通過對比實(shí)驗(yàn)驗(yàn)證了模型的有效性，實(shí)現(xiàn)了紅外圖像中溫度值的高效準(zhǔn)確識別，為后期的性能分析和故障診斷提供大量的紅外溫度值數(shù)據(jù)。

1 條件生成對抗網(wǎng)絡(luò)

條件生成對抗網(wǎng)絡(luò)(conditional generative adversarial network, CGAN)通過輸入隨機(jī)噪聲和標(biāo)簽信息來引導(dǎo)數(shù)據(jù)的生成過程[15-16]，由生成器(generator, G)和判別器(discriminator, D)組成。生成器G生成具有標(biāo)簽特征的樣本，判別器D用于區(qū)分生成樣本與真實(shí)樣本[17]。

CGAN模型的損失函數(shù)包括生成器和判別器兩部分，如式(1)所示，目標(biāo)函數(shù)如式(2)所示，在樣本數(shù)據(jù)小的情況下，CGAN采用隨機(jī)噪聲作為基礎(chǔ)生成的圖像會存在若干畸形圖像，這會直接影響損傷函數(shù)的計(jì)算結(jié)果，使得CGAN無法收斂，模型的穩(wěn)定性較差[18]。

式中：m，n分別表示真實(shí)圖像和生成圖像數(shù)量；Zi表示第i張?jiān)肼?；GZi,y表示標(biāo)簽為y的第i張生成圖像；Rj,y表示標(biāo)簽為y的第j張真實(shí)圖像，表示標(biāo)簽為y的生成圖像；Ry表示標(biāo)簽為y的真實(shí)圖像；PR、PG分別表示真實(shí)圖像集和生成圖像集；D表示判別網(wǎng)絡(luò)的判別結(jié)果。

2 基于改進(jìn)CGAN的圖像擴(kuò)增方法

2.1 基于循環(huán)互相關(guān)系數(shù)的改進(jìn)損失函數(shù)

2.1.1 循環(huán)互相關(guān)系數(shù)

相關(guān)系數(shù)反映兩張圖像間的相關(guān)程度，相關(guān)系數(shù)越大，表明兩張圖像越相似[19]。相關(guān)系數(shù)的計(jì)算如式(3)所示。由于兩張圖像間的相關(guān)系數(shù)存在較大的偶然性，本文提出一種循環(huán)互相關(guān)系數(shù)δ，用于表征不同標(biāo)簽圖像間的相關(guān)性，提高生成圖像質(zhì)量和多樣性。其中，δ取值范圍為[0,1]，數(shù)值越大表明圖像之間越相似，其計(jì)算過程如圖1所示。

圖1 循環(huán)互相關(guān)系數(shù)計(jì)算流程Fig.1 Flowchart of cyclic cross-correlation coefficient

式中：i，j表示像素點(diǎn)的位置；m，n是圖像長和寬。

設(shè)標(biāo)簽A圖像為VA1，VA2，…，VAn，標(biāo)簽B圖像為VB1，VB2，…，VBm，當(dāng)計(jì)算標(biāo)簽A和標(biāo)簽B的循環(huán)互相關(guān)系數(shù) δA1,B1時(shí)，其計(jì)算過程為：從標(biāo)簽A中取出圖像VA1，分別計(jì)算VA1與標(biāo)簽B中圖像VB1，VB2，…，VBm的相關(guān)系數(shù)，即 δA1,Bm，δA2,B，…， δA1,B，將其平均值作為圖像VA1與標(biāo)簽B的相關(guān)系數(shù) δA2,B；以此類推，分別計(jì)算VA2，VA3，…，VAn與標(biāo)簽B的相關(guān)系數(shù) δAn,B， δAn?1,B，…，δA,B；最后計(jì)算所有標(biāo)簽A圖像與標(biāo)簽B中相關(guān)系數(shù)的平均值，得到最終的循環(huán)互相關(guān)系數(shù)，如式(4)：

式中：n、m分別是標(biāo)簽A和標(biāo)簽B圖像的數(shù)量。

2.1.2 改進(jìn)的損失函數(shù)

為了提高生成圖像質(zhì)量，基于循環(huán)互相關(guān)系數(shù)改進(jìn)生成器和判別器的損失函數(shù)，如式(5)，目標(biāo)函數(shù)如式(6)：

式中： δRj,y,y表示標(biāo)簽y的第i張生成圖像與各標(biāo)簽圖像的最大循環(huán)互相關(guān)系數(shù)； δV1,y表示標(biāo)簽y的第j張真實(shí)圖像與各標(biāo)簽圖像的最大循環(huán)互相關(guān)系數(shù)。

當(dāng)圖像V1輸入到判別器D后，計(jì)算此圖像與各標(biāo)簽圖像（y1,y2, …,y11）的循環(huán)互相關(guān)系數(shù)，取其最大值。當(dāng)此圖像實(shí)際為真實(shí)標(biāo)簽的圖像時(shí)，則 δV1,y趨于1；當(dāng)此圖像實(shí)際為假標(biāo)簽的圖像時(shí)，則 δv1,y趨于0，從而糾正了判別器將假判斷為真和將真判斷為假的情況。此外，為了減少判別器D的識別效果對生成器G的影響，更好地平衡生成器G和判別器D的訓(xùn)練過程，隨機(jī)將一定比例的真實(shí)圖像判別結(jié)果進(jìn)行隨機(jī)翻轉(zhuǎn)操作，從而降低判別器的準(zhǔn)確率并提升生成器的訓(xùn)練效果，解決過擬合現(xiàn)象。

2.2 網(wǎng)絡(luò)設(shè)計(jì)

本文的生成器網(wǎng)絡(luò)和判別器網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，訓(xùn)練過程如下。

圖2 網(wǎng)絡(luò)框架Fig.2 Network framework

1) 將隨機(jī)噪聲和標(biāo)簽輸入到生成器G中得到生成圖像，固定判別器D，分別計(jì)算生成圖像與11種標(biāo)簽圖像的循環(huán)互相關(guān)系數(shù)，選取上述循環(huán)互相關(guān)系數(shù)的最大值改進(jìn)損失函數(shù)，優(yōu)化生成器G參數(shù)；

2) 接著固定生成器G，同時(shí)將生成圖像、真實(shí)圖像和標(biāo)簽輸入到判別器D中，判斷圖像的真假，并根據(jù)圖像與11種標(biāo)簽圖像的循環(huán)互相關(guān)系數(shù)最大值改進(jìn)損失函數(shù)；

3) 將結(jié)果反饋到生成器G和判別器D中，更新參數(shù)，反復(fù)執(zhí)行上述步驟，使兩者損失函數(shù)達(dá)到平衡，減少了生成圖像與標(biāo)簽不匹配的情況。

在圖像擴(kuò)增時(shí)，將原始數(shù)據(jù)集中各標(biāo)簽內(nèi)的循環(huán)互相關(guān)系數(shù)的平均值作為閾值，當(dāng)生成圖像與對應(yīng)標(biāo)簽圖像之間的循環(huán)互相關(guān)系數(shù)超過此閾值時(shí)輸出圖像，確保生成圖像的質(zhì)量，進(jìn)而搭建新的數(shù)據(jù)集。

2.3 算法流程

本文提出的基于循環(huán)互相關(guān)系數(shù)的CGAN溫度值圖像擴(kuò)增方法流程如圖3所示，由4個部分組成。

圖3 本文方法流程Fig.3 Flowchart of the proposed method

1)圖像采集。采用紅外熱成像儀采集不同類型的變電設(shè)備圖像，如絕緣子、高壓套管、避雷器和轉(zhuǎn)換開關(guān)等。

2) 構(gòu)建原始溫度值圖像數(shù)據(jù)集。首先對采集的圖像進(jìn)行預(yù)處理，并基于輪廓和位置信息準(zhǔn)確定位溫度值區(qū)域并進(jìn)行分割，最終得到包含數(shù)字“0~9”和符號“-”共11種標(biāo)簽的原始溫度值圖像數(shù)據(jù)集。

3) 訓(xùn)練改進(jìn)的CGAN網(wǎng)絡(luò)。將隨機(jī)噪聲和標(biāo)簽同時(shí)輸入到生成器網(wǎng)絡(luò)中得到生成圖像，將原始數(shù)據(jù)集和生成圖像輸入到判別器網(wǎng)絡(luò)中，結(jié)合循環(huán)相關(guān)系數(shù)判別圖像真假，經(jīng)過一定比例隨機(jī)翻轉(zhuǎn)后進(jìn)行對抗訓(xùn)練，更新網(wǎng)絡(luò)參數(shù)，直至達(dá)到平衡。

4) 構(gòu)建新溫度值圖像數(shù)據(jù)集。利用訓(xùn)練好的改進(jìn)CGAN網(wǎng)絡(luò)生成圖像，結(jié)合循環(huán)相關(guān)系數(shù)提高生成圖像質(zhì)量，最終建立新的溫度值圖像數(shù)據(jù)集。

3 實(shí)驗(yàn)環(huán)境與原始數(shù)據(jù)集

變電設(shè)備紅外圖像采用FLIR紅外成像儀拍攝，像素為 320×240。硬件配置為 Intel（R）Core（TM）i5-10400F@2.90 GHz，16.0 GB RAM，NVIDIA GTX 2 060，軟件為 MATLAB 2020b。實(shí)驗(yàn)中設(shè)置學(xué)習(xí)率為0.000 2、梯度衰減系數(shù)為0.5、平方梯度衰減因子為0.999、運(yùn)行200×27代，激活函數(shù)(leaky rectified linear units, Leaky ReLU)斜率為0.2，采用自適應(yīng)矩估計(jì)優(yōu)化器(adaptive moment estimation, Adam)更新網(wǎng)絡(luò)參數(shù)，單次批量處理32張圖像。網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)設(shè)置見表1。

表1 網(wǎng)絡(luò)參數(shù)設(shè)置Table 1 Network parameter setting

續(xù)表1

由于紅外圖像中通常包含設(shè)備水印、樹木、建筑物等復(fù)雜背景[20]，直接對紅外圖像識別容易檢測錯誤，因此需要進(jìn)行圖像預(yù)處理，包括二值化處理、圖像分割、溫度值提取等。預(yù)處理結(jié)果如圖4所示。隨機(jī)選取150張變電設(shè)備紅外圖像進(jìn)行預(yù)處理，一共得到876張溫度值圖像，根據(jù)溫度值特點(diǎn)將圖像分成11個標(biāo)簽，分別是數(shù)字“0~9”和符號“-”，并建立原始溫度值圖像數(shù)據(jù)集，如表2所示。分析可知原數(shù)據(jù)集存在樣本數(shù)量小、分配不均衡特點(diǎn)。

圖4 紅外圖像預(yù)處理Fig.4 Infrared image preprocessing

表2 原始溫度值圖像數(shù)據(jù)集Table 2 Original temperature image data set

4 分析與討論

4.1 生成圖像結(jié)果

采用改進(jìn)的CGAN模型能夠根據(jù)標(biāo)簽生成對應(yīng)的圖像，擴(kuò)增后的變電設(shè)備溫度值數(shù)據(jù)集共有2 200 張，數(shù)字“0~9”和符號“-”各有 200張。為了驗(yàn)證改進(jìn)CGAN模型的有效性，與原始CGAN模型損失函數(shù)曲線和生成圖像進(jìn)行對比，結(jié)果如圖5所示?？梢钥闯觯糃GAN的損失函數(shù)在初期震蕩較大，表明初期生成的樣本質(zhì)量較差，隨著訓(xùn)練次數(shù)的增加，生成器和判別器網(wǎng)絡(luò)相互對抗，圖像質(zhì)量不斷上升，在2 000次訓(xùn)練后開始達(dá)到平衡，但生成圖像存在較大的偶然性，部分?jǐn)?shù)據(jù)不清晰、邊緣模糊，存在異常結(jié)果，從而導(dǎo)致生成數(shù)據(jù)集的質(zhì)量較差。改進(jìn)的CGAN結(jié)合了循環(huán)互相關(guān)系數(shù)，在1 800次迭代后達(dá)到了平衡，訓(xùn)練過程較穩(wěn)定，波動較小，且生成圖像比較清晰、無異常結(jié)果，輪廓細(xì)節(jié)更清晰，整體圖像質(zhì)量較好。

圖5 訓(xùn)練過程及生成圖像Fig.5 Training process and generated images

為了驗(yàn)證循環(huán)互相關(guān)系數(shù)的有效性，計(jì)算上述數(shù)據(jù)集中各標(biāo)簽圖像間的循環(huán)互相關(guān)系數(shù)，結(jié)果如表3所示?？梢钥闯?，相同標(biāo)簽圖像的循環(huán)相關(guān)系數(shù)超過0.90，而不同標(biāo)簽之間的循環(huán)相關(guān)系數(shù)比較小，因此循環(huán)相關(guān)系數(shù)能夠區(qū)分各標(biāo)簽圖像，進(jìn)而提高生成圖像的質(zhì)量。

4.2 客觀質(zhì)量評價(jià)

為了評價(jià)生成圖像的質(zhì)量，結(jié)合客觀質(zhì)量評價(jià)方法進(jìn)行分析?？陀^質(zhì)量評價(jià)方法主要包括全參考指標(biāo)、部分參考指標(biāo)和無參考指標(biāo)[21-22]。本文選取峰值信噪比(peak-signal to noise ratio, PSNR)和結(jié)構(gòu)相似度(structure similarity, SSIM)兩種全參考指標(biāo)對生成圖像進(jìn)行質(zhì)量評價(jià)。PSNR是基于圖像像素統(tǒng)計(jì)的指標(biāo)，通過計(jì)算圖像之間的像素誤差的全局大小來評價(jià)圖像質(zhì)量，PSNR值越大表明圖像生成效果越好[23]。SSIM是基于結(jié)構(gòu)信息的指標(biāo)，從亮度、對比度、結(jié)構(gòu)綜合評價(jià)圖像相似性，更符合人眼視覺系統(tǒng)特性[24]，SSIM值越大，生成圖像質(zhì)量越好。

為了驗(yàn)證改進(jìn)的CGAN模型的有效性，將本文算法與傳統(tǒng)的圖像擴(kuò)增方法和原始的CGAN模型進(jìn)行對比。傳統(tǒng)的圖像擴(kuò)增方法包括圖像旋轉(zhuǎn)、縮放、翻轉(zhuǎn)等[25]。分別計(jì)算3種方法生成圖像的PSNR和SSIM值，得到11種標(biāo)簽客觀評價(jià)指標(biāo)，結(jié)果如表4所示。

表4 不同圖像擴(kuò)增方法的客觀評價(jià)指標(biāo)Table 4 Objective evaluation index of different methods

續(xù)表4

從表4可以看出，基于改進(jìn)CGAN模型的圖像擴(kuò)增方法在PSNR和SSIM指標(biāo)上數(shù)值最大，生成圖像質(zhì)量更好，證明了改進(jìn)CGAN模型的有效性。原始CGAN模型在加入循環(huán)互相關(guān)系數(shù)改進(jìn)損失函數(shù)后，生成圖像質(zhì)量得到明顯提升。例如，相比于原始的CGAN模型，數(shù)字“5”的PSNR值提高了11.1%，SSIM值提高20.5%，改進(jìn)后的CGAN模型更能有效地控制生成圖像的質(zhì)量，與原始圖像像素分布更接近，圖像失真更小。

4.3 溫度值識別對比

為了驗(yàn)證溫度值圖像擴(kuò)增質(zhì)量對識別準(zhǔn)確率的影響，將上述3種方法生成的2 200張圖像按照7:3的比例隨機(jī)分配為訓(xùn)練集和測試集，采用卷積神經(jīng)網(wǎng)絡(luò)(convolution neural network, CNN)進(jìn)行溫度值識別，并采用10倍交叉檢驗(yàn)法進(jìn)行驗(yàn)證，結(jié)果如圖6所示。此外，為了驗(yàn)證圖像擴(kuò)增數(shù)量對識別準(zhǔn)確率的影響，分析識別準(zhǔn)確率隨樣本數(shù)量變化的情況，結(jié)果如圖7所示。

圖6 不同方法的識別準(zhǔn)確率Fig.6 Recognition accuracy of different methods

圖7 不同數(shù)量圖像的識別準(zhǔn)確率Fig.7 Recognition accuracy of different number of images

從圖6可以看出，與傳統(tǒng)的圖像擴(kuò)增方法相比，基于改進(jìn)CGAN的圖像擴(kuò)增方法識別效果更好，11種標(biāo)簽的準(zhǔn)確率均有大幅度提升。相比于原始的CGAN模型，對于容易識別錯誤的標(biāo)簽“0”、“3”、“6”、“?”等，識別的準(zhǔn)確率分別為87.12%、87.22%、94.41%和93.62%，表明擴(kuò)增后的溫度值圖像數(shù)據(jù)集能夠提高溫度值識別的準(zhǔn)確率，滿足訓(xùn)練和測試的樣本要求。

從圖7可以看出，隨著生成樣本數(shù)量的不斷增加，3種方法的識別準(zhǔn)確率均得到有效提升，當(dāng)樣本數(shù)量達(dá)到2 200張時(shí)，本文方法的準(zhǔn)確率達(dá)到了99.4%，表明數(shù)據(jù)集的大小會影響識別的準(zhǔn)確率，擴(kuò)增溫度值圖像數(shù)據(jù)集具有重要意義。

5 結(jié)束語

本文針對變電設(shè)備紅外圖像中溫度值圖像數(shù)據(jù)集樣本少、分布不均衡的問題，在分析溫度值圖像特征的基礎(chǔ)上，提出了一種基于循環(huán)互相關(guān)系數(shù)的CGAN溫度值圖像擴(kuò)增方法，通過計(jì)算循環(huán)互相關(guān)系數(shù)改進(jìn)損失函數(shù)，提高生成圖像的質(zhì)量。經(jīng)過生成器網(wǎng)絡(luò)和判別器網(wǎng)絡(luò)之間的對抗訓(xùn)練，生成圖像清晰、細(xì)節(jié)信息豐富的溫度值圖像。本文方法在迭代次數(shù)達(dá)到1 800次時(shí)更快地達(dá)到納什平衡，訓(xùn)練過程平穩(wěn)。與傳統(tǒng)方法和原始CGAN模型相比，本文方法生成圖像的PSNR和SSIM值均達(dá)到最大，有效提高了生成圖像的質(zhì)量，圖像輪廓清晰，與原始圖像之間有更高的相似性；采用CNN模型對擴(kuò)增后的數(shù)據(jù)集進(jìn)行溫度識別，本文方法的準(zhǔn)確率最高，達(dá)到99.4%。此外，隨著生成圖像樣本數(shù)量的增加，模型識別的準(zhǔn)確率得到有效提升，對小樣本數(shù)據(jù)集擴(kuò)增具有重要意義，提高了圖像之間的匹配度，為后續(xù)的缺陷檢測做充分準(zhǔn)備。