基于注意力機制的光伏熱斑識別

DOI：10.19912/j.0254-0096.tynxb.2021-1141 文章編號：0254-0096（2023）02-0453-07

摘 要：為解決光伏的紅外熱圖像含有大量噪聲且不同狀態(tài)紅外圖像分布不均衡導致的熱斑難以識別的問題，以Vision Transformer（ViT）模型為基礎(chǔ)，利用卷積神經(jīng)網(wǎng)絡改進模型特征提取，利用緊湊多頭自注意力機制改進模型結(jié)構(gòu)，提出一種光伏紅外圖像熱斑識別模型ConCViT，利用CIFAR-10數(shù)據(jù)集對注意力權(quán)值進行預訓練，以低信噪比小樣本光伏紅外圖像為數(shù)據(jù)集，訓練出高準確率的熱斑檢測模型。實驗結(jié)果表明，ConCViT模型比傳統(tǒng)卷積神經(jīng)網(wǎng)絡的識別準確率高12.02%，比深度卷積自編碼網(wǎng)絡的識別準確率高4.14%，并具有更快的收斂速度。

關(guān)鍵詞：光伏組件；圖像識別；卷積神經(jīng)網(wǎng)絡；熱斑效應；自注意力機制；預訓練

中圖分類號：TP18；TM615 文獻標志碼：A

0 引 言

當高壓線、樹枝、砂礫等不透明的物體長時間遮擋光伏組件時，部分太陽電池會充當負載消耗周圍正常工作太陽電池產(chǎn)生的能量并持續(xù)發(fā)熱，即“熱斑效應”，導致太陽電池發(fā)生局部過熱，損壞光伏組件本身甚至會引發(fā)火災［1］。

基于紅外圖像的檢測方法主要是利用光伏陣列的紅外圖像進行熱斑識別檢測。傳統(tǒng)的圖像處理技術(shù)，如灰度轉(zhuǎn)換［2］、B樣條最小二乘擬合［3］、多級Otsu閾值分割［4］等可直接檢測光伏陣列的熱斑，但傳統(tǒng)圖像處理技術(shù)對于圖像質(zhì)量有一定要求，光伏陣列的工作環(huán)境復雜多變，大部分的光伏組件紅外圖像被周圍環(huán)境污染，含有大量的環(huán)境噪聲，利用傳統(tǒng)圖像處理技術(shù)進行熱斑檢測效果不佳，準確率低。傳統(tǒng)的深度學習技術(shù)，如支持向量機（SVM）［5］、RCAG-Net［6］、Faster RCNN［7］等利用光伏熱斑紅外圖像訓練分類模型，利用分類模型對采集到的光伏組件紅外圖像進行熱斑識別，可克服紅外圖像噪聲大、信噪比低的缺點。但傳統(tǒng)深度學習技術(shù)需要大量的訓練樣本，光伏熱斑紅外圖像數(shù)量稀少，訓練好的模型識別準確率低，泛化能力差。深度卷積自編碼網(wǎng)絡［8］雖然是針對小樣本數(shù)據(jù)集，但其準確率仍未達到預期。

在上述研究的基礎(chǔ)上，本文針對光伏組件紅外圖像信噪比低、數(shù)量少的特點改進Vision Transformer（ViT）模型，提出一種光伏組件紅外圖像熱斑識別模型（Convolution Compact Vision Transformer， ConCViT）。該模型以ViT模型為基礎(chǔ)，通過結(jié)合卷積神經(jīng)網(wǎng)絡和圖像分割改進特征提取，兼顧卷積神經(jīng)網(wǎng)絡對圖像局部信息和自注意力機制對于圖像全局信息的提取能力，并利用緊湊自注意力改善模型結(jié)構(gòu)，減少模型的參數(shù)數(shù)量，利用CIFAR-10數(shù)據(jù)集對注意力權(quán)值進行預訓練，減輕模型訓練對于數(shù)據(jù)數(shù)量的依賴，取得比傳統(tǒng)卷積神經(jīng)網(wǎng)絡和深度卷積自編碼網(wǎng)絡更好的檢測效果。

1 光伏組件紅外圖像數(shù)據(jù)集

1.1 紅外圖像預處理

由于拍攝環(huán)境復雜，紅外圖像不但有光伏組件本身還有周圍的環(huán)境噪聲，如圖1所示。

為了提高模型識別熱斑的準確度，需要對紅外圖像進行預處理。首先利用高斯濾波對紅外圖像進行降噪處理，然后利用邊緣檢測、圖像分割、透視變換等手段提取出如圖2所示的單個光伏組件紅外圖像。

所選取的光伏電站的光伏組件是由60片太陽電池拼接而成，對提取出的光伏組件紅外圖像進行等距分割，得到60片太陽電池紅外圖像，每片太陽電池紅外圖像的大小為64 pix×64 pix。

1.2 數(shù)據(jù)集制作

對太陽電池進行篩選整理后，按照其不同顏色所代表的不同工作狀態(tài)將其分為類型藍（正常工作）、類型綠（過熱工作）、類型黃（熱斑潛伏）、類型紅（有熱斑隱患）、類型白（具有熱斑）5個類別，如圖3所示，對不同的工作狀態(tài)可采取不同的處理方法。

分類后5種類型的太陽電池分布嚴重不均衡，處于中間狀態(tài)的類型綠、黃、紅的數(shù)量遠遠大于類型白的數(shù)量，而常規(guī)的深度學習模型對于樣本數(shù)量較小且分布不均衡的數(shù)據(jù)集訓練效果并不理想。

2 ConCViT模型

2.1 多頭自注意力機制

注意力機制首次被引入是與遞歸神經(jīng)網(wǎng)絡結(jié)合使用［9］，幫助神經(jīng)網(wǎng)絡在翻譯中記憶長單詞序列。注意力機制可解釋為矩陣形式的檢索系統(tǒng)，它的本質(zhì)可被描述為一個查詢矩陣Q（Query）到由一系列鍵值對（鍵Key-值Value）組成的輸入信息S（Source）的映射，如圖4所示。

注意力就是從大量信息中篩選出少量重要信息，并聚焦到這些重要信息上。

如圖5所示，注意力機制在計算時，首先根據(jù)矩陣[Q]和某一個鍵[Ki]（Keyi），計算兩者的相似性或者相關(guān)性，稱為注意力分數(shù)Si（similarity），最常見的方法是求兩者的向量點積：

然后，通過softmax函數(shù)對注意力分數(shù)進行歸一化以產(chǎn)生注意力概率[ai]，即值[Vi]（Valuei）所對應的權(quán)重系數(shù)，該概率表明每個標記在給定位置將表達多少：

式中：[Sii]——注意力分數(shù)；[N]——鍵值對的數(shù)量。

最后，對[Vi]進行加權(quán)求和即可得到[Q]和[S]的注意力數(shù)值A(chǔ)（Attention），即注意力機制可表達為：

Transformer［10］進一步提出了多頭自注意力機制。自注意力機制是注意力機制的變體，自注意力的向量序列[Q、][K、][V]是對輸入張量[x]與權(quán)值矩陣（[WQ、][WK、][WV]）相乘進行線性變換得到，即[Q=xWQ，][K=xWK，][V=xWV]。比起注意力機制，自注意力機制減少了對外部數(shù)據(jù)的依賴，更擅長捕捉數(shù)據(jù)或特征的內(nèi)部相關(guān)性。Transformer采用的注意力機制是縮放點積注意力，在計算[Q]和[K]的點積之后，為了梯度的穩(wěn)定，利用[Q]和[K]的維度來限制點積的大小，即注意力分數(shù)為：

而多頭自注意力，即并行執(zhí)行多個自注意力可實現(xiàn)在不同尺度上的有效學習，減少模型的過擬合。

2.2 緊湊自注意力機制

自注意力機制的變矩陣[Q、][K、][V、]都是由相同的輸入張量[x]計算得到，這代表了3個權(quán)值矩陣（[WQ，WK，WV]）存在一定的冗余。Alexey Dosovitskiy在Reformer［11］中發(fā)現(xiàn)，由于注意力機制的計算方式，[WQ]和[WK]之間的基本冗余明顯高于其他兩對之間的冗余。在位置敏感散列（LSH）注意力的公式[WQ=WK]中，查詢向量與其自身的點積總是大于與另一個向量的點積，這削弱了自注意力機制的能力。因此，文獻［12］提出緊湊自我注意力（Compact self-attention），通過共享[Q]和[V]之間的權(quán)值來改進自注意力機制。和Transformer一樣，緊湊自注意力也采用縮放點積注意力，如圖6所示。

可得到緊湊自注意力為：

這種改進可減少模型參數(shù)、減少模型的訓練時間和模型對數(shù)據(jù)數(shù)量的依賴，加強模型學習的效果。

2.3 ConCViT模型

Transformer是基于文本任務而設計的，其輸入是單詞嵌入序列，而Vision Transformer（ViT）模型［13］是Transformer模型在圖像識別領(lǐng)域的變體，ViT將圖像分成正方形的圖形塊，通過線性轉(zhuǎn)換把每個圖形塊的所有通道投影成一維向量，在每個向量中添加可學習的位置嵌入，把最后的結(jié)果輸入堆疊的自注意力模塊中（如圖7），ViT模型在多個圖像領(lǐng)域擊敗了卷積神經(jīng)網(wǎng)絡。

自注意力機制的關(guān)鍵是求取隱藏單元計算出的值的加權(quán)平均，用在加權(quán)平均運算中的權(quán)重是通過隱藏單元之間的相似度函數(shù)動態(tài)地得到的。輸入信號之間的交互取決于信號本身，不是由它們的相對位置預先確定，得到的是圖像的全局信息，所以其在圖像識別領(lǐng)域取得的效果優(yōu)于卷積神經(jīng)網(wǎng)絡，但缺乏卷積神經(jīng)網(wǎng)絡固有的歸納偏置：平移不變性和局部性，沒有卷積神經(jīng)網(wǎng)絡對于局部信息的高效學習。

卷積神經(jīng)網(wǎng)絡嚴格遵守從局部特征提煉全局特征的處理過程，需要通過受限的感受野來確保局部性，通過權(quán)值共享來確保平移不變性，最后得到的全局特征是單純的局部特征的集合，缺少局部特征之間的關(guān)聯(lián)信息。

ConCViT模型（如圖8）在特征提取階段首先將原始圖像分割成同等大小的圖像塊，再將圖像塊RGB 3個通道的圖像信息投影成一個一維向量，再引入卷積，對整個圖像進行多次卷積操作，把圖像下采樣到分割好的圖像塊大小，得到圖像的局部特征的集合，并將其和分割好的圖像塊一起輸入多個緊湊自注意力模塊，提取全局信息，最后輸入分類頭分類。通過加入卷積提取的圖像局部特征集合，使得自注意力機制提取的全局信息中包含具有空間結(jié)構(gòu)的局部特征與真實圖像塊之間的聯(lián)系信息，提高模型的學習能力，并為模型的一部分引入歸納偏置，提高了模型的學習效率。

對于所制作的光伏紅外圖像數(shù)據(jù)集，為了取得良好的訓練效果，在輸入時將圖片分割成16個16 pix×16 pix的圖像塊，如圖9所示。并用兩個3×3卷積層對整個圖像進行下采樣來提取光伏紅外圖像的局部特征，下采樣的結(jié)果和分割好的16個圖像塊一樣，作為一個單獨的圖像塊，如圖10所示。再將17個圖塊拉平成一維向量，用可訓練的全連接層把向量線性投影到同一大小，輸入注意力模塊，最后輸入MLP分類頭，輸出分類結(jié)果。

3 光伏組件紅外圖像熱斑識別

3.1 ConCViT模型訓練及測試

預訓練是指模型通過利用大規(guī)模有標簽數(shù)據(jù)集進行有監(jiān)督訓練，得到與具體任務無關(guān)的預訓練模型，從而改善模型在具體任務中的表現(xiàn)，是遷移學習［14］的一種具體的表現(xiàn)形式。

自注意力機制沒有卷積神經(jīng)網(wǎng)絡的歸納偏置：局部性和平移不變性，在訓練數(shù)據(jù)量不足時學習效果不佳，但ViT發(fā)現(xiàn)大規(guī)模訓練的效果比歸納偏置好。ViT在進行足夠規(guī)模的預訓練后轉(zhuǎn)移到數(shù)據(jù)較少的任務時，識別準確率超過了當時最先進的卷積神經(jīng)網(wǎng)絡。因此，使用CIFAR-10數(shù)據(jù)集對ConCViT模型進行預訓練。

CIFAR-10數(shù)據(jù)集（如圖11）是由60000張32 pix×32 pix的圖片組成，其中50000張訓練圖片，10000張測試圖片，在預訓練時模型結(jié)構(gòu)需要進行調(diào)整：修改線性投影層以適應新的數(shù)據(jù)格式，修改最后的MLP分類頭以適應新的類別數(shù)量。

預訓練優(yōu)化器采用Adam優(yōu)化器，損失函數(shù)使用交叉熵損失函數(shù)（Cross Entropy Loss），Learning Rate為0.001，Batch size設置為30，Epoch為200輪，Dropout設置為0.5。

實驗運行環(huán)境為64位Windows10系統(tǒng)專業(yè)版，顯卡為NVIDA Quadro K620，顯存2 GB，預訓練結(jié)果如圖12所示。

預訓練好的模型要實現(xiàn)光伏熱斑的準確識別，還要利用制作好的光伏熱斑數(shù)據(jù)集對模型再次訓練。首先去掉預訓練好的MLP分類頭和線性投影層，再以光伏熱斑數(shù)據(jù)集為對象重新設計這兩個模塊，利用光伏熱斑數(shù)據(jù)集對其進行訓練，由于光伏數(shù)據(jù)集的標注是人為的，數(shù)據(jù)集可能會存在一定的標簽噪聲，即有一些錯誤標記，因此損失函數(shù)采用Robust Log Loss［15］。Robust Log Loss是Cross Entropy Loss的一種改進，可有效克服標簽噪聲對分類結(jié)果的影響。Learning Rate為0.001，Batch size設置為30，Epoch為110輪，Dropout設置為0.5，模型訓練完成后，測試集測試結(jié)果如圖13所示。從訓練結(jié)果可看出ConCViT模型經(jīng)過預訓練之后，用光伏熱斑數(shù)據(jù)集進行訓練時，在第5輪準確率就達到了90%，在第70輪左右準確率就穩(wěn)定在約93%，在第110輪準確率達到95.47%。

由此可見，ConCViT模型在樣本數(shù)量不足、分布不均衡的情況下，在保證較高的準確率和較強的泛化性的前提下，可在較短的時間內(nèi)收斂。

3.2 對比實驗

為了驗證ConCViT模型的優(yōu)越性，采用對比實驗的方法，選取文獻［8］中的卷積神經(jīng)網(wǎng)絡和深度卷積自編碼網(wǎng)絡作為對比對象，以光伏紅外圖像數(shù)據(jù)集作為訓練數(shù)據(jù)集進行對比實驗。卷積神經(jīng)網(wǎng)絡和深度卷積自編碼網(wǎng)絡的結(jié)構(gòu)參數(shù)如表1所示。

光伏熱斑檢測最重要的是對于已有熱斑的光伏組件的檢測結(jié)果，只將關(guān)于類型5的錯誤（包括把其他類型錯分成類型5和把類型5錯分成其他類型）視為錯誤，其他分類結(jié)果視為正確，即將多分類任務簡化為二分類任務，訓練結(jié)果表示為基礎(chǔ)準確率。訓練結(jié)果如圖14和表2所示。

在ConCViT模型收斂時，卷積神經(jīng)網(wǎng)絡和深度卷積自編碼網(wǎng)絡的準確率在振蕩，最終訓練結(jié)果ConCViT模型比卷積神經(jīng)網(wǎng)絡準確率高12.02%，比深度卷積自編碼網(wǎng)絡高4.14%，而只將關(guān)于類型5的錯誤視為錯誤時，ConCViT模型檢測準確率達到98.67%。

實驗驗證了所提出的ConCViT模型和訓練方法的有效性，可取得更快的收斂速度、更高的準確率和更好的泛化能力。

4 結(jié) 論

針對光伏紅外數(shù)據(jù)存在的環(huán)境干擾大、信噪比低、數(shù)量小且分布不均衡等特點，本文通過卷積神經(jīng)網(wǎng)絡改進特征提取、通過緊湊自注意力機制改進ViT模型結(jié)構(gòu)，提出了一個光伏熱斑識別檢測神經(jīng)網(wǎng)絡模型——ConCViT模型，經(jīng)過預訓練之后，通過和卷積神經(jīng)網(wǎng)絡、深度卷積自編碼網(wǎng)絡對比實驗得到以下結(jié)論：

1） ConCViT模型在光伏紅外圖像數(shù)據(jù)集上的訓練測試準確率達到95.47%，可應用于光伏組件的快速熱斑檢測，并對不同狀態(tài)的光伏組件采取不同措施，對大型光伏發(fā)電站的運行維護和檢查修理有重要作用。

2）本文提出的ConCViT模型在收斂速度、識別準確率方面具有優(yōu)勢，可嘗試應用于其他圖像識別領(lǐng)域。

［參考文獻］

［1］ 郭寶柱. 光伏陣列熱斑的紅外圖像處理的研究［D］. 天津： 天津理工大學， 2016.

GUO B Z. Research on infrared image processing of photo voltaic array of hot spot［D］. Tianjin： Tianjin University of Technology， 2016.

［2］ 楊亞楠. 太陽能光伏陣列識別及熱斑檢測技術(shù)的研究與實現(xiàn)［D］. 南京： 南京郵電大學， 2018.

YANG Y N. Research and implementation of solar photo voltaic array identification and hot spot detection technology［D］. Nanjing： Nanjing University" of Posts and Telecommunications， 2018.

［3］ 蔣琳， 蘇建徽， 施永， 等. 基于紅外熱圖像處理的光伏陣列熱斑檢測方法［J］. 太陽能學報， 2020， 41（8）： 180-184.

JIANG L， SU J H， SHI Y， et al. Hot spot detection of operating PV arrays through IR thermal image［J］. Acta energiae solaris sinica， 2020， 41（08）： 180-184.

［4］ AFIFAH A N N， INDRABAYU， SUYUTI A， et al. A new approach for hot spot solar cell detection based on multi-level Otsu algorithm［C］// 2021 International Seminar on Intelligent Technology and Its Applications （ISITIA）， Surabaya， Indonesia， 2021.

［5］ CHEN" J，" LI" Y" J，" LING" Q." Hot-spot" detection" for thermographic images of solar panels［C］// 2020 Chinese Control and Decision Conference （CCDC）， Hefei， China，2020.

［6］ SU B Y， CHEN H Y， LIU K， et al. RCAG-net： residual channelwise attention gate network for hot spot defect detection of photovoltaic farms［J］. IEEE transactions on instrumentation and measurement， 2021， 70： 1-14.

［7］ 郭夢浩， 徐紅偉. 基于Faster RCNN的紅外熱圖像熱斑缺陷檢測研究［J］. 計算機系統(tǒng)應用， 2019， 28（11）：265-270.

GUO M H， XU H W. Hot spot defect detection based on infrared thermal image and Faster RCNN［J］. Computer systems amp; applications， 2019， 28（11）： 265-270.

［8］ 孫海蓉， 潘子杰， 晏勇. 基于深度卷積自編碼網(wǎng)絡的小樣本光伏熱斑識別與定位［J］. 華北電力大學學報（自然科學版）， 2021， 48（4）： 91-98.

SUN H R， PAN Z J， YAN Y. Identification and location of small sample photovoltaic hot spots based on deep convolution self coding network［J］. Journal of North China Electric Power University （natural science edition）， 2021， 48 （4）： 91-98 .

［9］ BAHDANAU D， CHO K， BENGIO Y. Neural machine translation by jointly learning to align and translate［EB/OL］. https：//arxiv.org/abs/1409.0473.

［10］ VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems， NIPS’ Red Hook， NY ， USA， 2017.

［11］ KITAEV N， KAISER L， LEVSKAYA A. Reformer：the efficient transformer［EB/OL］. https：//arxiv.org/abs/2001. 04511， 2020.

［12］ MENG L C. Armour： generalizable compact self-attention for" "vision" "transformers［EB/OL］." "https：//arxiv.org/abs/2108.01778.

［13］ DOSOVITSKIY A， BEYER L， KOLESNIKOV A， et al. An image is worth 16×16 words： transformers for image recognition at scale［EB/OL］. https：//arxiv.org/abs/2010. 11929， 2020.

［14］ PAN S J L， YANG Q. A survey on transfer learning［J］. IEEE transactions on knowledge and data engineering， 2010， 22（10）： 1345-1359.

［15］ KUMAR H， SASTRY P S. Robust loss functions for learning" " " multi-class" " " classifiers［C］//2018" " " IEEE International Conference on Systems， Man， and Cybernetics （SMC）， Miyazaki-ken， Japan， 2018.

PHOTOVOLTAIC HOT SPOT RECOGNITION BASED ON

ATTENTION MECHANISM

Sun Hairong1，Li Fan1，2

（1. Department of Automation， North China Electric Power University， Baoding 071003， China；

2. Hebei Technology Innovation Center of Simulation ＆ Optimized Control for Power Generation， North China Electric Power University，

Baoding 071003， China）

Abstract：In order to solve the problem that the infrared thermal image of photovoltaic panels contains a large amount of noise and it is difficult to identify the hot spots caused by the uneven distribution of infrared images in different states， based on the Vision Transformer （ViT） model， the convolution neural network is used to improve the model feature extraction， and the compact multi head self-attention mechanism is used to improve the model structure. A photovoltaic infrared image hot spot recognition model， a compact vision transformer （ConCViT）， is proposed， by which pretrains the attention weight using CIFAR-10 data set. Taking small sample photovoltaic infrared images with low signal-to-noise ratio as the data set， a high accuracy hot spot detection model is trained. The experimental results show that the recognition accuracy of ConCViT model is 12.02% higher than that of traditional convolutional neural network， 4.14% higher than that of deep convolutional self-coding network， and has faster convergence speed.

Keywords：photovoltaic modules； image recognition； convolutional neural network； hot spot effect； self-attention mechanism； pretraining