基于改進的卷積神經(jīng)網(wǎng)絡(luò)的太陽射電頻譜圖像分類

烏有騰，趙海燕，姜靜清，程 俊，Laruibo

（1.內(nèi)蒙古民族大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，內(nèi)蒙古通遼028043；2.中國科學(xué)院太陽活動重點實驗室，北京100101）

太陽射電爆發(fā)是一種和太陽耀斑等劇烈太陽活動有著緊密關(guān)系的射電輻射強烈增強的表現(xiàn)，太陽射電爆發(fā)對太陽活動現(xiàn)象的研究具有重要意義.20世紀50年代初WILD等首次將頻譜分析儀應(yīng)用到太陽射電觀察和測試當中，在米波波段中察覺到有著很多種不一樣的類型的射電爆發(fā)，進而開啟了對太陽射電爆發(fā)頻譜歸類研究的篇章.伴隨著儀器設(shè)備與監(jiān)測技術(shù)的逐漸成熟，觀察和測量的記錄逐漸變多，關(guān)于太陽射電爆發(fā)的研究也逐漸深入［1-2］.

依據(jù)太陽射電爆發(fā)的頻譜特點，爆發(fā)可分成I、II、III、IV和V型等類型.LOBZIN等［3-4］分別提出了關(guān)于II型和III型爆發(fā)的自動檢驗辦法，并根據(jù)日冕III型射電爆發(fā)的特點運用霍夫變換解析爆發(fā)，完成II型爆發(fā)的自動檢測.SALMANE等［5］提出了一種自動監(jiān)測太陽射電爆發(fā)的動態(tài)譜辦法，通過解析實時記錄信號的動態(tài)頻譜來消掉干擾信號，進而提出一種基于統(tǒng)計特征的檢測分類系統(tǒng).由于III型和IV型太陽爆發(fā)在數(shù)據(jù)集中占比較大，并且相對于其他爆發(fā)類型來說，這兩種爆發(fā)類型更加容易分辨，所以針對這兩種爆發(fā)與其他類型進行的分類較多.CHEN等［6］在2015年設(shè)計了太陽光譜分類的多模態(tài)網(wǎng)絡(luò)，并在2016年［7］通過深度信念網(wǎng)絡(luò)（DBN）對太陽射電類型進行了分類.CHEN等［8］在2017年設(shè)計了卷積神經(jīng)網(wǎng)絡(luò)（CNN）用于太陽射電爆發(fā)類型分類，YU等［9］利用長短時記憶網(wǎng)絡(luò)（LSTM）對太陽射電頻譜數(shù)據(jù)進行分類.XU等［10-11］在卷積神經(jīng)網(wǎng)絡(luò)（CNN）的基礎(chǔ)上，構(gòu)建CNN-Capsule卷積膠囊網(wǎng)絡(luò)和CNN-LSTM卷積長短時記憶模型進行分類.本文也將太陽射電分類問題定義為III型、IV型和其他類型三類，應(yīng)用圖像處理技術(shù)對頻譜圖像進行預(yù)處理得到灰度圖像，進而通過調(diào)整卷積核、應(yīng)用ELU激活函數(shù)等方法改進卷積神經(jīng)網(wǎng)絡(luò)，對太陽爆發(fā)射電圖像的分類進行探討.

1 卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)

在圖像分類領(lǐng)域，深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)可謂大有用武之地.相較于傳統(tǒng)的圖像分類方法，卷積神經(jīng)網(wǎng)絡(luò)通過網(wǎng)絡(luò)自主地從訓(xùn)練樣本中學(xué)習(xí)特征，從而很好地解決了人工提取特征和分類器選擇的難題.卷積神經(jīng)網(wǎng)絡(luò)主要由輸入層（input），卷積層（convolution），池化層（pooling），全連接層（full-connection）以及輸出層（output）等5個部分組成.CNN結(jié)構(gòu)圖如圖1所示.

圖1卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)Fig.1 Basic structure of convolutional neural network

1.1輸入層 在輸入層當中處理數(shù)據(jù)的兩種最常見的方法是：第一是去均值，原理就是把數(shù)據(jù)的每個維度都中心化設(shè)為0.第二是歸一化即設(shè)置輸入數(shù)據(jù)在同樣的范圍之內(nèi)，進而減少因數(shù)據(jù)之間的差距很大而導(dǎo)致的干擾.本文選用歸一化方法.

1.2卷積層 卷積層是根據(jù)輸入、卷積核和激活函數(shù)來計算的.卷積層的輸入通常是一幅或多幅圖像.卷積核是一個矩陣又稱為卷積濾波器.卷積操作如圖2所示：

圖2卷積操作示意圖Fig.2 Schematic diagram of convolutional operation

激活函數(shù)是為解決非線性問題而使用的，它被用來有選擇地對神經(jīng)元節(jié)點的特征進行增強或者削弱.常用的激活函數(shù)有很多，而在卷積神經(jīng)網(wǎng)絡(luò)當中常見的是ReLU函數(shù)以及Softmax函數(shù).本文使用的是ReLU和ELU函數(shù).

ReLU函數(shù)如式（1）所示：

ELU函數(shù)如式（2）所示：

1.3池化層 在卷積神經(jīng)網(wǎng)絡(luò)中，下采樣過程又稱為池化過程.池化的原理就是計算圖像一個區(qū)域上的特定特征的平均值或最大值.常用的池化方法有最大池化（max pooling）和平均池化（average pooling）.本文選用最大池化方法.

1.4全連接層 全連接層在整個卷積神經(jīng)網(wǎng)絡(luò)中起到“分類器”的作用.全連接層是用來連接層和層之間全部神經(jīng)元的.

1.5輸出層 輸出層的作用就是經(jīng)過全連接層的激活函數(shù)輸出每個圖像類別的概率.

2 數(shù)據(jù)預(yù)處理

2.1數(shù)據(jù)來源

論文中所使用的頻譜圖像數(shù)據(jù)來自澳大利亞氣象局的Culgoora天文臺、Learmonth天文臺.Culgoora天文臺的圖像尺寸是1 750*600，Learmonth天文臺的圖像尺寸是1 700*300.圖3是來自Learmonth天文臺的圖像，其中（a）子圖為III型數(shù)據(jù)，（b）子圖為IV型數(shù)據(jù).很明顯III型爆發(fā)的時間非常短，且整個過程的波動性并不是很大；而IV型爆發(fā)頻率并不是很高，但是其持續(xù)的時間卻非常久.

圖3 Culgoora天文臺的III型和IV型圖像數(shù)據(jù)Fig.3 III and IV type image data from Culgoora astronomical observatory

2.2相關(guān)預(yù)處理 圖像預(yù)處理主要是通過利用各種數(shù)學(xué)方法和變換算法提高某灰度區(qū)域的反差、對比度與清晰度，從而提高圖像顯示的信息量，使圖像有利于進一步分析［12］.

2.2.1 圖像灰度處理和裁剪本文使用加權(quán)平均法進行圖像灰度化處理，其原理是將彩色圖像的R、G、B三分量以不同的權(quán)值進行加權(quán)平均，從而得到比較合理的灰度圖像.具體如公式（3）所示：

由于圖像的邊緣信息與特征值無關(guān)，這里將圖像標題、時間、黑邊等一些邊緣進行了裁剪.兩個天文臺的數(shù)據(jù)最終都裁剪為1 200*200并進行灰度化.

2.2.2 通道歸一化 經(jīng)過轉(zhuǎn)換處理后，觀察到大部分圖像中存在水平條紋等多種干擾信號即通道效應(yīng).因此首先通過對圖像f應(yīng)用信道中像素的局部平均值fLM來減輕不均勻通道增益的影響，然后通過添加全局背景即整個圖像的平均值fGM來完成每個像素值的補償.具體公式如（4）所示：

2.2.3 伽馬變換 伽馬變換是對輸入圖像的灰度值進行非線性操作，使輸出圖像灰度值呈指數(shù)關(guān)系.伽馬變換主要用來校正灰度過高或灰度很低的圖片，進而達到對比度的增強效果.其公式如（5）所示：

其中c和γ為正數(shù)，γ值的界限是1，值越小，擴展圖像低灰度的作用越強；值越大，擴展圖像高灰度部分的作用越強，不同的γ值可以完成增強低灰度或高灰度部分的目標.

2.2.4 高斯噪聲 采用高斯噪聲是為了更好地模擬未知的噪音.在真實環(huán)境中，噪音往往是很多不同來源的噪音復(fù)合體.真實噪音的分布隨著噪音源的增加而趨近于高斯分布.高斯噪聲的具體公式如（6）所示：

其中，u為均值，σ為 標準差，（fx，y）為輸入圖像，g（x，y）為輸出圖像.

2.2.5 灰度拉伸 灰度拉伸是一種比較簡單的線性點運算，也可以稱為對比度拉伸.它可以拓展圖像的直方圖，使其存在于所需要的特定范圍內(nèi).灰度拉伸公式如（7）所示：

其中，a為最小灰度級，b為最大灰度級，（fx，y）為輸入圖像，g（x，y）為輸出圖像.

2.2.6 圖像標準化 將圖像矩陣輸入到神經(jīng)網(wǎng)絡(luò)中時，如果圖片中的特征較多時，網(wǎng)絡(luò)很容易將像素大小相對較小的特征忽略.為了避免這種情況，同時加快模型訓(xùn)練收斂的速度，通過將輸入數(shù)據(jù)范圍縮小至0～1之間來對輸入樣本進行標準化操作，標準化的公式如（8）所示：

其中，m為標準化前的像素，M是標準化后的像素矩陣，D為標準化前的圖像像素矩陣，max（D）為標準化前圖像像素的最大值，min（D）為標準化前圖像像素的最小值.

2.2.7 中值濾波 中值濾波法是一種非線性平滑技術(shù)，它將每一像素點的灰度值設(shè)置為該點某鄰域窗口內(nèi)的所有像素點灰度值的中值，從而使得圖像接近真實值，進而消去單獨噪聲.本文使用3*3模板進行中值濾波.

經(jīng)以上預(yù)處理后來自Culgoora天文臺的III、IV圖像（即圖3）預(yù)處理結(jié)果如圖4的（a）、（b）所示.從圖（a）中可以看出只保留了明顯的豎線，而（b）圖留下了明顯的連續(xù)變化的區(qū)域.

圖4預(yù)處理后的來自Culgoora天文臺的III型、IV型數(shù)據(jù)Fig.4 III and IV type from Culgoora astronomical observatory after preprocessing

3 實驗

3.1實驗設(shè)置實驗是基于TensorFlow深度學(xué)習(xí)框架基礎(chǔ)上進行的.太陽射電爆發(fā)的數(shù)據(jù)集中包含5 211張頻譜圖像，其中III型有1 741張，IV型有1 736張，其他類型選用了1 734張.因III和IV圖像數(shù)量較少，在預(yù)處理后主要進行了如下處理以擴增圖像數(shù)據(jù)：（1）對兩個天文臺預(yù)處理后的圖像均進行亮度和色度增強、銳度減弱從而得到新圖像樣本.（2）對預(yù)處理后的圖像進行水平垂直方式的翻轉(zhuǎn)從而得到新圖像樣本.最終，為保持數(shù)據(jù)平衡，送入卷積神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)劃分如表1所示：

表1數(shù)據(jù)集劃分Tab.1 Data set partition

3.2卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)化設(shè)計首先通過卷積層對輸入信號的特征值進行局部提取，然后經(jīng)過激活函數(shù)再次導(dǎo)入到池化層，池化層可以有效減少特征值的分辨率，減少網(wǎng)絡(luò)的計算量，優(yōu)化網(wǎng)絡(luò)，然后經(jīng)過激活函數(shù)再次導(dǎo)入到卷積層，以此類推［13］.

3.2.1輸入、輸出層的設(shè)計 在進行預(yù)處理之后，輸入數(shù)據(jù)尺寸設(shè)成300*150以及120*120.輸出類型為3種類型，其中，III型用3表示，IV型用4表示，其他類型用0表示.

3.2.2 隱層網(wǎng)絡(luò)的優(yōu)化設(shè)計 以預(yù)處理之后300*150的圖像矩陣為例，五層卷積神經(jīng)網(wǎng)絡(luò)的最大池化層所選取卷積核均為2*2，第一層和第二層是32個3*3的卷積核組成，分別產(chǎn)生32*149*74和32*73*36的特征矩陣；然后第三層和第四層都經(jīng)過64個3*3的卷積核分別形成64*35*17和64*16*7的特征矩陣.最后是第五層選用128個3*3卷積核.分類時激活函數(shù)分別選用ReLU和ELU.

3.3調(diào)整激活函數(shù)和網(wǎng)絡(luò)深度進行分類比較 分別使用4、5、6層卷積神經(jīng)網(wǎng)絡(luò)，并應(yīng)用ReLU和ELU函數(shù)作為卷積神經(jīng)網(wǎng)絡(luò)的激活函數(shù)對頻譜數(shù)據(jù)進行分類，分類效果如表2所示.表2中的TPR和FPR是通用的評價指標.TPR為True positive rate的簡稱，稱作真正類率，表示當前分到正樣本中真實的正樣本占所有正樣本的比例；FPR是False positive rate的簡稱，稱作假正類率，表示當前被錯誤地分到正樣本類別中真實的負樣本占所有負樣本總數(shù)的比例.

表2 ReLU函數(shù)和ELU函數(shù)在多層CNN上的分類比較結(jié)果Tab.2 Classification comparison results of ReLU function and ELU function on multi-layer CNN

從表2可知，應(yīng)用ELU函數(shù)在4層CNN上分類的精確率為96.73%，比ReLU效果稍好；5層采用ReLU函數(shù)和ELU函數(shù)的識別率基本持平，ELU函數(shù)相對還要低一些；但6層ReLU函數(shù)在III型爆發(fā)上的TPR為3.27%、FPR為94.34%較為異常，與之相比，6層ELU在3種爆發(fā)類型上的TPR和FPR都比較穩(wěn)定.

4 結(jié)束語

本文應(yīng)用灰度變換、中值濾波等圖像處理方法，對太陽射電數(shù)據(jù)進行充分的預(yù)處理.并在此基礎(chǔ)上通過應(yīng)用3*3卷積核、以ReLU或ELU作為激活函數(shù)、設(shè)置不同網(wǎng)絡(luò)深度的卷積神經(jīng)網(wǎng)絡(luò)對太陽射電數(shù)據(jù)進行訓(xùn)練和測試.實驗結(jié)果表明，卷積神經(jīng)網(wǎng)絡(luò)在圖片分類任務(wù)中表現(xiàn)穩(wěn)定，相對于ReLU函數(shù)而言，使用ELU作為激活函數(shù)模型在多層網(wǎng)絡(luò)深度下的分類穩(wěn)定性也稍好一些.但因III型、IV型數(shù)據(jù)少，數(shù)據(jù)集是在反復(fù)擴充的基礎(chǔ)上得到的，所以針對一些特殊類型的太陽爆發(fā)圖像，仍舊不能夠進行準確分類.下一步將會在卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，嘗試與其他深度學(xué)習(xí)方法結(jié)合，同時增加來自其他天文臺的樣本以期提高分類精確率.