基于一維卷積神經(jīng)網(wǎng)絡(luò)的恒星光譜分類(lèi)研究

艾霖嬪,楊錦濤,徐權(quán)峰,張靜敏,杜利婷,周衛(wèi)紅,2

(1.云南民族大學(xué) 數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院,云南 昆明 650500; 2.中國(guó)科學(xué)院 天體結(jié)構(gòu)與演化重點(diǎn)實(shí)驗(yàn)室,云南 昆明 650011)

研究天體光譜能發(fā)現(xiàn)許多對(duì)天文研究有重要的意義的信息,其中天體光譜的分類(lèi)研究是天體光譜研究的重要一環(huán).但目前仍有大量的天體沒(méi)有經(jīng)過(guò)光譜觀測(cè)，郭守敬望遠(yuǎn)鏡(LAMOST)有著極高的光譜獲取率,為我國(guó)天文學(xué)研究做出了重大貢獻(xiàn).如今LAMOST光譜發(fā)布已進(jìn)入千萬(wàn)量級(jí)時(shí)代,創(chuàng)下多項(xiàng)世界之最.

對(duì)于天體光譜的分類(lèi)研究學(xué)者們進(jìn)行了許多的嘗試.覃冬梅等[1]利用主分量分析法來(lái)研究恒星光譜的分類(lèi),該方法的實(shí)驗(yàn)結(jié)果跟基南系統(tǒng)的恒星分類(lèi)標(biāo)準(zhǔn)相差無(wú)幾,表明了該方法的有效性;張華煜[2]提出的分類(lèi)模型是基于支持向量機(jī)的層次型聚類(lèi)多類(lèi)分類(lèi)器,該模型可以有效提高分類(lèi)速度;康超[3]針對(duì)M矮星的分類(lèi)研究，提出殘差分布度量的方法,證實(shí)了該方法對(duì)天體光譜進(jìn)行分類(lèi)的可行性;趙旭俊等[4]提出利用分類(lèi)模式樹(shù)提取恒星光譜中屬性的出現(xiàn)頻率,挖掘分類(lèi)的規(guī)則,表明了該方法對(duì)恒星光譜分類(lèi)有較高的準(zhǔn)確率;劉忠寶等[5]為了解決數(shù)據(jù)樣本很大時(shí),支持向量機(jī)計(jì)算量大速度慢等問(wèn)題,提出流形模糊雙支持向量機(jī)應(yīng)用于SDSS的恒星光譜數(shù)據(jù)集,該方法不僅大幅度減少了計(jì)算的時(shí)間,同時(shí)還能有效降低噪聲點(diǎn)以及奇異點(diǎn)的影響,提高分類(lèi)精度.

隨著LAMOST、SDSS等巡天項(xiàng)目的開(kāi)展,光譜數(shù)據(jù)量呈爆炸式的增長(zhǎng),我們必須尋求快速、高效、精確的分類(lèi)方法來(lái)對(duì)天體光譜進(jìn)行分類(lèi).由于深度學(xué)習(xí)在圖像識(shí)別領(lǐng)域取得了非凡的成就,學(xué)者們也開(kāi)始將深度學(xué)習(xí)應(yīng)用到天體光譜分類(lèi)領(lǐng)域.石超君等[6]提出基于卷積神經(jīng)網(wǎng)絡(luò)對(duì)K型和F型恒星光譜進(jìn)行分類(lèi),結(jié)果表明卷積神經(jīng)網(wǎng)絡(luò)能對(duì)K型和F型恒星光譜快速的分類(lèi)篩選,訓(xùn)練的數(shù)據(jù)量與模型泛化能力,分類(lèi)準(zhǔn)確率成正比;張靜敏等[7]提出基于深度信念網(wǎng)絡(luò)的LAMOST恒星光譜分類(lèi)研究方法,驗(yàn)證了該模型對(duì)F、G、K這3種恒星光譜分類(lèi)的有效性;王奇勛等[8]針對(duì)LAMOST光譜數(shù)據(jù)優(yōu)化了DenseNet網(wǎng)絡(luò),對(duì)恒星、星系和類(lèi)星體3類(lèi)天體光譜進(jìn)行分類(lèi),該優(yōu)化后的模型具有可解釋性強(qiáng)、魯棒性強(qiáng)、泛化能力強(qiáng)等優(yōu)點(diǎn), 可用于天體光譜的分類(lèi)研究;許婷婷等[9]利用DBN模型對(duì)光譜數(shù)據(jù)特征的分層學(xué)習(xí)具有數(shù)據(jù)降維的特點(diǎn),基于深度學(xué)習(xí)訓(xùn)練了一個(gè)深度信念網(wǎng)絡(luò)對(duì)F、G和K 3種恒星光譜進(jìn)行分類(lèi),沒(méi)有對(duì)天體光譜進(jìn)行降維處理,直接訓(xùn)練DBN模型,最終準(zhǔn)確率為0.9303.張靜敏等[10]又提出1種基于2維傅里葉譜圖像的特征提取方法,采用短時(shí)傅里葉變換將1維光譜數(shù)據(jù)變換成2維傅里葉譜圖像,再利用深度卷積網(wǎng)絡(luò)模型對(duì)得到的2維傅里葉譜圖像進(jìn)行分類(lèi),最終的分類(lèi)準(zhǔn)確率是0.929 0.

1 恒星光譜數(shù)據(jù)

恒星光譜分類(lèi)方法有西奇分類(lèi)、哈佛系統(tǒng)、威爾遜山系統(tǒng)、基南系統(tǒng)等,其中基南系統(tǒng)對(duì)于恒星光譜的分類(lèi)得到了廣泛的應(yīng)用.它按照恒星的表面溫度從高到低對(duì)恒星光譜進(jìn)行分類(lèi),仍然使用哈佛系統(tǒng)對(duì)光譜分類(lèi)的標(biāo)示,將恒星的光譜分成O、B、A、F、G、K、M 7大類(lèi).目前國(guó)際上的巡天項(xiàng)目有LAMOST、斯隆數(shù)字巡天(Sloan Digital Sky Survey，縮寫(xiě)為SDSS)等,而LAMOST獲取到的光譜是所有天文望遠(yuǎn)鏡中最多的,歷經(jīng)5年,在LAMOST全體工作人員的共同努力下，LAMOST一期光譜巡天任務(wù)圓滿(mǎn)完成,LAMOST DR5數(shù)據(jù)集也于2017年12月31日正式發(fā)布,共發(fā)布了901萬(wàn)條光譜,信噪比大于10,其中高質(zhì)量光譜數(shù)達(dá)到了777萬(wàn)條.

在LAMOST中，天體光譜存儲(chǔ)形式為FITS格式，其包含許多恒星的屬性特征信息，而這些信息在某一具體問(wèn)題中不一定都能用，因而在恒星光譜分類(lèi)中選取其中的一個(gè)數(shù)字矩陣中的流量與波長(zhǎng)構(gòu)成光譜圖，橫坐標(biāo)為波長(zhǎng)，縱坐標(biāo)為流量.不同類(lèi)別的恒星光譜,其流量、形狀、峰寬有一定的差異,即使同一波長(zhǎng)處的流量也相差很多,不同的恒星光譜波長(zhǎng)不同時(shí)流量也不同.根據(jù)這些特性,我們可以判斷出恒星光譜的類(lèi)型.由于不同類(lèi)型的恒星光譜在不同的波長(zhǎng)處具有各自的發(fā)射線與吸收線,從而不同類(lèi)型的恒星光譜的光譜圖會(huì)有很大的差異,因此可以將恒星光譜看成是一維信號(hào),再利用一維卷積神經(jīng)網(wǎng)絡(luò)中一維卷積計(jì)算的特性，實(shí)現(xiàn)了對(duì)一維恒星光譜的自動(dòng)分類(lèi)[11].

2 一維卷積神經(jīng)網(wǎng)絡(luò)

在20世紀(jì)80年代就有學(xué)者開(kāi)始研究卷積神經(jīng)網(wǎng)絡(luò),此后深度學(xué)習(xí)的理論日趨成熟,以及計(jì)算機(jī)被日益改進(jìn),卷積神經(jīng)網(wǎng)絡(luò)也快速的發(fā)展.

卷積神經(jīng)網(wǎng)絡(luò)是1種前饋網(wǎng)絡(luò),是深度學(xué)習(xí)領(lǐng)域比較典型的算法.卷積神經(jīng)網(wǎng)絡(luò)的特征學(xué)習(xí)能力可以有效的學(xué)習(xí)數(shù)據(jù)中的特征,并學(xué)會(huì)怎樣提取特征.卷積神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用于分類(lèi)識(shí)別研究,其中一維卷積神經(jīng)網(wǎng)絡(luò)對(duì)于時(shí)間序列、電信號(hào)以及音頻信號(hào)等領(lǐng)域的分析有著出色的表現(xiàn),鑒于此將一維卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于天體光譜分類(lèi)的研究.

2.1 一維卷積運(yùn)算

卷積是表征函數(shù)f(x)或g(x)先進(jìn)行翻轉(zhuǎn),另一個(gè)表征函數(shù)進(jìn)行平移,它們重合部分函數(shù)值乘積對(duì)重合區(qū)間長(zhǎng)度的積分,即“循環(huán)乘積與加和”一維卷積的數(shù)學(xué)定義公式如下：

(1)

圖1 一維卷積運(yùn)算過(guò)程

2.2 一維卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)一般結(jié)構(gòu)包括：

1) 輸入層:通常一維卷積神經(jīng)網(wǎng)絡(luò)處理的數(shù)組類(lèi)型是一維或二維的,在原始數(shù)據(jù)進(jìn)入輸入層之前會(huì)對(duì)其進(jìn)行歸一化處理;

2) 卷積層:提取輸入數(shù)據(jù)的局部特征,提取到的特征進(jìn)入池化層繼續(xù)篩選和過(guò)濾;

3) 池化層:首要的作用是降采樣,過(guò)濾掉對(duì)分類(lèi)識(shí)別影響不大的特征,將數(shù)據(jù)壓縮,完成特征的降維處理,可實(shí)現(xiàn)參數(shù)數(shù)量的減少,提升網(wǎng)絡(luò)模型的計(jì)算速度,同時(shí)提高模型的容錯(cuò)性,最終獲得更有代表性的特征;

4) 全連接層:輸入數(shù)據(jù)經(jīng)過(guò)卷積層,池化層的處理,得到極具代表性的抽象化特征,由全連接層整合起來(lái);

5) 輸出層:給出模型的預(yù)測(cè)結(jié)果,此次分類(lèi)任務(wù)完成.

圖2 卷積神經(jīng)網(wǎng)絡(luò)一般結(jié)構(gòu)

圖3 卷積神經(jīng)網(wǎng)絡(luò)分類(lèi)簡(jiǎn)圖

3 數(shù)據(jù)預(yù)處理及實(shí)驗(yàn)設(shè)計(jì)

3.1 數(shù)據(jù)的預(yù)處理

由于F、G、K 型恒星光譜由于溫度相近、譜線相似導(dǎo)致分類(lèi)準(zhǔn)確率較低,所以文中選取 LAMOST DR5 中的F、G、K 型恒星光譜各 10 000 條,共 30 000 條,采用一維卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)其進(jìn)行分類(lèi),以提升這三類(lèi)恒星光譜的分類(lèi)精確率,其中訓(xùn)練數(shù)據(jù)集為 27 000 條, 測(cè)試數(shù)據(jù)集為 3 000 條,每條光譜數(shù)據(jù)的波長(zhǎng)范圍是370～910 nm.

為了后續(xù)實(shí)驗(yàn)方便,將用于實(shí)驗(yàn)的光譜數(shù)據(jù)調(diào)整為相同的維度,3 909 維.其次光譜原始數(shù)據(jù)在波長(zhǎng)不同時(shí)流量會(huì)有很大的差異,對(duì)數(shù)據(jù)進(jìn)行了歸一化處理,使流量值處于同一數(shù)量級(jí),這個(gè)操作可加快網(wǎng)絡(luò)模型的收斂性,有利于數(shù)據(jù)分析.

圖4 原始F5型、G5型、K5型光譜數(shù)據(jù)

圖5 歸一化后的F5型、G5型、K5型光譜數(shù)據(jù)

文中使用min-max歸一化, 對(duì)原數(shù)據(jù)進(jìn)行了等比例縮放, 公式如下：

(2)

其中xnorm表示歸一化后的數(shù)據(jù)，x為原始的光譜數(shù)據(jù),xmax表示每條原始光譜數(shù)據(jù)的最大流量值,xmin表示每條原始光譜數(shù)據(jù)的最小流量.

3.2 實(shí)驗(yàn)設(shè)計(jì)

文中的一維卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)包括1個(gè)輸入層,7個(gè)卷積層和池化層,1個(gè)Dropout層,2個(gè)Dense層,1個(gè)輸出層.其中卷積的步長(zhǎng)設(shè)置為1,每層濾波器的大小都設(shè)置為3,濾波器的個(gè)數(shù)每層依次遞增10，即第1層卷積濾波器的個(gè)數(shù)為10,到第7層濾波器的個(gè)數(shù)為70, 本實(shí)驗(yàn)在每一層卷積層的后面都添加了池化層,采用的是最大池化,窗口為 1×2, 網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示.

圖6 一維卷積網(wǎng)絡(luò)結(jié)構(gòu)

為解決深層神經(jīng)網(wǎng)絡(luò)的梯度爆炸和梯度消失問(wèn)題,減少輸出的復(fù)雜度和防止數(shù)據(jù)的過(guò)擬合,在卷積之后使用修正線性單元ReLU函數(shù),其函數(shù)如下：

ReLU(x)=max(0,x)

(3)

其中x為神經(jīng)元的輸入,當(dāng)x>0時(shí),梯度為1,解決了梯度消失的問(wèn)題,加快收斂速度的同時(shí)增大了網(wǎng)絡(luò)的魯棒性;當(dāng)x<0 時(shí),該層的輸出為0,當(dāng)訓(xùn)練結(jié)束時(shí)真正對(duì)分類(lèi)效果有影響的神經(jīng)元越少網(wǎng)絡(luò)的稀疏性越大,提取到的特征對(duì)于分類(lèi)效果的影響就越強(qiáng),優(yōu)化了計(jì)算的過(guò)程使得網(wǎng)絡(luò)模型的計(jì)算代價(jià)大大降低.

本實(shí)驗(yàn)在全連接層中加入了Dropout層,目的是防止出現(xiàn)過(guò)擬合,減少計(jì)算時(shí)間.交叉驗(yàn)證表明,Dropout率為0.5的時(shí)候,能隨機(jī)生成最多的網(wǎng)絡(luò)結(jié)構(gòu),網(wǎng)絡(luò)模型效果最佳[12].

圖7 標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)、應(yīng)用Dropout層后的神經(jīng)網(wǎng)絡(luò)

按照Dropout率隨機(jī)令一定比例的神經(jīng)元暫時(shí)等于零,這樣能實(shí)現(xiàn)神經(jīng)元的總個(gè)數(shù)不會(huì)減少的同時(shí),增加網(wǎng)絡(luò)的魯棒性.參數(shù)被傳遞到下一次迭代中,進(jìn)行新一輪的隨機(jī)丟棄,一直到訓(xùn)練完成為止.

4 實(shí)驗(yàn)結(jié)果與分析

將 3 000 條測(cè)試數(shù)據(jù),用于訓(xùn)練好的一維卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行測(cè)試,得到F型、G型、K型光譜在測(cè)試集上的混淆矩陣.可以看出在對(duì)F型光譜進(jìn)行分類(lèi)預(yù)測(cè)時(shí),有5條被分類(lèi)為G型光譜,有一條被分類(lèi)為K型光譜; 在對(duì)G型光譜進(jìn)行分類(lèi)預(yù)測(cè)時(shí),有10條被分類(lèi)為F型光譜,有2條被分類(lèi)為K型光譜; 在對(duì)K型光譜進(jìn)行分類(lèi)預(yù)測(cè)時(shí),沒(méi)有光譜被分類(lèi)為F型光譜,有35條被分類(lèi)為G型光譜.在這3類(lèi)恒星光譜中F型光譜和G型光譜相似性更高,混淆矩陣如表1：

表1 混淆矩陣

根據(jù)混淆矩陣可得到F型、G型、K型光譜的分類(lèi)精確率、準(zhǔn)確率、召回率以及F1分?jǐn)?shù),如表2所示：

表2 各類(lèi)分類(lèi)效果及平均分類(lèi)效果

由表2可以看出一維卷積神經(jīng)網(wǎng)絡(luò)對(duì)恒星光譜進(jìn)行分類(lèi)預(yù)測(cè)時(shí)有著極強(qiáng)的泛化能力和魯棒性，平均分類(lèi)精確率為 0.982 2,準(zhǔn)確率為 0.988 2,召回率為 0.982 4,F1分?jǐn)?shù)為 0.982 1.其中F型恒星光譜特征最明顯分類(lèi)效果最好,精確率、準(zhǔn)確率、召回率以及F1分?jǐn)?shù)都在0.99以上.

鑒于本文使用的數(shù)據(jù)集來(lái)源以及實(shí)驗(yàn)數(shù)據(jù)大小與文獻(xiàn)[9]～[10]相同,將本文方法所獲得的結(jié)果與DBN和Inception v3方法獲得的結(jié)果做對(duì)比,如表3所示：

表3 DBN、Inception v3與本文使用方法的對(duì)比

由表3可以看出,采用3種不同的方法對(duì)恒星光譜進(jìn)行分類(lèi)研究,本文使用的方法效果更好,花費(fèi)時(shí)間更少.表明了一維卷積神經(jīng)網(wǎng)絡(luò)對(duì)于恒星光譜分類(lèi)的泛化能力強(qiáng),分類(lèi)準(zhǔn)確率高,計(jì)算成本更小. DBN、Inception v3方法對(duì)于恒星光譜的分類(lèi)可能存在以下問(wèn)題:

1) 許婷婷等[9]利用DBN模型對(duì)光譜數(shù)據(jù)特征的分層學(xué)習(xí)具有數(shù)據(jù)降維的特點(diǎn),基于深度學(xué)習(xí)訓(xùn)練了一個(gè)深度信念網(wǎng)絡(luò)對(duì)F、G和K 3種恒星光譜進(jìn)行分類(lèi),沒(méi)有對(duì)恒星光譜進(jìn)行降維處理,直接訓(xùn)練DBN模型.但該分類(lèi)模型可能不能很好的找出數(shù)據(jù)的聯(lián)合概率分布, 未能獲取潛藏在數(shù)據(jù)中的高層信息導(dǎo)致分類(lèi)精度不高,且該模型的時(shí)間復(fù)雜度明顯增加.

2) 張靜敏等[10]采用短時(shí)傅里葉變換將1維光譜數(shù)據(jù)變換成2維傅里葉譜圖像,再利用Inception v3網(wǎng)絡(luò)模型對(duì)得到的2維傅里葉譜圖像進(jìn)行分類(lèi).但將1維光譜數(shù)據(jù)變換成2維傅里葉譜圖像的過(guò)程中可能造成原始光譜特征信息的丟失;其次新生成的2維傅里葉譜圖像特征分布并不明顯,深度卷積網(wǎng)絡(luò)模型可能不能很好的對(duì)新生成的圖像進(jìn)行分類(lèi);最后將1維光譜數(shù)據(jù)變換成2維傅里葉譜圖像,導(dǎo)致分類(lèi)模型的時(shí)間復(fù)雜度也明顯增加.

本文鑒于一維卷積神經(jīng)網(wǎng)絡(luò)可以很好地分析具有固定長(zhǎng)度周期的信號(hào)數(shù)據(jù),將其應(yīng)用于F5、G5、K5型恒星光譜的分類(lèi)研究,通過(guò)實(shí)驗(yàn)可以看出:

1) 一維卷積神經(jīng)網(wǎng)絡(luò)有很強(qiáng)的泛化能力以及魯棒性,能有效應(yīng)用于恒星光譜的分類(lèi)研究中;

2) 一維卷積神經(jīng)網(wǎng)絡(luò)用于恒星光譜的分類(lèi)研究能有效降低計(jì)算代價(jià);

3) 直接對(duì)光譜數(shù)據(jù)進(jìn)行一維卷積處理,有效降低了將光譜數(shù)據(jù)進(jìn)行變換處理,再應(yīng)用于傳統(tǒng)二維卷積神經(jīng)網(wǎng)絡(luò)的特征損失,進(jìn)而提高分類(lèi)準(zhǔn)確率.

5 結(jié)語(yǔ)

為了提高F、G、K型恒星光譜的分類(lèi)可信度,本文將一維卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于這3種恒星光譜的分類(lèi)識(shí)別研究中,平均精確率達(dá)到 0.982 2,平均準(zhǔn)確率達(dá)到 0.988 2,平均召回率達(dá)到 0.982 4,平均F1分?jǐn)?shù)達(dá)到 0.982 1,相對(duì)于其他的方法有了較大的提升.表明了一維卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)于恒星光譜數(shù)據(jù)分類(lèi)具有很強(qiáng)的泛化能力.將本文方法與DBN以及Inception v3方法的實(shí)驗(yàn)結(jié)果對(duì)比發(fā)現(xiàn)一維卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)恒星光譜分類(lèi)的效果更好.但用于實(shí)驗(yàn)的數(shù)據(jù)量較少,在接下來(lái)的工作中,會(huì)選取更多的光譜數(shù)據(jù)來(lái)進(jìn)行實(shí)驗(yàn),與本文實(shí)驗(yàn)以及其他方法進(jìn)行對(duì)比分析,希望進(jìn)一步提高F、G、K型恒星光譜的分類(lèi)可信度.并且也會(huì)繼續(xù)將一維卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于分類(lèi)精度較低的光譜，以驗(yàn)證一維卷積神經(jīng)網(wǎng)絡(luò)對(duì)于低精度恒星光譜分類(lèi)的有效性,為人類(lèi)探索宇宙的奧秘盡一份綿薄之力.