基于深度架構(gòu)網(wǎng)絡(luò)的矮新星自動分類研究

趙永健， 郭 瑞， 王璐瑤， 姜 斌

山東大學(xué)(威海)機(jī)電與信息工程學(xué)院, 山東 威海 264209

引 言

矮新星(dwarf nova， DN)是激變變星一個亞型， 是由來自伴星(K型或M型矮星)物質(zhì)吸積的吸積盤和弱磁(≤10 T)白矮星構(gòu)成的雙星系統(tǒng)[1-2]。 矮新星是一類爆發(fā)相對頻繁的半相接雙星， 兩星間具有多種物質(zhì)交流和角動量轉(zhuǎn)移過程即吸積過程[3]。 通過矮新星可以進(jìn)一步理解密近雙星的演化過程， 有助于深入研究物質(zhì)轉(zhuǎn)移理論， 進(jìn)而幫助人們研究X射線雙星、 黑洞和活動星系核。 具有距離近和軌道周期短優(yōu)勢的矮新星是各類天體中研究吸積過程和引力波問題的最理想標(biāo)的， 已成為現(xiàn)階段檢驗和發(fā)展吸積盤理論的最常用證據(jù)[3-4]。

目前已經(jīng)證認(rèn)的矮新星數(shù)量稀少， 這對該類天體的研究形成了很大制約。 國家大科學(xué)工程郭守敬望遠(yuǎn)鏡(LAMOST)[4]的巡天已經(jīng)產(chǎn)生了海量的光譜數(shù)據(jù)， 這為發(fā)現(xiàn)更多的矮新星提供了數(shù)據(jù)源， 同時也提出了高效、 準(zhǔn)確地從海量光譜中搜索矮新星的需求。 LAMOST光譜中矮新星樣例如圖1所示。

深度學(xué)習(xí)(deep learning)在計算機(jī)視覺、 模式識別和機(jī)器翻譯等領(lǐng)域取得的突破性進(jìn)展是推動本研究的重要因素[5-10]。 Daniel[5]首次用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network， CNN)對天體光譜進(jìn)行高維特征表述， 通過相對松弛的光譜類別先驗分布實現(xiàn)了不同天體(quasar, star, galaxy)光譜的粗分類。 然而作為一種淺層網(wǎng)絡(luò)， CNN欠缺對數(shù)據(jù)特征的抽象學(xué)習(xí)能力， 容易陷入維度災(zāi)難。 Bengio[6]以判別學(xué)習(xí)的方式從大量混合光譜中擬合出具有穩(wěn)定分布的卷積核， 基于寬度準(zhǔn)則和K-means算法確定神經(jīng)網(wǎng)絡(luò)的超參數(shù)， 實現(xiàn)了若干發(fā)射線與吸收線光譜的分類。 該方法旨在發(fā)現(xiàn)并提取光譜的底層特征， 往往會導(dǎo)致嚴(yán)重的數(shù)據(jù)過擬合， 模型欠缺泛化能力。 Bazarghan[8]在局部線性嵌入算法(locally linear embedding， LLE)的基礎(chǔ)上針對JHC光譜庫引入自組織映射網(wǎng)絡(luò)(self-organizing map， SOM)對光譜聚類， 發(fā)現(xiàn)了由LLE生成的特征子空間與光譜溫度之間的關(guān)系， 為進(jìn)一步減少特殊天體的分類誤差提供了有效先驗。 SOM模型需要事先獲取精確的先驗信息， 對于低信噪比光譜僅能達(dá)到45%的分類準(zhǔn)確率。

圖1 LAMOST矮新星光譜

自編碼器[1, 5](auto-encoder， AE)是僅包含一個隱層的經(jīng)典神經(jīng)網(wǎng)絡(luò)模型， 能夠自動挖掘樣本數(shù)據(jù)的低層次特征。 然而一層AE編碼能力有限， 數(shù)據(jù)表征學(xué)習(xí)能力不足。 具有多層次分布式架構(gòu)的網(wǎng)絡(luò)可彌補淺層模型在數(shù)據(jù)表征學(xué)習(xí)方面的欠缺， 對混亂無序的海量原始數(shù)據(jù)進(jìn)行抽象， 挖掘隱藏在數(shù)據(jù)內(nèi)部具有區(qū)分度的潛在特征[10]。 本文結(jié)合AE算法在參數(shù)估計上的計算優(yōu)勢， 以AE為基礎(chǔ)構(gòu)建了基于多層感知器架構(gòu)的深度前饋堆棧式自編碼器網(wǎng)絡(luò)， 其深度分布式結(jié)構(gòu)能夠提供有效的數(shù)據(jù)抽象和表征學(xué)習(xí)能力， 特征檢測層可從無標(biāo)注數(shù)據(jù)中隱式地學(xué)習(xí)到其深度結(jié)構(gòu)特征， 有效刻畫光譜數(shù)據(jù)的非線性和隨機(jī)波動性， 體現(xiàn)出較強的數(shù)據(jù)擬合和泛化能力。 網(wǎng)絡(luò)不同層之間的權(quán)值共享(shared weights)可減少冗余信息的干擾， 有效化解傳統(tǒng)多層次架構(gòu)網(wǎng)絡(luò)易陷入權(quán)值局部最小化的風(fēng)險。

1 構(gòu)建深度架構(gòu)網(wǎng)絡(luò)

在針對矮新星光譜的實驗中我們發(fā)現(xiàn)： 模塊化拓寬神經(jīng)網(wǎng)絡(luò)的深度能夠驅(qū)使網(wǎng)絡(luò)繼承地學(xué)習(xí)到天體光譜的特征， 通過對底層特征的逐漸抽象學(xué)習(xí)獲得高層特征， 進(jìn)而提高光譜的分類準(zhǔn)確率。 針對這一特點， 我們構(gòu)建了如圖2所示的深度架構(gòu)網(wǎng)絡(luò)(deep architecture network， DAN)。

圖2 深度架構(gòu)網(wǎng)絡(luò)結(jié)構(gòu)

由L個非線性計算單元[AE(1)—AE(L)]堆疊而成的DAN網(wǎng)絡(luò)實質(zhì)上是由輸入層I和L個隱層H(1),H(2), …,H(L)及輸出層構(gòu)成的堆棧式深度前饋網(wǎng)絡(luò)， 其神經(jīng)元可以響應(yīng)周圍單元。 預(yù)處理后的光譜數(shù)據(jù)先由輸入層I進(jìn)入DAN網(wǎng)絡(luò)， 再經(jīng)L個隱層H(1),H(2), …,H(L)實現(xiàn)逐層的數(shù)據(jù)抽象和特征抽取。 為防止數(shù)據(jù)冗余和網(wǎng)絡(luò)權(quán)植陷入局部最小化， 把網(wǎng)絡(luò)前一層學(xué)習(xí)到的穩(wěn)定特征作為后一層的輸入以實現(xiàn)權(quán)值共享。 經(jīng)充分學(xué)習(xí)后得到數(shù)據(jù)合適的特征表示即H(L)， 最后由隱層H(L)作為重構(gòu)輸出層搭建支持向量機(jī)(support vector machine， SVM)分類器， 完成對矮新星的特征提取與分類。

(1)

其中，

(2)

(3)

(4)

深度架構(gòu)網(wǎng)絡(luò)涉及諸多參數(shù)， 訓(xùn)練樣本的抽樣有偏或訓(xùn)練過度都會使網(wǎng)絡(luò)發(fā)生過擬合現(xiàn)象[7]。 設(shè)計dropout準(zhǔn)則防止過擬合： 訓(xùn)練網(wǎng)絡(luò)時按一定比例(該比例稱為dropout系數(shù))隨機(jī)使某些隱層單元失效并保持其權(quán)值不變， 使這些單元不再參與該次網(wǎng)絡(luò)傳播過程， 下一次迭代時先激活所有單元再按dropout系數(shù)重新隨機(jī)舍棄部分單元(與上一次選擇的單元大概率不相同)。 利用均值網(wǎng)絡(luò)思想[7-8]使網(wǎng)絡(luò)隱層單元輸出按照dropout系數(shù)衰減， 并由反向傳播算法微調(diào)整個網(wǎng)絡(luò)， 使一個隱層單元不能與其他單元完全協(xié)同合作(因不能確定其他單元是否被激活)， 減少因隱層神經(jīng)元間的相互適應(yīng)而學(xué)習(xí)到重復(fù)的數(shù)據(jù)表征， 提高網(wǎng)絡(luò)的泛化能力。

2 實驗與結(jié)果分析

自LAMOST光譜庫中選取不同信噪比的矮新星及其若干候選體的光譜共計213條和由隨機(jī)篩選獲得的負(fù)樣例光譜8 000條， 波長統(tǒng)一為3 800～7 322 ?， 信噪比為5～20。

設(shè)計特征學(xué)習(xí)算法的目的是抽象出能解釋觀測數(shù)據(jù)的變化因素(factors of variation)。 DAN是由多層非線性運算單元AE堆疊而成的堆棧式網(wǎng)絡(luò)。 為了保持原始數(shù)據(jù)潛在信息的完整性和一致性， 對每一條原始光譜通過式(5)歸一化

(5)

其中si表示波長為i的光譜流量； mean(·)為均值算子；δ(si)為標(biāo)準(zhǔn)差算子。

深度架構(gòu)網(wǎng)絡(luò)中超參數(shù)的設(shè)定會嚴(yán)重影響所構(gòu)建網(wǎng)絡(luò)的性能。 本文實驗基于網(wǎng)格搜尋法[5]選取DAN網(wǎng)絡(luò)的超參數(shù)： 稀疏性參數(shù)η為0.05， 正則項因子λ為3×10-3， 稀疏因子β為3， Dropout系數(shù)為0.15。 核函數(shù)選擇徑向基函數(shù)(radial basis function， RBF)。 實驗表明RBF在海量光譜中的分類效果最佳(核參數(shù)σ為0.01， 懲罰參數(shù)ξ為80)。

隱層神經(jīng)元數(shù)量過少會使所構(gòu)建的網(wǎng)絡(luò)欠缺數(shù)據(jù)表征力， 反之又易發(fā)生數(shù)據(jù)過擬合。 光譜數(shù)據(jù)是高維非線性的。 實驗中將隱層層數(shù)分別設(shè)置為{1， 2， 3， 4， 5， 6}， 隱層神經(jīng)元數(shù)目依次取自序列{30， 60， 90， 120， 150， 180}， 連接SVM分類器對預(yù)處理后的天體光譜進(jìn)行分類， 各重復(fù)實驗50次。 矮新星光譜分類準(zhǔn)確率與DAN網(wǎng)絡(luò)隱層神經(jīng)元數(shù)量之間的關(guān)系如圖3所示(4個隱層)。 矩形盒中的橫線表示該次分類準(zhǔn)確率的平均值， 盒子上下邊緣表示該次分類準(zhǔn)確率的標(biāo)準(zhǔn)差， 兩端盒須分別表示該次分類準(zhǔn)確率的極小值與極大值。 訓(xùn)練時間與DAN網(wǎng)絡(luò)隱層神經(jīng)元數(shù)量之間的關(guān)系如圖4所示(4個隱層)。 圓點表示該次網(wǎng)絡(luò)訓(xùn)練時間的平均值， 豎線表示該次網(wǎng)絡(luò)訓(xùn)練時間的總體范圍。 實驗表明， 增加隱層或隱層神經(jīng)元數(shù)量可在一定程度上改善所構(gòu)建網(wǎng)絡(luò)的性能， 但同時網(wǎng)絡(luò)的訓(xùn)練成本也會急劇增長。 當(dāng)分類錯誤率不再快速下降時， 就應(yīng)尋求其他的網(wǎng)絡(luò)性能改良方法。 隱層神經(jīng)元數(shù)目為120(4個隱層)時， 矮新星光譜能達(dá)到最佳分類準(zhǔn)確率95.81%， 訓(xùn)練時間～4 min。

圖3 隱層神經(jīng)元數(shù)量對DAN網(wǎng)絡(luò)分類精度的影響

圖4 隱層神經(jīng)元數(shù)量對DAN網(wǎng)絡(luò)訓(xùn)練時間的影響

為驗證DAN網(wǎng)絡(luò)的性能， 實驗選取了基于LM-BP[5-6]的普通三層神經(jīng)網(wǎng)絡(luò)做進(jìn)一步的比較分析。 表1給出了LM-BP和DAN的矮新星分類性能比較。 LM-BP的隱層神經(jīng)元個數(shù)根據(jù)式(6)得出

(6)

其中i和o分別表示LM-BP網(wǎng)絡(luò)輸入端及輸出端神經(jīng)元數(shù)目，N為1～10間的隨機(jī)數(shù)。

實驗表明， 對于經(jīng)典的LM-BP網(wǎng)絡(luò)， 隱層神經(jīng)元數(shù)目過少易發(fā)生數(shù)據(jù)欠擬合， 過多又會降低網(wǎng)絡(luò)的泛化能力， 導(dǎo)致網(wǎng)絡(luò)訓(xùn)練時間急劇增加。 當(dāng)取值15時， 三層LM-BP網(wǎng)絡(luò)展現(xiàn)出較好的特征選擇和數(shù)據(jù)擬合能力， 分類準(zhǔn)確率達(dá)到86.36%。

表1 LM-BP和DAN分類性能比較

逐層訓(xùn)練后的DAN網(wǎng)絡(luò)， 其參數(shù)只是局部而非全局最優(yōu)， 導(dǎo)致網(wǎng)絡(luò)反向傳播前的分類準(zhǔn)確率僅達(dá)67.98%。 從輸出層開始的反向傳播通過誤差逐層稀釋使誤差校正信息愈來愈弱， 反映出反向傳播對堆棧式深度網(wǎng)絡(luò)性能優(yōu)化的重要性。 經(jīng)過反向傳播， DAN的分類精度達(dá)到95.81%， 體現(xiàn)出深度模型逐層學(xué)習(xí)和反向迭代策略的優(yōu)越性。 實際上， 易陷入局部最優(yōu)的普通BP網(wǎng)絡(luò)欠缺對天體光譜隨機(jī)性和非線性的特征表達(dá)能力， 無法有效地訓(xùn)練多層次架構(gòu)， 受限于隱層神經(jīng)元數(shù)量難以實現(xiàn)對天體光譜理想的表征學(xué)習(xí)。 DAN網(wǎng)絡(luò)的計算成本略高于LM-BP。 實驗表明， DAO的訓(xùn)練時間主要消耗于反向傳播階段。 若預(yù)選的網(wǎng)絡(luò)參數(shù)足夠合理， 輸出誤差代價函數(shù)值會隨著權(quán)值及梯度的調(diào)整大幅度縮減， 進(jìn)而算法快速收斂， 訓(xùn)練時間大大降低。

3 結(jié) 論

在海量光譜中搜索未證認(rèn)的矮新星， 可以擴(kuò)展矮新星的實測光譜庫， 為矮新星的進(jìn)一步研究提供數(shù)據(jù)支持。 本文將多個AE堆疊在一起構(gòu)成分布式深度架構(gòu)網(wǎng)絡(luò)DAN， 用于處理海量的天體光譜數(shù)據(jù)集， 通過無監(jiān)督學(xué)習(xí)挖掘出隱藏在光譜內(nèi)部的數(shù)據(jù)表征， 以實現(xiàn)對矮新星光譜的準(zhǔn)確分類。 具有深度堆棧式架構(gòu)的DAN網(wǎng)絡(luò)包含多層非線性運算單元， 既可構(gòu)建海量光譜數(shù)據(jù)的深層特征表達(dá)， 又能避免節(jié)點數(shù)目呈指數(shù)級增長， 可以實現(xiàn)對天體光譜數(shù)據(jù)表征的充分學(xué)習(xí)。 實驗及與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)LM-BP的對比說明了DAN網(wǎng)絡(luò)的擬合精度與泛化能力。