兩種監(jiān)督機(jī)器學(xué)習(xí)算法在Fermi BCU分類評(píng)估中的應(yīng)用*

朱柯睿, 周瑞鑫, 康世舉, 毛慰明

(1.云南師范大學(xué) 物理與電子信息學(xué)院,云南 昆明650092；2.六盤水師范學(xué)院 電氣工程學(xué)院,貴州 六盤水 553004)

費(fèi)米大面積望遠(yuǎn)鏡(Fermi LAT)于2008年發(fā)射后長(zhǎng)期用于高能伽馬射線波段的觀測(cè).根據(jù)2008年到2016年在50 MeV到1 TeV能段的觀測(cè)數(shù)據(jù)，F(xiàn)ermi團(tuán)隊(duì)最近發(fā)布Fermi-LAT第四期源目錄(4FGL)，有5 065個(gè)伽馬射線源，其中3 131個(gè)為耀變體[4],包括1 116個(gè)蝎虎天體、686個(gè)平譜射電類星體和1 329個(gè)未知類型的耀變體.4FGL同時(shí)給出了很多直接觀測(cè)數(shù)據(jù)，例如七個(gè)不同波段的流量增加冪律和對(duì)數(shù)拋物線型譜參數(shù)等.與3FGL[5]中被證認(rèn)的1 420個(gè)耀變體中有402個(gè)BCUs相比，4FGL樣本量大大增加了，同時(shí)未確定樣本也更多了.對(duì)BCU的類型證認(rèn)是一項(xiàng)有意義的工作，但是由于天文觀測(cè)的局限性，從觀測(cè)上直接證認(rèn)存在很多困難.

近年來(lái)，天文學(xué)數(shù)據(jù)急劇膨脹，復(fù)雜性快速上升，常規(guī)的統(tǒng)計(jì)方法在數(shù)據(jù)挖掘和分析領(lǐng)域存在困難.機(jī)器學(xué)習(xí)作為一種新的數(shù)據(jù)分析處理手段，主要分為監(jiān)督機(jī)器學(xué)習(xí)(SML)和非監(jiān)督機(jī)器學(xué)習(xí)(USML)，在分類、回歸、模型構(gòu)建領(lǐng)域有較好運(yùn)用[6].監(jiān)督機(jī)器學(xué)習(xí)中，有邏輯回歸、貝葉斯網(wǎng)絡(luò)、決策樹(shù)、隨機(jī)森林、支持向量機(jī)、人工神經(jīng)網(wǎng)絡(luò)和高斯有限混合模型等大量算法可供選擇.在天文學(xué)領(lǐng)域中，SML分類算法被廣泛應(yīng)用，例如Doert等人將隨機(jī)森林和神經(jīng)網(wǎng)絡(luò)用于在2FGL無(wú)相關(guān)源中尋找AGN候選體[7],Saz Parkinson P M等人將隨機(jī)森林和邏輯回歸用于3FGL未證認(rèn)樣本的分類[8]等.本文選用監(jiān)督機(jī)器學(xué)習(xí)領(lǐng)域的高斯混合有限模型(Mclust)和邏輯回歸(LR)算法，對(duì)4FGL中1 329個(gè)Fermi BCUs樣本的分類進(jìn)行評(píng)估.

1 監(jiān)督機(jī)器學(xué)習(xí)分類方法

在監(jiān)督機(jī)器學(xué)習(xí)領(lǐng)域，數(shù)據(jù)集包含對(duì)象及其特征參量和目標(biāo)參量.特征參量一般是指可測(cè)量且可用來(lái)衡量對(duì)象特性的參量，而目標(biāo)參量主要指類型 (在分類算法中，也被稱為標(biāo)簽)[6].本文中，對(duì)象為4FGL中的耀變體源及其參量；而特征參量為源的各種觀測(cè)量，如譜特征、流量等；目標(biāo)參量為其分類，如FSRQ和BL Lac.為了實(shí)現(xiàn)分類的目標(biāo)，數(shù)據(jù)集中的已知標(biāo)簽的樣本將進(jìn)一步劃分為訓(xùn)練集和測(cè)試集.訓(xùn)練集將被用來(lái)訓(xùn)練算法模型以確定分類評(píng)判標(biāo)準(zhǔn)，而測(cè)試集將被用來(lái)測(cè)試算法模型的準(zhǔn)確率和穩(wěn)定性.將未知樣本的特征參量代入模型中，即可獲得其分類.

為了在算法上實(shí)現(xiàn)分類，將在R語(yǔ)言的環(huán)境下工作.高斯有限混合模型(Mclust)是R語(yǔ)言提供的一種基于高斯混合模型的聚類算法的程序庫(kù)，常用于密度估計(jì)或判別分析.而邏輯回歸(LR)又稱logistic回歸分析，是使用廣義的線性回歸模型來(lái)進(jìn)行二元變量分類的一種算法，在數(shù)據(jù)挖掘、分類判別領(lǐng)域有較好的運(yùn)用.

2 樣本選取

根據(jù)費(fèi)米第四期源目錄，樣本選取了1 116個(gè)蝎虎天體(標(biāo)簽為“bll”)、686個(gè)平譜射電類星體(標(biāo)簽為“fsrq”)和1 329個(gè)未確定類別耀變體.在4FGL目錄給出的觀測(cè)參量中，除去坐標(biāo)、誤差、歷史數(shù)據(jù)、字符串、缺失數(shù)據(jù)等無(wú)效數(shù)據(jù)外，共有28個(gè)參量.為了評(píng)估各個(gè)參量在BL Lac和FSRQ兩類樣本中的分布差異，采用雙樣本檢驗(yàn)中的K-S檢驗(yàn)(Kolmogorov-Smirnov test，用以評(píng)價(jià)兩類樣本的分布是否存在顯著性差異的手段，方法等更多細(xì)節(jié)可見(jiàn)文獻(xiàn)[9]),根據(jù)K-S檢驗(yàn)結(jié)果，按照D≥0.5參數(shù)選擇標(biāo)準(zhǔn)，選擇了8個(gè)參數(shù)(見(jiàn)表1)作為數(shù)據(jù)集的特征參量選用.表1中，第一列是測(cè)試參數(shù)名稱；第二列是K-S 檢驗(yàn)中的統(tǒng)計(jì)值D；第三列是各參數(shù)在K-S檢驗(yàn)中在兩類樣本遵從同一分布的概率p.

表1 被選用參數(shù)K-S檢驗(yàn)的結(jié)果

3 結(jié) 果

在訓(xùn)練集和測(cè)試集劃分時(shí)，為了保證結(jié)果的唯一性和可重復(fù)性，在數(shù)據(jù)集隨機(jī)分類時(shí)給定了確定的隨機(jī)因子(123)，以保證樣本劃分的穩(wěn)定性，進(jìn)而保證分類結(jié)果的穩(wěn)定性.1 116個(gè)BL Lacs和686個(gè)FSRQs將按7∶3的比例隨機(jī)地(隨機(jī)因子為123)分為訓(xùn)練集和測(cè)試集，1 329個(gè)BCU將作為預(yù)測(cè)集，選定的8個(gè)參數(shù)將作為特征參量.實(shí)現(xiàn)高斯混合有限模型調(diào)用“mclust”函數(shù)庫(kù)，模型構(gòu)建類型為“mclustDA”(算法更多細(xì)節(jié)見(jiàn)文獻(xiàn)[10]).“glm”是R提供關(guān)于線性回歸模型的函數(shù)庫(kù)，將回歸函數(shù)模式為“l(fā)ogit”即可實(shí)現(xiàn)邏輯回歸分類，本文選用的分類閾值為0.5(算法更多細(xì)節(jié)見(jiàn)文獻(xiàn)[11]).根據(jù)輸入的數(shù)據(jù)集，分類器算法分別給出了1 329個(gè)Fermi BCU樣本的分類 (篇幅受限，論文僅給出部分源可能的分類結(jié)果，如有需要，請(qǐng)與作者聯(lián)系)，部分分類結(jié)果見(jiàn)表2.表2中，第一列是4FGL的源名稱；第二列是源的別稱；第三列是源在4FGL中的分類；第四、五列分別是兩種分類算法給出的分類結(jié)果.

表2 部分BCU的分類結(jié)果

圖1為測(cè)試結(jié)果的誤差分布圖,其中左圖為Mclust測(cè)試結(jié)果，右圖為L(zhǎng)R測(cè)試結(jié)果(縱坐標(biāo)為真值，橫坐標(biāo)為預(yù)測(cè)值，真值與預(yù)測(cè)值不同即為誤判情況).根據(jù)測(cè)試結(jié)果，Mlcust算法的總體準(zhǔn)確率達(dá)到85.95%，對(duì)于BL Lac和FSRQ的準(zhǔn)確率分別為88.63%和81.31%;Mclust給出BL Lac型候選體810個(gè)，F(xiàn)SRQ型候選體519個(gè)(見(jiàn)表3);而LR分類器的總體準(zhǔn)確率達(dá)到89.46%，對(duì)于BL Lac和FSRQ的準(zhǔn)確率分別為92.31%和84.72%；LR共給出BL Lac型候選體819個(gè)，F(xiàn)SRQ候選體510個(gè)，詳細(xì)結(jié)果列在表3中.表3中，第一列是分類算法名稱；第二、三列分別是給出BL Lac和FSRQ候選體個(gè)數(shù)；第四、五、六列分別是針對(duì)BL Lac、FSRQ和整體樣本的準(zhǔn)確率.

圖1 誤差分布

表3 分類結(jié)果及算法模型準(zhǔn)確率

為了更直觀地看出各個(gè)參數(shù)在不同耀變體類型上分布的差異，通過(guò)“plot mclustDA”函數(shù)給出了已知的兩類樣本在部分不同參數(shù)空間中的散點(diǎn)圖(圖2).圖2左圖為訓(xùn)練集散點(diǎn)圖，右圖為測(cè)試集散點(diǎn)圖，其中藍(lán)色點(diǎn)為BL Lac型樣本，紅色點(diǎn)為FSRQ型樣本.從散點(diǎn)圖中可以看出，兩類耀變體的相關(guān)參數(shù)分布不同，在耀變體序列的演化中具有明顯差異，即在分類器中，蝎虎天體和平譜射電類星體是可以區(qū)分的.

圖2 兩類樣本在部分不同參數(shù)空間中的散點(diǎn)圖

從結(jié)果可見(jiàn)，LR算法的準(zhǔn)確率略高于Mclust算法，且兩種算法給出的不同類型候選體的數(shù)目并沒(méi)有較大差異.結(jié)合兩種算法的結(jié)果，有731個(gè)樣本被兩種分類器同時(shí)認(rèn)為屬于BL Lac類型，而有432個(gè)被同時(shí)分類為FSRQ類型(詳細(xì)分類結(jié)果如有需要，可以聯(lián)系作者)，在一定程度上，可以認(rèn)為此結(jié)果具有較高的置信度.

4 討 論

從文中可以看出，BL Lac和FSRQ兩類耀變體在很多參數(shù)空間的分布都有較大的區(qū)別.例如，無(wú)論是冪律模型和對(duì)數(shù)拋物線模型還是指數(shù)截?cái)鄡缏赡Ｐ?，BL Lac顯示出了相對(duì)FSRQ較小的譜指數(shù)，這也意味著BL Lac的譜顯得較硬.此外，相對(duì)于FSRQs，BL Lacs具有更小的流量、更弱的光變以及更低的峰值頻率[12].這也間接說(shuō)明了BL Lac和FSRQ輻射產(chǎn)生的不同的物理機(jī)制[13-16].

本文所用的數(shù)據(jù)僅為4FGL提供的源及其參量，并沒(méi)有加入外部數(shù)據(jù).本文得到的結(jié)果僅為將數(shù)據(jù)集代入程序所得的結(jié)果.訓(xùn)練集和測(cè)試集劃分不同(不同的比例，不同的隨機(jī)因子)，特征參量的選取不同可能會(huì)導(dǎo)致結(jié)果的不同.因此，本文的結(jié)果僅針對(duì)本文中提出的數(shù)據(jù)和參量.

此外，對(duì)于參數(shù)的選擇，只選用了一種簡(jiǎn)單的方式給出選擇標(biāo)準(zhǔn)，并沒(méi)有對(duì)參數(shù)個(gè)數(shù)對(duì)算法準(zhǔn)確率的影響進(jìn)行深入的探討.而監(jiān)督機(jī)器學(xué)習(xí)領(lǐng)域有很多算法，本文只使用了其中的高斯混合有限模型和邏輯回歸算法，少數(shù)幾種算法的分類結(jié)果可能存在一定的局限性，如果將多種算法(例如神經(jīng)網(wǎng)絡(luò)，隨機(jī)森林，支持向量機(jī)等)同時(shí)運(yùn)用，然后對(duì)各種分類器的分類結(jié)果進(jìn)行綜合考慮，可能會(huì)得到具有更高置信度的結(jié)果.