一種層次化的太陽(yáng)黑子快速自動(dòng)識(shí)別方法

趙梓良，劉家真，胡 真，賈彥灝，王 越，李青葦，趙澤洋，劉洋毅

一種層次化的太陽(yáng)黑子快速自動(dòng)識(shí)別方法

趙梓良1，劉家真1，胡 真1，賈彥灝1，王 越1，李青葦1，趙澤洋1，劉洋毅2,3,4*

1山東大學(xué)(威海)機(jī)電與信息工程學(xué)院，山東 威海 264209；2中國(guó)科學(xué)院光電技術(shù)研究所，四川 成都 610209；3四川警察學(xué)院，四川 瀘州 646000；4中國(guó)科學(xué)院自適應(yīng)光學(xué)重點(diǎn)實(shí)驗(yàn)室，四川 成都 610209

太陽(yáng)黑子的觀測(cè)與識(shí)別是太陽(yáng)物理學(xué)的重要任務(wù)。通過(guò)對(duì)太陽(yáng)黑子的觀測(cè)與分析，太陽(yáng)物理學(xué)者可以更準(zhǔn)確地分析以及預(yù)測(cè)太陽(yáng)活動(dòng)。隨著觀測(cè)儀器的不斷進(jìn)步，太陽(yáng)全日面圖像數(shù)據(jù)量也在快速增長(zhǎng)。為了快速、準(zhǔn)確地進(jìn)行太陽(yáng)黑子的自動(dòng)識(shí)別和標(biāo)注，本文提出了一種兩層的太陽(yáng)黑子識(shí)別模型。第一層模型采用深度學(xué)習(xí)模型YOLO，并使用基于交并比的k均值算法優(yōu)化YOLO的參數(shù)，最終的YOLO模型能夠識(shí)別絕大多數(shù)較大黑子和黑子群，僅有極少數(shù)孤立的本影較小的黑子未能識(shí)別。為進(jìn)一步提高這類小黑子的識(shí)別率，第二層模型采用AGAST特征檢測(cè)算法專門識(shí)別遺漏的小黑子。在SDO/HMI太陽(yáng)黑子數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，應(yīng)用本文的層次化模型，各種形態(tài)的太陽(yáng)黑子均能被有效識(shí)別，且識(shí)別速率高，從而能夠?qū)崿F(xiàn)實(shí)時(shí)太陽(yáng)黑子檢測(cè)任務(wù)。

太陽(yáng)黑子；目標(biāo)識(shí)別；YOLO；卷積神經(jīng)網(wǎng)絡(luò)；k均值算法；AGAST

1 引 言

太陽(yáng)黑子是產(chǎn)生于太陽(yáng)表面的，容易被觀測(cè)的太陽(yáng)活動(dòng)現(xiàn)象，其所在的太陽(yáng)區(qū)域有強(qiáng)磁場(chǎng)的聚集。對(duì)太陽(yáng)黑子的觀測(cè)和分析對(duì)于人類理解和研究太陽(yáng)活動(dòng)具有重大意義，如幫助天文學(xué)者研究耀斑的爆發(fā)與黑子群的相關(guān)性[1]。隨著太陽(yáng)物理學(xué)以及觀測(cè)設(shè)備的發(fā)展[2-3]，人們對(duì)于太陽(yáng)黑子觀測(cè)產(chǎn)生的數(shù)據(jù)量呈爆發(fā)式增長(zhǎng)趨勢(shì)。然而，早期利用人工對(duì)太陽(yáng)黑子進(jìn)行識(shí)別的方法已經(jīng)無(wú)法滿足快速增長(zhǎng)的數(shù)據(jù)量帶來(lái)的數(shù)據(jù)處理性能的需求，因此，精確并高效地對(duì)太陽(yáng)黑子進(jìn)行識(shí)別已成為太陽(yáng)物理學(xué)的迫切需要。

深度學(xué)習(xí)是人工智能領(lǐng)域的一個(gè)子集，其核心模型神經(jīng)網(wǎng)絡(luò)的原理模擬了人腦思考的過(guò)程，即通過(guò)原始輸入自動(dòng)提取更為抽象的高層特征。深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)模型[4]已成功被應(yīng)用于醫(yī)學(xué)、生物學(xué)以及日常生活等多個(gè)領(lǐng)域的目標(biāo)識(shí)別[5-6]，因此其同樣適合于太陽(yáng)圖像中黑子的識(shí)別。通常來(lái)說(shuō)，深度學(xué)習(xí)算法具有較高的數(shù)據(jù)依賴性或數(shù)據(jù)驅(qū)動(dòng)性[7]，即數(shù)據(jù)量越大、數(shù)據(jù)質(zhì)量越好，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效果便越佳。

在傳統(tǒng)目標(biāo)識(shí)別算法中，用于神經(jīng)網(wǎng)絡(luò)訓(xùn)練的數(shù)據(jù)通常需要由大量正樣例和負(fù)樣例(通常包含數(shù)萬(wàn)甚至數(shù)百萬(wàn)的圖像)組成。比如，在太陽(yáng)黑子識(shí)別工作中，需要將全日面圖像中太陽(yáng)黑子區(qū)域的圖像和太陽(yáng)表面區(qū)域的圖像分別截取并形成單獨(dú)的圖像，完成網(wǎng)絡(luò)的訓(xùn)練以后，通過(guò)滑動(dòng)窗口的方式在全日面圖像上判斷每個(gè)窗口是否為太陽(yáng)黑子。換而言之，傳統(tǒng)目標(biāo)識(shí)別方法是基于圖像分類工作遍歷整個(gè)圖像，且?jiàn)A雜著大量的重復(fù)計(jì)算[8]。當(dāng)今互聯(lián)網(wǎng)上公開的太陽(yáng)黑子數(shù)據(jù)集皆為全日面圖像，并沒(méi)有單獨(dú)的且高質(zhì)量的太陽(yáng)黑子局部圖像，使用傳統(tǒng)的目標(biāo)識(shí)別算法之前還應(yīng)重視數(shù)據(jù)的采集和樣本擴(kuò)充的過(guò)程。因此，使用傳統(tǒng)目標(biāo)識(shí)別方法進(jìn)行太陽(yáng)黑子識(shí)別需要手動(dòng)采集大量的樣本，無(wú)疑耗費(fèi)了巨大的人力物力。

目前，針對(duì)太陽(yáng)黑子識(shí)別問(wèn)題，大多數(shù)工作主要采用傳統(tǒng)的圖像處理技術(shù)。Nguyen等[9]提出了采用聚類的方法對(duì)太陽(yáng)黑子進(jìn)行自動(dòng)檢測(cè)，將太陽(yáng)黑子映射到二維笛卡爾坐標(biāo)系中，再通過(guò)無(wú)監(jiān)督聚類分析標(biāo)記出太陽(yáng)黑子群，但黑子群的分割粒度較大；趙翠等[10]通過(guò)形態(tài)學(xué)頂帽變換自適應(yīng)閾值的方法識(shí)別太陽(yáng)黑子；Zharkov[11]提出了一種基于邊緣檢測(cè)算法的太陽(yáng)黑子識(shí)別方法。上述方法在數(shù)字圖像處理領(lǐng)域被廣泛采用，然而其強(qiáng)烈依賴于數(shù)據(jù)本身的特征信息，識(shí)別速度和精度都具有一定限制。

對(duì)于目前提出的利用深度學(xué)習(xí)進(jìn)行太陽(yáng)黑子檢測(cè)的方法，付小娜等[12]提出了一種利用LeNet-5卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行自動(dòng)識(shí)別的方法。其實(shí)驗(yàn)主要步驟包括：制作太陽(yáng)黑子樣本庫(kù)、訓(xùn)練全卷積神經(jīng)網(wǎng)絡(luò)模型、檢測(cè)和標(biāo)記全日面圖像中的太陽(yáng)黑子。使用該方法可以對(duì)SDO/HMI全日面太陽(yáng)圖像上各類黑子進(jìn)行識(shí)別，尤其是較弱的磁孔(0.88倍平均光球強(qiáng)度)，因此證明了基于深度學(xué)習(xí)的方法檢測(cè)太陽(yáng)黑子是可行的。然而，該工作使用的數(shù)據(jù)集規(guī)模較小，且LeNet-5[13]網(wǎng)絡(luò)結(jié)構(gòu)單一，輸入大小有限(32×32)，最初僅用于手寫體數(shù)字的識(shí)別，當(dāng)黑子圖片輸入時(shí)會(huì)被壓縮，因此其在進(jìn)行識(shí)別工作時(shí)降低了黑子圖像的分辨率，使得識(shí)別結(jié)果受到較大影響；此外，該方法需要首先進(jìn)行數(shù)據(jù)集的切割工作，使得工作量較大；更為重要的是，該方法基于傳統(tǒng)的滑動(dòng)窗口，并使用非極大值抑制算法產(chǎn)生最佳候選框，時(shí)間復(fù)雜度很高，在實(shí)際應(yīng)用中相當(dāng)耗時(shí)，因而無(wú)法完成實(shí)時(shí)檢測(cè)工作。

在以上研究背景下，本文提出了一種兩層的層次化結(jié)構(gòu)來(lái)識(shí)別各種尺度的太陽(yáng)黑子。在第一層結(jié)構(gòu)中，采用一種名為YOLO(you only look once)的深度學(xué)習(xí)模型進(jìn)行太陽(yáng)黑子的識(shí)別。該模型基于回歸(regression)的思想在圖像中選取最佳候選框，以識(shí)別速度快著稱。模型訓(xùn)練之前，僅需要框定出極少量圖片中太陽(yáng)黑子的所在位置，即可作為訓(xùn)練數(shù)據(jù)集，大大減少了數(shù)據(jù)集的準(zhǔn)備工作。在通常的目標(biāo)識(shí)別任務(wù)中，小物體的識(shí)別往往是一個(gè)難點(diǎn)。針對(duì)本影面積較小的太陽(yáng)黑子，本文采用基于交并比(intersection-over-union, IOU)的k均值聚類方法，對(duì)YOLO網(wǎng)絡(luò)中的Anchor參數(shù)進(jìn)行優(yōu)化，以提高小黑子的識(shí)別率。在經(jīng)過(guò)第一層結(jié)構(gòu)的識(shí)別后，有些較為獨(dú)立的小黑子仍然會(huì)被遺漏，因此設(shè)計(jì)了第二層結(jié)構(gòu)，結(jié)合數(shù)字圖像處理中的自適應(yīng)通用加速分割檢測(cè)(adaptive and generic accelerated segment test，AGAST)算法，專門識(shí)別YOLO檢測(cè)結(jié)果之外這類本影極小的太陽(yáng)黑子。該層次化結(jié)構(gòu)如圖1所示。

實(shí)驗(yàn)使用700張?jiān)醋許DO/HMI數(shù)據(jù)集中的連續(xù)譜強(qiáng)度圖像進(jìn)行標(biāo)注并訓(xùn)練YOLO網(wǎng)絡(luò)。最終結(jié)果表明，整個(gè)處理流程在測(cè)試數(shù)據(jù)集上取得73.41%的交并比、約98.50%的識(shí)別率和0.60%的誤識(shí)別率，并且在識(shí)別速度上遠(yuǎn)超傳統(tǒng)的太陽(yáng)黑子識(shí)別算法。本文提出的方法對(duì)太陽(yáng)黑子的自動(dòng)識(shí)別有著非常現(xiàn)實(shí)的意義，可以在一定程度上減少天文工作者的工作量，文中的方法也可以直接被應(yīng)用于其他太陽(yáng)表面活動(dòng)的識(shí)別。

2 太陽(yáng)黑子識(shí)別模型

2.1 層次化識(shí)別模型

太陽(yáng)黑子圖像是一種多粒度的數(shù)據(jù)，在太陽(yáng)全日面圖像中表現(xiàn)為不同的大小以及顏色深度。對(duì)于本影較大的黑子或黑子群，深度學(xué)習(xí)識(shí)別模型通常能夠達(dá)到較高的識(shí)別率，然而小目標(biāo)的識(shí)別通常是一個(gè)難題。對(duì)于太陽(yáng)黑子這一識(shí)別對(duì)象，其較難識(shí)別的小黑子通常指本影和半影較小的太陽(yáng)黑子，在太陽(yáng)全日面圖像中表現(xiàn)為斑點(diǎn)狀。為了實(shí)現(xiàn)大物體和小物體的識(shí)別都能達(dá)到較高的準(zhǔn)確率，且識(shí)別過(guò)程互不干擾，本文采用一種層次化的太陽(yáng)黑子識(shí)別模型。第一層模型的本質(zhì)是一個(gè)基于YOLO的深度神經(jīng)網(wǎng)絡(luò)，用于識(shí)別本影較大的黑子和黑子群這類較為明顯的目標(biāo)；第二層模型采用數(shù)字圖像處理中的AGAST算法，針對(duì)斑點(diǎn)狀的本影較小的黑子進(jìn)行專門的識(shí)別。最終匯總兩層模型的識(shí)別結(jié)果形成最終完整的識(shí)別結(jié)果。

2.2 YOLO模型基本原理

YOLO的最初版本YOLOv1的思想是使用單個(gè)神經(jīng)網(wǎng)絡(luò)集成目標(biāo)檢測(cè)的所有組件，以達(dá)到端對(duì)端的訓(xùn)練目的[14]。早期的目標(biāo)檢測(cè)方法通常是通過(guò)提取圖像的一些特征(如Haar、SIFT、HOG等)，使用形變部件模型(deformable parts model, DPM)，并用滑動(dòng)窗口的方式來(lái)預(yù)測(cè)邊界框[15]。這種算法具有相當(dāng)高的時(shí)間復(fù)雜度，卻無(wú)法達(dá)到較高的檢測(cè)精度。后來(lái)的研究中誕生了OP(object proposal)方法，其中選擇性搜索(selective search)為這類方法的典型代表[16]。相比于滑動(dòng)窗口的窮舉方式，OP方法減少了大量的計(jì)算，同時(shí)在性能上也有很大的提高。利用選擇性搜索的結(jié)果，結(jié)合卷積神經(jīng)網(wǎng)絡(luò)的R-CNN[17]出現(xiàn)后，目標(biāo)檢測(cè)的性能有了質(zhì)的飛越?；赗-CNN發(fā)展出來(lái)的SPPnet[18]、Fast R-CNN[19]、Faster R-CNN[20]等方法，證明了OP方法應(yīng)用于目標(biāo)檢測(cè)的有效性。

相比于R-CNN系列的方法，YOLO提供了另一種思路，將目標(biāo)檢測(cè)的問(wèn)題轉(zhuǎn)化成一個(gè)回歸問(wèn)題。給定輸入圖像，直接在圖像的多個(gè)位置上回歸出目標(biāo)的候選框以及其分類類別。YOLO是一個(gè)可以一次性預(yù)測(cè)多個(gè)候選框位置和類別的卷積神經(jīng)網(wǎng)絡(luò)，能夠?qū)崿F(xiàn)端到端的目標(biāo)檢測(cè)和識(shí)別，其最大的優(yōu)勢(shì)就是速度快。

YOLOv1基于GoogleNet[21]網(wǎng)絡(luò)。其首先將輸入圖片輸入大小壓縮為448 pixels×448 pixels，并將輸入圖片劃分為×個(gè)柵格，每個(gè)柵格負(fù)責(zé)檢測(cè)中心落在該柵格中的物體。每一個(gè)柵格預(yù)測(cè)個(gè)邊界框，以及這些邊界框的置信度，而置信度反映了模型對(duì)這個(gè)柵格的預(yù)測(cè)：該柵格是否含有物體，以及對(duì)應(yīng)邊界框坐標(biāo)預(yù)測(cè)的準(zhǔn)確度。

圖1 層次化的太陽(yáng)黑子識(shí)別模型示意圖

YOLOv2[22]在YOLOv1的基礎(chǔ)上做了許多性能改進(jìn)。首先，其使用Batch Normalization代替Dropout以提升模型收斂速度，提高了模型的泛化能力，減少了過(guò)擬合的可能性。其次，YOLOv2移除了YOLOv1中的全連接層而采用了卷積和Anchor來(lái)預(yù)測(cè)邊界框。為了使檢測(cè)所用的特征圖獲得更高的分辨率，YOLOv2還利用了Dimension Clustering和Fine-Grained Feature等技術(shù)。

YOLOv3[23]使用Darknet53作為特征提取網(wǎng)絡(luò)，輸出三個(gè)尺度的特征圖進(jìn)行預(yù)測(cè)。多尺度預(yù)測(cè)方式增強(qiáng)了YOLO對(duì)于不同尺寸的目標(biāo)檢測(cè)的能力。此外，YOLOv3損失函數(shù)部分修改為二值交叉熵函數(shù)，并使用邏輯回歸選擇評(píng)分最高的Anchor以減少損失函數(shù)的計(jì)算量?？偠灾?，由于YOLOv3在前兩個(gè)版本上的改進(jìn)，其工作過(guò)程變得更加可靠，產(chǎn)生的結(jié)果也更加準(zhǔn)確。因此本文采用YOLOv3為基礎(chǔ)模型進(jìn)行太陽(yáng)黑子識(shí)別的實(shí)驗(yàn)。

2.3 數(shù)據(jù)預(yù)處理

實(shí)驗(yàn)數(shù)據(jù)采用SDO/HMI[24-25]的全日面連續(xù)譜圖像。該項(xiàng)目利用NASA太陽(yáng)動(dòng)力學(xué)天文臺(tái)(solar dynamics observatory, SDO)產(chǎn)生每小時(shí)的高分辨率太陽(yáng)全日面連續(xù)譜強(qiáng)度圖、磁圖以及對(duì)比度增強(qiáng)的強(qiáng)度圖像等。圖2展示了SDO/HMI各種類型的太陽(yáng)全日面圖，本文實(shí)驗(yàn)選用連續(xù)譜強(qiáng)度圖(continuum intensity)進(jìn)行訓(xùn)練，因?yàn)槠渫ǔ１绕渌愋偷膱D像具有更高的分辨率，在卷積神經(jīng)網(wǎng)絡(luò)中能夠提取更加魯棒的特征。

SDO/HMI太陽(yáng)全日面圖像尺寸為4096 pixels×4096 pixels，而其中含有太陽(yáng)黑子的部分所占面積比例極小。若直接將太陽(yáng)全日面圖像直接輸入YOLO，網(wǎng)絡(luò)首先會(huì)對(duì)輸入的圖像進(jìn)行縮放處理，將4096的圖像縮放到448 pixels大小，黑子所占的像素?cái)?shù)目也會(huì)大大減小，原有的小黑子甚至?xí)苯酉А＿€有部分被縮放后的黑子與周圍的圖像噪聲相似度較大，易受周圍噪聲影響。經(jīng)過(guò)實(shí)驗(yàn)檢驗(yàn)，在上述原因的影響下，直接輸入原圖像進(jìn)行訓(xùn)練會(huì)導(dǎo)致訓(xùn)練發(fā)散，即損失函數(shù)無(wú)法到達(dá)全局最優(yōu)解。為了解決這一問(wèn)題，我們將4096×4096大小的圖像進(jìn)行切割，得到多張416×416大小的圖像，再對(duì)這些圖像分別進(jìn)行標(biāo)注并訓(xùn)練。訓(xùn)練階段完成后，首先將目標(biāo)4096×4096大小的全日面圖向外擴(kuò)展黑色像素形成4160×4160的圖像，再將其分割為100張416大小的子圖像，分割識(shí)別后再合為一張完整的圖像。

由于太陽(yáng)黑子存在著非常多種類的形態(tài)，如果將所有的黑子都標(biāo)注為同一類別，會(huì)影響YOLO網(wǎng)絡(luò)參數(shù)的優(yōu)化方向。例如，在生活場(chǎng)景識(shí)別中若把“人”和“自行車”標(biāo)為同種類別，將對(duì)損失函數(shù)的下降方向產(chǎn)生極大干擾。在太陽(yáng)物理領(lǐng)域，目前最常用的太陽(yáng)黑子蘇黎世分類方法是由瑞士蘇黎世天文臺(tái)瓦爾德邁爾在1938年提出的[26]。他按黑子群發(fā)展過(guò)程將其分為九個(gè)類型﹐用大寫拉丁字母A~J表示。然而，以蘇黎世分類進(jìn)行太陽(yáng)黑子的標(biāo)注存在兩點(diǎn)問(wèn)題：首先，許多觀測(cè)到的太陽(yáng)黑子的半影十分模糊，進(jìn)行蘇黎世類別的標(biāo)注是一件困難的工作，通常需要領(lǐng)域?qū)＜业慕槿耄⑶視?huì)花費(fèi)大量的時(shí)間；其次，由于太陽(yáng)黑子的周期性變化，蘇黎世分類中九個(gè)類型的太陽(yáng)黑子數(shù)目并不均衡，不均衡的訓(xùn)練類別使得YOLO在訓(xùn)練過(guò)程中數(shù)據(jù)較少的類別的損失函數(shù)減少不明顯，導(dǎo)致該類別無(wú)法達(dá)到預(yù)期的訓(xùn)練效果。為了削減上述兩種問(wèn)題的影響，我們分析了黑子形態(tài)差異，并提出將黑子標(biāo)注為兩類，即適當(dāng)尺度的黑子群和本影部分明顯的大黑子，其中黑子群中包括了一些較為孤立的小型黑子。圖3展示了數(shù)據(jù)預(yù)處理的過(guò)程。

圖2 SDO/HMI各類型太陽(yáng)全日面圖

2.4 網(wǎng)絡(luò)結(jié)構(gòu)

基于YOLO模型，我們?cè)O(shè)計(jì)了如圖4所示的網(wǎng)絡(luò)結(jié)構(gòu)。

該網(wǎng)絡(luò)得到三個(gè)尺度的輸出結(jié)果，大小分別為[13×13×14]，[26×26×14]以及[52×52×14]。其中，每個(gè)輸出的前兩個(gè)維度對(duì)應(yīng)網(wǎng)格大小，如第一個(gè)尺度的前兩維代表將輸入圖像劃分為13×13的網(wǎng)格，每個(gè)網(wǎng)格與輸出結(jié)果對(duì)應(yīng)位置的網(wǎng)格相關(guān)聯(lián)。每個(gè)尺度輸出的第三維的分量“14”由網(wǎng)絡(luò)中的部件計(jì)算得到。每個(gè)尺度對(duì)應(yīng)兩個(gè)Anchor box，每個(gè)Anchor box輸出7個(gè)值：，，，(中心點(diǎn)坐標(biāo)和寬高)，(置信度)以及類別概率1，2，分別對(duì)應(yīng)小黑子和黑子群。

2.5 優(yōu)化處理及參數(shù)調(diào)整

原始YOLO的Anchor尺寸適合檢測(cè)大物體、多物體，而太陽(yáng)黑子中小目標(biāo)偏多，因此使用k均值聚類算法獲取最佳的Anchor尺寸[24]。常用的k均值算法使用歐氏距離作為優(yōu)化目標(biāo)，在獲取Anchor尺寸時(shí)容易引發(fā)“大框優(yōu)勢(shì)”，故將聚類函數(shù)修改為(box,centroid) = 1 - IOU(box,centroid)。多次運(yùn)行聚類算法，設(shè)置不同的值。經(jīng)過(guò)多次實(shí)驗(yàn)進(jìn)行YOLO效果的驗(yàn)證，最終確定值為6。因此，最終確定的YOLO網(wǎng)絡(luò)結(jié)構(gòu)輸出三個(gè)網(wǎng)格尺寸，每個(gè)輸出分別對(duì)應(yīng)兩個(gè)Anchor尺寸。其中，13×13大小的網(wǎng)格對(duì)應(yīng)[75，85]和[42，61]的Anchor尺寸，用于檢測(cè)較大目標(biāo)；26×26大小的網(wǎng)格對(duì)應(yīng)[31，27]以及[22，42]的Anchor尺寸，用于檢測(cè)中等體型目標(biāo)；52×52大小的網(wǎng)格對(duì)應(yīng)[11，18]和[17，42]的Anchor尺寸，用于檢測(cè)較小目標(biāo)。

圖3 數(shù)據(jù)預(yù)處理流程

圖4 第一層模型：基于YOLO的深度神經(jīng)網(wǎng)絡(luò)

2.6 第二層太陽(yáng)黑子識(shí)別模型

經(jīng)過(guò)觀察，在YOLO識(shí)別結(jié)果中，存在著極少的、溫度較高且本影極小的太陽(yáng)黑子未能被識(shí)別。原因是這類黑子的波長(zhǎng)與太陽(yáng)表面平靜區(qū)的波長(zhǎng)相近，使得YOLO容易將其誤判為太陽(yáng)表面的平靜區(qū)。為解決該問(wèn)題，建立第二層太陽(yáng)黑子識(shí)別模型，采用數(shù)字圖像處理中AGAST特征檢測(cè)算法[27]標(biāo)定出小黑子的位置。在性能上，第二層模型以增加識(shí)別時(shí)間為代價(jià)，提高了小黑子的識(shí)別率。

第二層模型以第一層模型的識(shí)別結(jié)果作為輸入，專門負(fù)責(zé)識(shí)別第一層模型中還未能被識(shí)別的小黑子。根據(jù)YOLO的識(shí)別結(jié)果，在416×416大小的太陽(yáng)黑子圖像中，本影較小的太陽(yáng)黑子可看作圖像中的特征點(diǎn)進(jìn)行處理，符合數(shù)字圖像處理中特征檢測(cè)問(wèn)題的基本性質(zhì)。Rosten等人[27]將FAST角點(diǎn)定義為：若某像素點(diǎn)與其周圍足夠多的像素點(diǎn)處在不同范圍內(nèi)，則該像素點(diǎn)可能為角點(diǎn)。考慮灰度太陽(yáng)黑子圖像，若某一點(diǎn)的灰度值比其周圍領(lǐng)域內(nèi)數(shù)量較多的像素點(diǎn)的灰度值大或者小，則該點(diǎn)可能為角點(diǎn)，即可以被認(rèn)為是本影較小的太陽(yáng)黑子。FAST算法的基本原理如圖5所示，首先設(shè)定閾值，對(duì)圖像中的每一個(gè)像素點(diǎn)，考慮其以3為半徑的圓上的16個(gè)像素點(diǎn)1至16與的像素差異。若16個(gè)像素點(diǎn)中有9個(gè)及以上的像素點(diǎn)與的像素差異超過(guò)，則認(rèn)為是特征點(diǎn)，最終采用非極大值抑制的方法進(jìn)行篩選得到結(jié)果。

根據(jù)FAST算法原理，為提升檢測(cè)速度，可以使用ID3算法構(gòu)建決策樹。2010年Elmar和Gregory等人[28]提出了自適應(yīng)通用加速分割檢測(cè)(adaptive and generic accelerated segment test，AGAST)算法，將FAST算法中ID3決策樹改造為二叉樹，并能夠根據(jù)當(dāng)前處理的圖像信息動(dòng)態(tài)且高效地分配決策樹，提高了算法的運(yùn)算速度。為了高效率地進(jìn)一步識(shí)別第一層模型遺漏的小黑子，第二層模型采用AGAST算法，識(shí)別第一層模型標(biāo)定的識(shí)別框之外的特征點(diǎn)。經(jīng)過(guò)多次對(duì)比和調(diào)試，最終選用=35作為像素差異的閾值。

3 檢測(cè)實(shí)驗(yàn)及分析

3.1 YOLO訓(xùn)練過(guò)程

按圖4搭建了第一層太陽(yáng)黑子識(shí)別模型后開始訓(xùn)練。YOLO的訓(xùn)練目標(biāo)是最優(yōu)化以下?lián)p失函數(shù)：

其中包括三個(gè)部分，前兩行為坐標(biāo)預(yù)測(cè)損失，第三和第四行為置信度損失，最后一行為類別損失。使用隨機(jī)梯度下降優(yōu)化器對(duì)損失函數(shù)進(jìn)行優(yōu)化：

圖5 FAST算法的基本原理示意圖

YOLO模型完成15000輪訓(xùn)練過(guò)程后，其損失函數(shù)值由935.12降至0.22。圖6展示了訓(xùn)練過(guò)程中截取的1000步訓(xùn)練過(guò)程損失函數(shù)的變化。

3.2 實(shí)驗(yàn)結(jié)果

訓(xùn)練完成后，使用SDO/HMI從2010至2014年內(nèi)隨機(jī)挑選的圖像，截取太陽(yáng)黑子較多的部分后形成416′416大小的子圖進(jìn)行測(cè)試。部分識(shí)別結(jié)果如圖7所示。其中，綠色框代表本影和半影較為明顯的大黑子，紅色框代表黑子群以及部分獨(dú)立的本影較小的黑子，而黃色框代表第二層模型識(shí)別出的本影較小的小黑子。

與本文假設(shè)相符，在經(jīng)過(guò)第一層識(shí)別模型后，有些本影較小的黑子未能被識(shí)別。經(jīng)過(guò)第二層識(shí)別模型后，約96.72%的小黑子能夠被識(shí)別。最終，經(jīng)過(guò)對(duì)該100張4096×4096大小的太陽(yáng)全日面測(cè)試圖像的結(jié)果分析，模型平均能夠達(dá)到73.41%的測(cè)試交并比，約98.50%的識(shí)別率以及約0.60%的誤識(shí)別率。測(cè)試交并比結(jié)果的分布如圖8所示，可以看出交并比的分布基本較為穩(wěn)定且均大于等于55%。交并比在圖像識(shí)別領(lǐng)域是常用的測(cè)試標(biāo)準(zhǔn)，通常交并比大于50%時(shí)便認(rèn)為是一個(gè)優(yōu)秀的識(shí)別結(jié)果，因此本文太陽(yáng)黑子的識(shí)別結(jié)果具有精確性和健壯性。

3.3 結(jié)果分析

從執(zhí)行結(jié)果時(shí)間復(fù)雜度的角度分析，首先設(shè)和分別為圖像的寬和高，滑動(dòng)窗口的寬和高分別為和。YOLO對(duì)于特征圖上每個(gè)位置的元素只提取一遍，時(shí)間復(fù)雜度為()。AGAST算法遍歷圖像中的每個(gè)像素，復(fù)雜度仍然為()，因此兩層結(jié)構(gòu)的網(wǎng)絡(luò)總復(fù)雜度為()?；赗-CNN[19]方法提取的像素的數(shù)量為(-)×(-)××，時(shí)間復(fù)雜度為(()2)。付小娜等人[12]基于滑動(dòng)窗口的卷積神經(jīng)網(wǎng)絡(luò)需要控制圖像的寬和高以及滑動(dòng)窗口的寬和高，時(shí)間復(fù)雜度亦為(()2)。因此，本文提出的兩層模型結(jié)構(gòu)能夠在確保識(shí)別精度的條件下以非?？斓乃俣冗M(jìn)行太陽(yáng)黑子的識(shí)別。

從執(zhí)行結(jié)果的準(zhǔn)確率(準(zhǔn)確率=1-漏檢率)來(lái)分析，98.50%的識(shí)別準(zhǔn)確率超過(guò)了付小娜[12]約80%的識(shí)別準(zhǔn)確率、Zhao等[10]95%的準(zhǔn)確率以及Zharkov[13]所得到的95%~98%的識(shí)別準(zhǔn)確率結(jié)果。層次化模型的錯(cuò)檢率約為0.6%，效果優(yōu)于Zhao等[10]1.2%的錯(cuò)檢率，而低于付小娜等[12]沒(méi)有漏檢率的情況。

可以看出，在多項(xiàng)指標(biāo)上，該層次模型均能夠相對(duì)于其他工作取得更優(yōu)良的效果。但該模型亦存在著一定的缺點(diǎn)：由于在識(shí)別時(shí)將整幅太陽(yáng)黑子全日面圖像等面積分為100份，因此有些較大的或狹長(zhǎng)的太陽(yáng)黑子會(huì)被截?cái)噙M(jìn)入不同的子圖像中，該現(xiàn)象導(dǎo)致這些黑子被模型識(shí)別為兩個(gè)或多個(gè)獨(dú)立的黑子，這對(duì)太陽(yáng)黑子的識(shí)別不利。為此提出以下解決方法：在完成100份子圖像的識(shí)別后，若在某個(gè)子圖像中有識(shí)別框位于該子圖像邊緣，則判斷其所在邊緣方向的相鄰子圖像的鄰近邊緣是否也有某個(gè)識(shí)別框位于邊緣。若有，則合并兩個(gè)子圖像中的識(shí)別框；否則，繼續(xù)掃描圖像，直到?jīng)]有這樣的相鄰情況。

從模型的泛化能力進(jìn)行分析，由于模型的諸多參數(shù)如圖片尺寸、像素差異閾值等均由實(shí)驗(yàn)測(cè)出，因此識(shí)別結(jié)果可能與數(shù)據(jù)的來(lái)源高度相關(guān)。尤其地，對(duì)于其他觀測(cè)設(shè)備得到的不同分辨率的全日面圖像，模型可能無(wú)法取得令人滿意的效果。針對(duì)這一現(xiàn)象，應(yīng)當(dāng)尋找盡可能提高模型泛化能力的可行方案。如對(duì)于圖片尺寸，將不同來(lái)源的數(shù)據(jù)縮放至同一大小；對(duì)于像素差異閾值，對(duì)圖像進(jìn)行合適的預(yù)處理，如歸一化，使得不同來(lái)源圖像的閾值相近；對(duì)于分辨率問(wèn)題，可以進(jìn)一步修正YOLO模型的損失函數(shù)，為其添加與分辨率相關(guān)的正則化項(xiàng)，從而解決分辨率不同的問(wèn)題。

3.4 未來(lái)工作

太陽(yáng)耀斑是太陽(yáng)大氣局部區(qū)域發(fā)生的一種劇烈的爆發(fā)現(xiàn)象，其在短時(shí)間內(nèi)釋放大量能量，引起局部區(qū)域的瞬時(shí)高溫，向外發(fā)射各種電磁輻射，并伴隨粒子輻射突然增強(qiáng)。美國(guó)宇航局(NASA)于2013年末及2014年初連續(xù)發(fā)布了其捕獲的太陽(yáng)耀斑數(shù)據(jù)，包括原始波長(zhǎng)數(shù)據(jù)及轉(zhuǎn)換后肉眼可觀測(cè)的圖像。理論上，耀斑在其形態(tài)方面與其他太陽(yáng)活動(dòng)可區(qū)分，但通常體積較大，因此可采用本文第一層YOLO模型重新進(jìn)行耀斑的識(shí)別，無(wú)需第二層識(shí)別模型來(lái)識(shí)別極小的目標(biāo)。

除耀斑外，暗條、光斑等太陽(yáng)活動(dòng)均具有其獨(dú)特的數(shù)據(jù)特性，并且能夠在NASA發(fā)布的數(shù)據(jù)集中找到大量的訓(xùn)練數(shù)據(jù)，因此其在理論上是可分類的。由于YOLO模型本身可完成多分類任務(wù)，因此可在數(shù)據(jù)準(zhǔn)備充足的情況下，將本文的范圍直接擴(kuò)展至其他太陽(yáng)活動(dòng)的識(shí)別。

4 結(jié) 論

本文建立了層次化的太陽(yáng)黑子識(shí)別模型。在第一層模型的識(shí)別過(guò)程中，使用700張SDO/HMI數(shù)據(jù)集中標(biāo)注后的太陽(yáng)黑子圖像訓(xùn)練YOLO深度神經(jīng)網(wǎng)絡(luò)用于太陽(yáng)黑子識(shí)別，并在測(cè)試集上達(dá)到了較高的分類準(zhǔn)確率。針對(duì)小型黑子識(shí)別率低的問(wèn)題，使用基于交并比的k均值算法確定了YOLO網(wǎng)絡(luò)中的Anchor，使得網(wǎng)絡(luò)能夠識(shí)別更多的小黑子。為了進(jìn)一步提升小黑子的識(shí)別率，建立了第二層太陽(yáng)黑子識(shí)別過(guò)程，采用AGAST特征檢測(cè)算法，專門進(jìn)行本影較小的太陽(yáng)黑子的快速識(shí)別。該層次化模型在測(cè)試數(shù)據(jù)集上獲得了73.41%的測(cè)試交并比，約98.50%的識(shí)別率以及約0.60%的誤識(shí)別率，并在識(shí)別速度(每秒幀率)上遠(yuǎn)超傳統(tǒng)方法，甚至能夠?qū)μ?yáng)黑子進(jìn)行實(shí)時(shí)檢測(cè)，同時(shí)滿足了準(zhǔn)確性和高效性。文中的模型與算法可以直接被廣泛應(yīng)用于各大全日面太陽(yáng)圖像數(shù)據(jù)集的太陽(yáng)黑子識(shí)別工作，并可擴(kuò)展到對(duì)其他太陽(yáng)活動(dòng)的檢測(cè)，如耀斑、暗條等。

圖8 測(cè)試交并比的分布

[1] Liu Y, Zhang H. Relationship between magnetic field evolution and major flare event on July 14, 2000[J]., 2001, 372(3): 1019–1029.

[2] Rao C H, Zhu L, Zhang L Q,. Development of solar adaptive optics[J]., 2018, 45(3): 170733.

饒長(zhǎng)輝, 朱磊, 張?zhí)m強(qiáng), 等. 太陽(yáng)自適應(yīng)光學(xué)技術(shù)進(jìn)展[J]. 光電工程, 2018, 45(3): 170733.

[3] Bao H, Rao C H, Tian Y,. Research progress on adaptive optical image post reconstruction[J]., 2018, 45(3): 170730.

鮑華, 饒長(zhǎng)輝, 田雨, 等. 自適應(yīng)光學(xué)圖像事后重建技術(shù)研究進(jìn)展[J]. 光電工程, 2018, 45(3): 170730.

[4] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[C]//, Lake Tahoe, Nevada, USA, 2012: 1097–1105.

[5] Matsugu M, Mori K, Mitari Y,. Subject independent facial expression recognition with robust face detection using a convolutional neural network[J]., 2003, 16(5–6): 555–559.

[6] Acharya U R, Oh S L, Hagiwara Y,. A deep convolutional neural network model to classify heartbeats[J]., 2017, 89: 389–396.

[7] Banko M, Brill E. Scaling to very very large corpora for natural language disambiguation[C]//, Toulouse, France, 2001: 26–33.

[8] Noor M H M, Salcic Z, Wang K I K. Adaptive sliding window segmentation for physical activity recognition using a single tri-axial accelerometer[J]., 2017, 38: 41–59.

[9] Nguyen T T, Willis C P, Paddon D J,. A hybrid system for learning sunspot recognition and classification[C]//, Cheju Island, South Korea, 2006: 257–264.

[10] Zhao C, Lin G H, Deng Y Y,. Automatic recognition of sunspots in HSOS full-disk solar images[J]., 2016, 33: e018.

[11] Zharkov S, Zharkova V, Ipson S,. Technique for automated recognition of sunspots on full-disk solar images[J]., 2005, 2005(15): 318462.

[12] Fu X N, Liao C W, Bai X Y,. A detection method for sunspots based on convolutional neural network LeNet-5[J]., 2018, 15(3): 340–346.

付小娜, 廖成武, 白先勇, 等. 基于LeNet-5卷積神經(jīng)網(wǎng)絡(luò)的太陽(yáng)黑子檢測(cè)方法[J]. 天文研究與技術(shù), 2018, 15(3): 340–346.

[13] LeCun Y, Bottou L, Bengio Y,. Gradient-based learning applied to document recognition[J]., 1998, 86(11): 2278–2324.

[14] Redmon J, Divvala S, Girshick R,. You only look once: unified, real-time object detection[C]//, Las Vegas, NV, USA, 2016: 779–788.

[15] Dalal N, Triggs B. Histograms of oriented gradients for human detection[C]//, San Diego, CA, USA, 2005: 886–893.

[16] Uijlings J R R, van de Sande K E A, Gevers T,. Selective search for object recognition[J]., 2013, 104(2): 154–171.

[17] Girshick R, Donahue J, Darrell T,. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//, Columbus, OH, USA, 2014: 580–587.

[18] He K M, Zhang X Y, Ren S Q,. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]., 2015, 37(9): 1904–1916.

[19] Girshick R. Fast R-CNN[C]//, Santiago, Chile, 2015: 1440–1448.

[20] Ren S Q, He K M, Girshick R,. Faster R-CNN: towards real-time object detection with region proposal networks[J]., 2017, 39(6): 1137–1149.

[21] Szegedy C, Liu W, Jia Y Q,. Going deeper with convolutions[C]//, Boston, MA, USA, 2015: 1–9.

[22] Redmon J, Farhadi A. YOLO9000: better, faster, stronger[C]//, Honolulu, HI, USA, 2017: 6517–6525.

[23] Redmon J, Farhadi A. Yolov3: an incremental improvement[Z]. arXiv: 1804.02767[cs:CV], 2018.

[24] Baranyi T, Gy?ri L, Ludmány A. On-line tools for solar data compiled at the Debrecen observatory and their extensions with the Greenwich sunspot data[J]., 2016, 291(9): 3081–3102.

[25] Gy?ri L, Ludmány A, Baranyi T. Comparative analysis of Debrecen sunspot catalogues[J]., 2017, 465(2): 1259–1273.

[26] Kilcik A, Ozguc A, Yurchyshyn V,. Sunspot count periodicities in different Zurich sunspot group classes since 1986[J]., 2014, 289(11): 4365–4376.

[27] Rosten E, Porter R, Drummond T. Faster and better: a machine learning approach to corner detection[J]., 2010, 32(1): 105–119.

[28] Mair E, Hager G D, Burschka D,. Adaptive and generic corner detection based on the accelerated segment test[C]//, Heraklion, Crete, Greece, 2010: 183–196.

A hierarchical method for quick and automatic recognition of sunspots

Zhao Ziliang1, Liu Jiazhen1, Hu Zhen1, Jia Yanhao1, Wang Yue1,Li Qingwei1, Zhao Zeyang1, Liu Yangyi2,3,4*

1School of Mechanical, Electrical & Information Engineering, Shandong University, Weihai, Shandong 264209, China;2Institute of Optics and Electronics, Chinese Academy of Sciences, Chengdu, Sichuan 610209, China;3Sichuan Police College, Luzhou, Sichuan 646000, China;4Key Laboratory of Adaptive Optics, Chinese Academy of Sciences, Chengdu, Sichuan 610209, China

Process of data pretreatment

Overview:Sunspots are small dark spots, patches or regions appearing on the sun’s surface where strong magnetic fields converge. As an important solar phenomenon, observation and analysis of sunspots can promote understanding and learning of solar activities. For example, it can help astrologists to study the relevance of sunspots groups with flare eruptions. With the development of solar physics and observation instrument, methods of sunspots detection proposed earlier can not satisfy the rapid growth of data amount and data processing performance. Thus, it is urgent for solar physics to propose new methods to detect sunspots with higher accuracy and efficiency.

Traditional digital image processing methods and algorithms based on the sliding window are usually characterized by a slow speed and cannot achieve high accuracy. For instance, pure digital image processing methods are usually not flexible enough to detect sunspots because of the divergence of colors and patterns of different types of sunspots. In addition, the sliding window algorithm proposed earlier is of high time complexity, which shows poor performance in practical applications. To solve problems mentioned above, this paper aims to rapidly recognize all types of sunspots for real-time detection.

We proposed a hierarchical model composed of two components. The first layer is based on deep learning model YOLO. According to the nature of YOLO network, the raw image data with a size of 4096 pixels would be divided into smaller sub-images because sunspots are relatively tiny compared with the whole solar image. At the same time, sunspots will be compressed and disappear in neural network, which will influence the training process of network. In order to improve the ability of first layer to detect more smaller sunspots, the k-means algorithm is applied to optimize the anchor parameter in YOLO model. After the first layer model, most sunspots and sunspot groups are able to be recognized, with just a few smaller sunspots being unidentified. For the purpose of detecting more unidentified smaller sunspots in the first layer, the second layer utilizes AGAST algorithms for feature detection, in which the smaller sunspots are viewed as speckles.

In the experiment, 700 original images from SDO/HMI data set are used to train YOLO network. After training process, the loss function reduces from 935.12 to 0.22. The detecting results show that all kinds of sunspots can be recognized effectively with intersection-over-union being 73.41%, detecting accuracy being about 98.50%, and error recognition rate being around 0.60%. Therefore, the hierarchical model can be used to complete real-time sunspot detection task, and relevant ideas and models could also be applied to solve other object detection problems.

Citation: Zhao Z L, Liu J Z, Hu Z,A hierarchical method for quick and automatic recognition of sunspots[J]., 2020, 47(7): 190342

A hierarchical method for quick and automatic recognition of sunspots

Zhao Ziliang1, Liu Jiazhen1, Hu Zhen1, Jia Yanhao1, Wang Yue1, Li Qingwei1, Zhao Zeyang1, Liu Yangyi2,3,4*

1School of Mechanical, Electrical & Information Engineering, Shandong University, Weihai, Shandong 264209, China;2Institute of Optics and Electronics, Chinese Academy of Sciences, Chengdu, Sichuan 610209, China;3Sichuan Police College, Luzhou, Sichuan 646000, China;4Key Laboratory of Adaptive Optics, Chinese Academy of Sciences, Chengdu, Sichuan 610209, China

The observation and recognition of sunspots is an important task of solar physics. By observing and analyzing sunspots, solar physicists are able to analyze and predict solar activities with higher accuracy. With the continuous progress of observation instruments, solar full-disk image data amount is also on a rapid growth. In order to recognize and label sunspots quickly and accurately, a two-layer sunspot recognition model is proposed in this paper. The first layer model is based on deep learning model YOLO. In order to enhance the ability of YOLO to recognize small sunspots, the parameters of YOLO are optimized by using the k-means algorithm based on intersection-over-union. The final YOLO model can identify most large sunspots and sunspot groups, with only a few isolated small sunspots being unidentified. For the purpose of further improving recognition rate of small sunspots, the second layer model applies AGAST (adaptive and generic accelerated segment test) feature detection algorithm to specifically identify the missing small sunspots. The experimental results on SDO/HMI sunspot data set show that all kinds of sunspots can be recognized effectively with high recognition accuracy by using the model proposed in this paper, thus realizing the real-time sunspot detection task.

sunspot; object detection; YOLO; convolutional neural network; k-means; AGAST

TP391

A

10.12086/oee.2020.190342

: Zhao Z L, Liu J Z, Hu Z,. A hierarchical method for quick and automatic recognition of sunspots[J]., 2020,47(7): 190342

趙梓良，劉家真，胡真，等. 一種層次化的太陽(yáng)黑子快速自動(dòng)識(shí)別方法[J]. 光電工程，2020，47(7): 190342

Supported by National Natural Science Foundation of China(11727805 and 11733005) and College Students' Innovation Practice Training Program of Institute of Optics and Electronics, Chinese Academy of Sciences (20184001188)

* E-mail: liuyangyi_ioe@163.com

2019-06-21；

2019-11-04

國(guó)家自然科學(xué)基金資助項(xiàng)目(11727805，11733005)；中國(guó)科學(xué)院光電技術(shù)研究所大學(xué)生創(chuàng)新實(shí)踐訓(xùn)練計(jì)劃(20184001188)

趙梓良(1998-)，男，碩士研究生，主要從事機(jī)器學(xué)習(xí)與深度學(xué)習(xí)的研究。E-mail：zhaoziliang@mail.sdu.edu.cn

劉洋毅(1989-)，男，博士，助理研究員，主要從事太陽(yáng)高分辨力成像技術(shù)的研究。E-mail：liuyangyi_ioe@163.com