鄭磊,胡維多,*,劉暢
(1.北京航空航天大學(xué) 宇航學(xué)院,北京100083; 2.中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院,深圳518055)
人類對(duì)月球及更遠(yuǎn)的天體或空間環(huán)境開展的探測(cè)活動(dòng),是如今航天活動(dòng)的重要方向和空間科學(xué)與技術(shù)創(chuàng)新的重要途徑,是當(dāng)前和未來(lái)航天領(lǐng)域的發(fā)展重點(diǎn)之一。隕石坑作為反映星體地表情況及地質(zhì)年齡的重要參考對(duì)象,為安全登陸地球以外的其他星球并展開實(shí)地考察研究提供了可靠的依據(jù),因此近年來(lái)關(guān)于月球、火星等星體表面隕石坑情況的研究越來(lái)越多。
隕石坑是隕石體高速運(yùn)動(dòng)并撞擊到天體表面或天體內(nèi)部熔巖噴發(fā)后所形成的坑穴。這種坑穴蘊(yùn)含著豐富的信息,如隕石坑大小和個(gè)數(shù)的統(tǒng)計(jì)形成了月球和火星的地質(zhì)地層學(xué),并且隕石坑的數(shù)目已成為衡量遙遠(yuǎn)行星地質(zhì)形成年齡的唯一工具;隕石坑形態(tài)學(xué)促進(jìn)了自然降解過(guò)程、地質(zhì)的區(qū)域性差異、地下?lián)]發(fā)物質(zhì)的分布等大量的行星地質(zhì)問(wèn)題的研究[1-2];隕石坑因其顯著的地形特征,常常作為深空星體探測(cè)時(shí)的地面標(biāo)志物和導(dǎo)航路標(biāo),用于探測(cè)器的位置定位及著陸避障任務(wù)中[3]。隕石坑在星際探測(cè)多個(gè)方面都得到了廣泛的研究和應(yīng)用,因此,如何識(shí)別星體表面的各種隕石坑,為星際任務(wù)提供應(yīng)用基礎(chǔ),已成為航天領(lǐng)域研究的熱點(diǎn)和難點(diǎn)。
近年來(lái),國(guó)內(nèi)外學(xué)者對(duì)星體表面隕石坑的識(shí)別方法進(jìn)行了深入的研究。美國(guó)噴氣推進(jìn)實(shí)驗(yàn)室(JPL)的Cheng等[3]將光照方向與隕石坑邊緣信息相結(jié)合,通過(guò)隕石坑邊緣錨點(diǎn)之間的幾何相關(guān)性實(shí)現(xiàn)了隕石坑的識(shí)別;Sawabe[4]和Kim[5]等根據(jù)隕石坑的特定形狀,構(gòu)造相對(duì)應(yīng)的隕石坑模板,通過(guò)模板匹配實(shí)現(xiàn)隕石坑的檢測(cè);馮軍華等[6]基于Canny方法及邊緣配對(duì)完成隕石坑檢測(cè);丁萌等[7]利用基于弦中點(diǎn)Hough變換的方法,有效結(jié)合Kanade-Luca-Tomasi(KLT)特征檢測(cè)算法實(shí)現(xiàn)了隕石坑的檢測(cè)。這些傳統(tǒng)的基于圖像處理及圖像配準(zhǔn)的隕石坑識(shí)別方法,雖然有效地對(duì)隕石坑進(jìn)行了較為準(zhǔn)確的識(shí)別,但工作量大,任務(wù)繁瑣,并且缺乏實(shí)時(shí)性。
得益于近年來(lái)人工智能的發(fā)展,現(xiàn)在關(guān)于隕石坑識(shí)別的研究越來(lái)越趨向于機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)方面的自動(dòng)識(shí)別領(lǐng)域[8-9]。例如,文獻(xiàn)[10]中利用主成分分析(PCA)方法統(tǒng)計(jì)紋理測(cè)量信息,并應(yīng)用紋理分析分割圖像達(dá)到檢測(cè)隕石坑的目的;Boukercha等[11]利用機(jī)器學(xué)習(xí)增強(qiáng)算法對(duì)隕石坑進(jìn)行初步篩選得到隕石坑候選區(qū)域,結(jié)合支持向量機(jī)(SVM)和多項(xiàng)式分類器對(duì)隕石坑進(jìn)行進(jìn)一步的檢測(cè);Silburt等[12]利用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了數(shù)字高程模型(Digital Elevation Model,DEM)中隕石坑的識(shí)別。這些方法雖然實(shí)現(xiàn)了隕石坑的自動(dòng)識(shí)別,提高了識(shí)別效率和精度,但均將隕石坑統(tǒng)一擬合為橢圓或圓,對(duì)小型隕石坑采用正負(fù)樣本的二分類方法,對(duì)于較大的、形態(tài)不規(guī)則的復(fù)雜隕石坑及隕石坑撞擊盆地并不能有效識(shí)別。相比小型隕石坑生命周期較短并存在侵蝕、覆蓋、掩埋及轉(zhuǎn)化問(wèn)題,大型隕石坑能夠在漫長(zhǎng)的時(shí)間長(zhǎng)河里保持形態(tài)和結(jié)構(gòu)穩(wěn)定性,無(wú)論是在天體地質(zhì)學(xué)還是作為路標(biāo)導(dǎo)航方面的研究,大型隕石坑都具有很強(qiáng)的時(shí)效性。因此,本文以星體宏觀視角下的大型隕石坑作為研究對(duì)象,創(chuàng)建了不同數(shù)據(jù)源的隕石坑樣本數(shù)據(jù)庫(kù),構(gòu)建了基于深度學(xué)習(xí)的多尺度隕石坑自動(dòng)識(shí)別網(wǎng)絡(luò)框架,改進(jìn)了目標(biāo)檢測(cè)時(shí)常用的非極大值抑制(Non-Maximum Suppression,NMS)算法,提出了一種效率更高的隕石坑多分類識(shí)別方法。
隕石坑作為本文研究對(duì)象及訓(xùn)練深度學(xué)習(xí)識(shí)別網(wǎng)絡(luò)的核心組成部分,其數(shù)據(jù)來(lái)源的真實(shí)性和圖片質(zhì)量的清晰度是選取數(shù)據(jù)時(shí)應(yīng)該重點(diǎn)考慮的2個(gè)因素,但由于能夠查閱到的各天體大型隕石坑圖片資料相對(duì)較少,本文選取了人類研究最多且最為熟悉的月球作為數(shù)據(jù)采集對(duì)象。月球表面擁有大量的各類隕石坑,對(duì)于很多大型環(huán)形山類型的隕石坑,人類在地球上用肉眼即可觀測(cè)到,并且用天文拍攝設(shè)備可以取得質(zhì)量較好的大型隕石坑圖片。因此,本文選取了在不同月相情況下月球表面的多個(gè)大型隕石坑作為識(shí)別對(duì)象。
具體數(shù)據(jù)來(lái)源有2個(gè)方面:①公布在美國(guó)國(guó)家航空航天局(NASA)科學(xué)可視化工作室官網(wǎng)[13]的2018年全年高清仿真月相圖,該月相圖的生成參數(shù)源自2009年開始執(zhí)行繞月飛行的月球勘測(cè)軌道飛行器(Lunar Reconnaissance Orbiter,LRO),其所攜帶的激光高度計(jì)和航天照相機(jī)使得以前所未有的清晰度來(lái)觀察月球成為可能。本文選取了2018年每個(gè)月由新月到月盈、再到月虧的月相圖作為大型隕石坑樣本提取和檢測(cè)數(shù)據(jù)源,圖1為2018年2月的部分月相圖[13]。②筆者于2018年11月和12月利用專業(yè)相機(jī)拍攝的月相圖,拍攝設(shè)備主要由相機(jī)、二倍鏡及長(zhǎng)鏡頭構(gòu)成,最大焦距可達(dá)400mm,能夠較清晰地拍攝到月球表面眾多大型隕石坑。由于拍攝天氣及環(huán)境等因素影響,本文只選取了部分清晰度高的月相圖作為實(shí)驗(yàn)數(shù)據(jù),圖2為2018年12月的部分月相圖。
圖1 NASA官網(wǎng)提供的仿真月相圖[13]Fig.1 Simulated moon phases provided by NASA official website[13]
圖2 專業(yè)相機(jī)拍攝的真實(shí)月相圖Fig.2 Realmoon phases captured by a professional camera
本文選擇了月球表面的危海(Mare Crisium)、澄海(Mare Serenitatis)及第谷(Tycho)3個(gè)具有代表性的大型隕石坑作為識(shí)別的對(duì)象。危海是位于月球東北半球的月海,直徑605 km,面積約17.6×104km2[14]。澄海是月球上大型月海隕石坑之一,直徑約600 km,環(huán)形結(jié)構(gòu)可延伸至880 km[15-16],基于其退化的外觀,澄海隕石坑被一些研究者認(rèn)為是月球上最古老的隕石坑之一[17]。哥白尼時(shí)代被廣泛研究的第谷隕石坑,是月球正面最年輕、最顯著的大型隕石坑之一[18]。危海有類似尾巴的部分,澄海有一個(gè)突出的三角,而第谷周圍有以其為中心的放射狀溝壑,均具備顯著特征,如圖3所示。
圖3 危海、澄海及第谷隕石坑Fig.3 Mare Crisium,Mare Serenitatis and Tycho craters
通過(guò)2個(gè)不同的數(shù)據(jù)源,本文采集了大量隕石坑樣本塊,并構(gòu)成了樣本數(shù)據(jù)庫(kù)。樣本數(shù)據(jù)庫(kù)具體包含3個(gè)不同的隕石坑樣本數(shù)據(jù)集:①單獨(dú)從NASA官網(wǎng)下載的月球圖片中采集樣本構(gòu)成第1個(gè)隕石坑樣本數(shù)據(jù)集(NASA crater,Ncrater);②單獨(dú)從專業(yè)相機(jī)拍攝的月球圖片中采集樣本構(gòu)成第2個(gè)隕石坑樣本數(shù)據(jù)集(Camera crater,Ccrater);③將前2個(gè)隕石坑樣本數(shù)據(jù)集合并,構(gòu)成同時(shí)含有2個(gè)不同數(shù)據(jù)源樣本的第3個(gè)隕石坑樣本數(shù)據(jù)集(NASA and Camera crater,NCcrater)。為了提高識(shí)別精度,增加樣本間的差異性,上述每個(gè)樣本數(shù)據(jù)集中除了包含待識(shí)別的危海、澄海、第谷這3種隕石坑樣本外,還增加了負(fù)樣本,構(gòu)成用于四分類問(wèn)題研究的樣本數(shù)據(jù)集。
由于能夠直接采集得到的隕石坑數(shù)量很難滿足訓(xùn)練識(shí)別網(wǎng)絡(luò)的需求,本文采用了數(shù)據(jù)增強(qiáng)的方法,對(duì)上述3種樣本數(shù)據(jù)集中原有的每個(gè)樣本分別通過(guò)鏡像、均值濾波、加少量椒鹽噪聲和高斯噪聲等9種圖像處理方法來(lái)擴(kuò)充數(shù)據(jù),并將新生成的樣本保存到各自對(duì)應(yīng)的樣本數(shù)據(jù)集中,從而將原來(lái)的3個(gè)樣本數(shù)據(jù)集的樣本數(shù)擴(kuò)充了10倍。表1為數(shù)據(jù)增強(qiáng)后3個(gè)樣本數(shù)據(jù)集各自包含的各類樣本總數(shù)。圖4顯示了樣本數(shù)據(jù)集中各類隕石坑樣本塊,每個(gè)樣本塊尺寸為3×227×227。采取數(shù)據(jù)增強(qiáng)的方法,不僅能大幅度增加每個(gè)樣本數(shù)據(jù)集樣本數(shù)量,而且在保持待識(shí)別目標(biāo)主要特征的同時(shí),一定程度上增加了樣本的多樣性,提高了網(wǎng)絡(luò)模型的泛化能力。
表1 數(shù)據(jù)增強(qiáng)后各類樣本數(shù)Tab le 1 Num ber of d ifferent types of sam p les after data augm entation
圖4 四類隕石坑樣本Fig.4 Four types of crater samples
隨著近年來(lái)人工智能領(lǐng)域的飛速發(fā)展,越來(lái)越多的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型進(jìn)入大眾的視野,如卷積神經(jīng)網(wǎng)絡(luò)(CNN)、遞歸神經(jīng)網(wǎng)絡(luò)(RNN)及最近幾年熱門的生成對(duì)抗網(wǎng)絡(luò)(GAN)等。CNN由于其獨(dú)特的卷積結(jié)構(gòu),在圖像處理領(lǐng)域有著明顯的優(yōu)勢(shì)。過(guò)去幾年中,CNN已成功應(yīng)用于許多經(jīng)典圖像處理問(wèn)題,如圖像去噪[19]、超分辨率圖像重建[20]、圖像分割[21]、目標(biāo)檢測(cè)[22-24]、物體分類[25-26]等。通常,越深層的網(wǎng)絡(luò)將具備越強(qiáng)的學(xué)習(xí)能力,近年來(lái)CNN網(wǎng)絡(luò)發(fā)展迅速,并趨向于更加深層次的網(wǎng)絡(luò)模型。然而,層數(shù)越深的網(wǎng)絡(luò)訓(xùn)練起來(lái)就會(huì)越困難。一方面,網(wǎng)絡(luò)訓(xùn)練多采用梯度反向傳播算法進(jìn)行參數(shù)學(xué)習(xí)和優(yōu)化,過(guò)深的網(wǎng)絡(luò)因?yàn)閷訑?shù)太多會(huì)出現(xiàn)梯度消失的情況,造成網(wǎng)絡(luò)無(wú)法收斂;另一方面,越是深層的網(wǎng)絡(luò)對(duì)訓(xùn)練設(shè)備和訓(xùn)練樣本數(shù)量有著越高的要求,性能普通的設(shè)備訓(xùn)練時(shí)間將會(huì)十分漫長(zhǎng),而較少的訓(xùn)練樣本將會(huì)造成網(wǎng)絡(luò)過(guò)擬合。本文選用CNN作為隕石坑識(shí)別網(wǎng)絡(luò),并且通過(guò)綜合考慮訓(xùn)練時(shí)間消耗、識(shí)別精度、現(xiàn)有的訓(xùn)練設(shè)備性能和隕石坑樣本數(shù)量等方面因素,發(fā)現(xiàn)相比于GoogLeNet等近年來(lái)發(fā)展的新型深層網(wǎng)絡(luò),選擇CaffeNet模型對(duì)隕石坑樣本圖像進(jìn)行分類,不僅能保證較高的識(shí)別精度,還能夠節(jié)約大量的時(shí)間成本,同時(shí)避免了更深層網(wǎng)絡(luò)中過(guò)擬合現(xiàn)象的出現(xiàn)。CaffeNet模型是基于Krizhevsky等[27]針對(duì)數(shù)據(jù)集ImageNet訓(xùn)練生成的神經(jīng)網(wǎng)絡(luò)架構(gòu)AlexNet,并在AlexNet基礎(chǔ)上進(jìn)行了一定的優(yōu)化,近年來(lái)在各種圖像處理任務(wù)中仍展現(xiàn)著出色的表現(xiàn)。
2.1.1 卷積神經(jīng)網(wǎng)絡(luò)模型
一個(gè)典型的CNN網(wǎng)絡(luò)由多個(gè)卷積層、池化層及全連接層組成。卷積層是CNN中計(jì)算量最大的部分,同時(shí)也是最重要的結(jié)構(gòu)。卷積層內(nèi)部包含多個(gè)卷積核,組成卷積核的每個(gè)元素都對(duì)應(yīng)著一個(gè)權(quán)重系數(shù)和一個(gè)偏差量,卷積核與輸入數(shù)據(jù)進(jìn)行卷積運(yùn)算,從而提取輸入的不同特征,第一層卷積層可能只能提取一些如邊緣、線條和角等低級(jí)的特征,深層的卷積網(wǎng)絡(luò)能從低級(jí)特征中不斷迭代提取更復(fù)雜的特征。卷積層的作用多為檢測(cè)特征,池化層的作用則是提取、凝煉特征。池化層基本執(zhí)行向下采樣操作,類別得分在全連接層之后計(jì)算,正因如此,池化層常常被放置在卷積層之后。全連接層的作用是把所有局部特征進(jìn)行匯總變成全局特征,用來(lái)計(jì)算最后每一類的得分。
選用CNN作為隕石坑識(shí)別網(wǎng)絡(luò)有著多方面的優(yōu)勢(shì)。CNN具有極強(qiáng)的通用性,可以近似于任何線性或非線性轉(zhuǎn)換,能夠有效地提取各類隕石坑特征;CNN不需要通過(guò)手工制作的過(guò)濾器來(lái)進(jìn)行目標(biāo)物特征的提取,取而代之的是機(jī)器自動(dòng)學(xué)習(xí)算法;同時(shí),得益于GPU的并行計(jì)算能力,CNN能夠高速處理輸入數(shù)據(jù)。
2.1.2 隨機(jī)梯度下降法
在選擇了用于隕石坑識(shí)別的神經(jīng)網(wǎng)絡(luò)模型后,就可以通過(guò)一些優(yōu)化策略來(lái)進(jìn)行網(wǎng)絡(luò)訓(xùn)練參數(shù)學(xué)習(xí)。通常用于訓(xùn)練CNN模型參數(shù)的算法是隨機(jī)梯度下降(Stochastic Gradient Descent,SGD)法,其使用反向傳播來(lái)計(jì)算梯度進(jìn)行權(quán)重的更新,通過(guò)不斷減小損失函數(shù)輸出值來(lái)進(jìn)行參數(shù)的自動(dòng)學(xué)習(xí)。反向傳播是多層網(wǎng)絡(luò)中最常用的算法,該算法的核心是應(yīng)用鏈?zhǔn)椒▌t計(jì)算網(wǎng)絡(luò)中各權(quán)值對(duì)損失函數(shù)的影響[28],從而尋找網(wǎng)絡(luò)的全局最優(yōu)解。
SGD法的目標(biāo)是使損失函數(shù)最小化,從而在CNN模型中找到對(duì)目標(biāo)問(wèn)題具有良好泛化能力的最優(yōu)參數(shù)[29]。為了量化SGD法的作用,定義損失函數(shù)的形式為
式中:w為網(wǎng)絡(luò)中權(quán)重的集合;b為偏置的集合;n為每個(gè)批次中樣本的個(gè)數(shù);a為輸入為x時(shí)的輸出;y(x)為對(duì)應(yīng)的期望輸出或?yàn)槊總€(gè)類別樣本預(yù)先貼上的分類標(biāo)簽值;求和是在總的訓(xùn)練輸入x上進(jìn)行的。SGD法的基本思想是:通過(guò)隨機(jī)選取小批量訓(xùn)練輸入樣本,不斷計(jì)算使損失函數(shù)C(w,b)輸出值減小的梯度,同時(shí)更新網(wǎng)絡(luò)參數(shù),從而尋找損失函數(shù)全局最小值時(shí)的最優(yōu)解。網(wǎng)絡(luò)權(quán)重和偏置的具體更新方式為
式中:m為隨機(jī)小批量數(shù)據(jù)樣本大小;η為學(xué)習(xí)率,是一個(gè)很小的正數(shù)。
在訓(xùn)練隕石坑識(shí)別網(wǎng)絡(luò)的過(guò)程中,先將包含各類隕石坑的樣本數(shù)據(jù)集以3×227×227尺寸輸入到網(wǎng)絡(luò),并以CaffeNet的卷積層和全連接層作為各類隕石坑特征的提取器,將提取到的各類特征信息輸入到相當(dāng)于分類器的Softmax層,并結(jié)合預(yù)先設(shè)置的標(biāo)簽進(jìn)行隕石坑分類,對(duì)全部輸入的樣本數(shù)據(jù)集進(jìn)行3 000次訓(xùn)練,生成多類隕石坑識(shí)別網(wǎng)絡(luò)模型,進(jìn)而利用該模型結(jié)合目標(biāo)檢測(cè)算法實(shí)現(xiàn)多類隕石坑的識(shí)別。具體方法流程如圖5所示。
在實(shí)際中,各類隕石坑分布在地形圖的任意位置,同一幅圖片中可能會(huì)存在多種隕石坑,但采用的識(shí)別網(wǎng)絡(luò)輸入尺寸是固定的,訓(xùn)練網(wǎng)絡(luò)時(shí)用的只是每類隕石坑的3×227×227樣本塊,因此需要一種有效的檢測(cè)算法,在可能存在隕石坑的圖片中判斷是否有待檢測(cè)的目標(biāo),并對(duì)其進(jìn)行分類和標(biāo)注。本文在目標(biāo)檢測(cè)研究中常用的NMS算法基礎(chǔ)上,結(jié)合隕石坑檢測(cè)時(shí)的實(shí)際情況,對(duì)NMS算法進(jìn)行了優(yōu)化,提出了一種準(zhǔn)確率更高的隕石坑檢測(cè)算法,經(jīng)過(guò)參數(shù)優(yōu)化和實(shí)驗(yàn)驗(yàn)證構(gòu)建了基于深度學(xué)習(xí)的多尺度多類別的隕石坑自動(dòng)識(shí)別網(wǎng)絡(luò)框架。
圖5 隕石坑識(shí)別流程Fig.5 Flowchart of crater identification
2.3.1 基于NMS的目標(biāo)檢測(cè)算法
通常,基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法包括3個(gè)步驟:①通過(guò)目標(biāo)樣本集訓(xùn)練好最優(yōu)的識(shí)別和分類網(wǎng)絡(luò)模型;②在待檢測(cè)的圖中以網(wǎng)絡(luò)輸入要求的尺寸,通過(guò)遍歷的方式選取待識(shí)別對(duì)象輸入到訓(xùn)練好的網(wǎng)絡(luò)模型進(jìn)行分類,并返回位置信息和類別信息;③通過(guò)NMS算法選出有效檢測(cè)結(jié)果,并在原圖中標(biāo)注。
NMS算法的基本思想為抑制非極大值的元素,是廣泛應(yīng)用于目標(biāo)檢測(cè)中尋求局部最大值的算法,主要目的是消除冗余(交叉重復(fù))的窗口,找到最佳目標(biāo)檢測(cè)位置。傳統(tǒng)的NMS算法流程如下:
步驟1 對(duì)根據(jù)識(shí)別網(wǎng)絡(luò)輸出得到的目標(biāo)檢測(cè)候選框所對(duì)應(yīng)的置信度得分進(jìn)行排序。
步驟2 選擇置信度最高的檢測(cè)框添加到最終輸出列表中,并將其從候選框列表中刪除。
步驟3 計(jì)算置信度最高的檢測(cè)框與其他候選框的IoU(Intersection over Union),IoU指2個(gè)候選框的交集部分與并集部分的面積比值。
步驟4 將IoU小于閾值(一般取0.3~0.5)的候選框按置信度得分重新排序,重復(fù)步驟2、步驟3。
步驟5 重復(fù)上述過(guò)程,直至候選框列表為空,最終輸出框中存有的即為所求的目標(biāo)檢測(cè)框。
當(dāng)將上述傳統(tǒng)的目標(biāo)檢測(cè)算法運(yùn)用于本文的隕石坑檢測(cè)時(shí),主要存在3點(diǎn)不足:①待檢測(cè)的多類隕石坑以相同比例尺呈現(xiàn)在一幅圖中,因此其大小有較大差別的,傳統(tǒng)以網(wǎng)絡(luò)輸入尺寸對(duì)待測(cè)圖片進(jìn)行遍歷的單個(gè)檢測(cè)框,并不能將所有不同類別的隕石坑在一次遍歷搜索中檢測(cè)出來(lái);②識(shí)別網(wǎng)絡(luò)模型對(duì)目標(biāo)并不總能做到百分百的正確識(shí)別,因此目標(biāo)候選框中會(huì)存在個(gè)別與置信度最高的框沒(méi)有相交面積,或者相交面積太小的誤檢測(cè)框,此時(shí)運(yùn)用NMS算法會(huì)將這些誤檢測(cè)框作為正確信息輸出;③當(dāng)對(duì)圖片中目標(biāo)進(jìn)行分類和標(biāo)注時(shí)只需一個(gè)最準(zhǔn)確的檢測(cè)框就行,但當(dāng)用到NMS算法時(shí)最終往往會(huì)輸出多個(gè)滿足條件的檢測(cè)框,通常解決此問(wèn)題的方法是不斷改變IoU的閾值直到最終只輸出一個(gè)檢測(cè)框,這種做法隨機(jī)性太大,手動(dòng)干預(yù)太多,效率太低。
2.3.2 檢測(cè)算法優(yōu)化
針對(duì)基于深度學(xué)習(xí)的傳統(tǒng)檢測(cè)算法的不足,本文提出了多尺度的隕石坑自動(dòng)識(shí)別網(wǎng)絡(luò)框架。首先,對(duì)識(shí)別網(wǎng)絡(luò)模型讀取待測(cè)圖片的方式進(jìn)行了改善,設(shè)置了一個(gè)縮放因子(本文取0.9)。當(dāng)檢測(cè)框每次對(duì)待測(cè)圖片遍歷后,將當(dāng)前圖尺寸按縮放因子縮放,進(jìn)行下一次的遍歷,直到待測(cè)圖片接近檢測(cè)框尺寸,并在每輪遍歷結(jié)束時(shí)將得到的目標(biāo)候選框在原始圖中對(duì)應(yīng)的位置信息及置信度存儲(chǔ)。對(duì)NMS算法,本文結(jié)合實(shí)際情況也進(jìn)行了相應(yīng)優(yōu)化,增加了IoU閾值下限,并將閾值固定為
這樣就可以淘汰與置信度最高的框沒(méi)有相交面積或者相交面積太小的誤檢測(cè)框,并且提高算法的自動(dòng)檢測(cè)效率。
同時(shí),在NMS算法輸出最終檢測(cè)框的部分也進(jìn)行了相應(yīng)優(yōu)化,增加了最大差值法,即在最終輸出的各檢測(cè)框的頂點(diǎn)間實(shí)行x軸和y軸2個(gè)方向上的差值運(yùn)算,取差值最大的4個(gè)點(diǎn)作為最終輸出的唯一檢測(cè)框的頂點(diǎn),從而在保證檢測(cè)準(zhǔn)確度的同時(shí),避免了傳統(tǒng)NMS算法帶來(lái)的最終檢測(cè)結(jié)果中多個(gè)檢測(cè)框框出同一目標(biāo)的冗余問(wèn)題。圖6為本文優(yōu)化后的多尺度多分類隕石坑檢測(cè)算法的流程。其中,待檢測(cè)的原圖像尺寸在實(shí)際檢測(cè)中均大于3×227×227,craterNMS為優(yōu)化后的NMS算法。
圖6 多尺度隕石坑檢測(cè)流程Fig.6 Flowchart ofmulti-scale crater detection
為了驗(yàn)證本文提出的基于深度學(xué)習(xí)的大型隕石坑識(shí)別方法的可行性,主要從以下3方面進(jìn)行相關(guān)實(shí)驗(yàn):①在不同網(wǎng)絡(luò)訓(xùn)練參數(shù)優(yōu)化方法下,隕石坑識(shí)別網(wǎng)絡(luò)模型的訓(xùn)練效果;②不同數(shù)據(jù)來(lái)源的訓(xùn)練集對(duì)識(shí)別網(wǎng)絡(luò)的泛化能力的影響;③基于craterNMS的多尺度多分類的隕石坑檢測(cè)算法與傳統(tǒng)方法的檢測(cè)結(jié)果比較。
在實(shí)驗(yàn)過(guò)程中,將3個(gè)隕石坑樣本數(shù)據(jù)集Ncrater、Ccrater和NCcrater,依次按7 ∶3的數(shù)量比例構(gòu)建訓(xùn)練集和測(cè)試集,得到3組單獨(dú)的網(wǎng)絡(luò)訓(xùn)練集。分別對(duì)本文的隕石坑識(shí)別網(wǎng)絡(luò)進(jìn)行訓(xùn)練,且訓(xùn)練集和測(cè)試集僅用于網(wǎng)絡(luò)模型的訓(xùn)練過(guò)程中,不參與訓(xùn)練完畢后網(wǎng)絡(luò)模型泛化能力等性能的驗(yàn)證。
訓(xùn)練一個(gè)有效的深度學(xué)習(xí)網(wǎng)絡(luò),調(diào)參是永恒不變的話題。如何讓各個(gè)網(wǎng)絡(luò)參數(shù)隨著訓(xùn)練數(shù)據(jù)的輸入自動(dòng)學(xué)習(xí),從而使網(wǎng)絡(luò)訓(xùn)練朝著所需要的方向收斂是當(dāng)前人工智能領(lǐng)域研究的熱點(diǎn)。因此,越來(lái)越多的網(wǎng)絡(luò)訓(xùn)練參數(shù)優(yōu)化策略被提出,近年來(lái)經(jīng)常被應(yīng)用于網(wǎng)絡(luò)訓(xùn)練時(shí)參數(shù)學(xué)習(xí)的優(yōu)化方法主要有SGD法、AdaDelta優(yōu)化法[30]、Adam 優(yōu)化法[31]、RMSprop優(yōu)化法[32]等,這些方法均為基于梯度的網(wǎng)絡(luò)參數(shù)優(yōu)化方法。
SGD法是目前使用最多的一種優(yōu)化方法;AdaDelta是一種“魯棒的學(xué)習(xí)率方法”,通過(guò)把歷史梯度累積窗口限制為固定的大小來(lái)調(diào)節(jié)參數(shù);Adam是一種自適應(yīng)學(xué)習(xí)率的方法,與AdaDelta不同的是,其使用了動(dòng)量進(jìn)行學(xué)習(xí)率衰減;RMSprop與AdaDelta類似,但在調(diào)參時(shí)添加了衰變因子防止歷史梯度求和過(guò)大。
本文分別利用上述4種優(yōu)化方法在構(gòu)建的3種樣本數(shù)據(jù)集上進(jìn)行了隕石坑識(shí)別網(wǎng)絡(luò)模型的訓(xùn)練。采用樣本數(shù)據(jù)集Ncrater和Ccrater時(shí)的初始學(xué)習(xí)率為η=0.000 5,樣本數(shù)據(jù)集為NCcrater時(shí)η=0.001。表2為本文實(shí)驗(yàn)的計(jì)算機(jī)測(cè)試環(huán)境。表3~表5統(tǒng)計(jì)了4種優(yōu)化方法在3種樣本數(shù)據(jù)集上訓(xùn)練網(wǎng)絡(luò)時(shí)最終的準(zhǔn)確率、最低損失代價(jià)值及訓(xùn)練時(shí)間。可知,4種優(yōu)化方法在3種樣本數(shù)據(jù)集上訓(xùn)練網(wǎng)絡(luò)都取得了很不錯(cuò)的效果,最后的訓(xùn)練結(jié)果都相差較小,但依舊不難發(fā)現(xiàn)無(wú)論利用哪個(gè)樣本數(shù)據(jù)集,SGD法取得的精度都是最高,最低損失代價(jià)值都最小,訓(xùn)練時(shí)間都最少。由此可見,訓(xùn)練隕石坑識(shí)別網(wǎng)絡(luò)模型時(shí),SGD法的參數(shù)優(yōu)化效果最好,魯棒性最強(qiáng),因此在其他關(guān)于隕石坑識(shí)別方法研究的實(shí)驗(yàn)中,均采用SGD法作為網(wǎng)絡(luò)參數(shù)優(yōu)化策略。
表2 計(jì)算機(jī)配置參數(shù)Table 2 Com puter configuration param eters
表3 樣本數(shù)據(jù)集Ncrater訓(xùn)練結(jié)果Table 3 Training results of sam p le data set Ncrater
表4 樣本數(shù)據(jù)集Ccrater訓(xùn)練結(jié)果Tab le 4 Training resu lts of sam p le data set Ccrater
表5 樣本數(shù)據(jù)集NCcrater訓(xùn)練結(jié)果Tab le 5 T raining resu lts of sam p le data set NCcrater
從3.1節(jié)的實(shí)驗(yàn)結(jié)果可以看出,隕石坑識(shí)別網(wǎng)絡(luò)模型的訓(xùn)練準(zhǔn)確率已經(jīng)達(dá)到了很高的水平,但這并不能充分說(shuō)明深度學(xué)習(xí)方法在實(shí)際隕石坑檢測(cè)中也能有很好的效果。這是由于時(shí)間和數(shù)據(jù)資源的限制,能夠用于本文研究的隕石坑樣本數(shù)據(jù)集數(shù)量并不是很龐大,因此在訓(xùn)練時(shí)可能會(huì)出現(xiàn)過(guò)擬合的現(xiàn)象;同時(shí),在衡量一個(gè)網(wǎng)絡(luò)模型的優(yōu)劣時(shí),訓(xùn)練過(guò)程中準(zhǔn)確率及最低損失代價(jià)值只是一部分的參考指標(biāo),主要用于監(jiān)測(cè)網(wǎng)絡(luò)的訓(xùn)練情況,而網(wǎng)絡(luò)模型的泛化能力才是最為關(guān)注的關(guān)鍵性指標(biāo)。泛化能力越強(qiáng)的網(wǎng)絡(luò)模型,在未被用于訓(xùn)練的驗(yàn)證樣本數(shù)據(jù)集(以下簡(jiǎn)稱驗(yàn)證集)上的識(shí)別準(zhǔn)確率就越高,在執(zhí)行實(shí)際的識(shí)別任務(wù)時(shí)的效果相應(yīng)就會(huì)越好。因此,選用網(wǎng)絡(luò)在驗(yàn)證集上的識(shí)別準(zhǔn)確率作為隕石坑識(shí)別網(wǎng)絡(luò)模型的評(píng)估指標(biāo),定義Pi為特定隕石坑的識(shí)別準(zhǔn)確率,Ni為該類隕石坑正確識(shí)別數(shù),Si為驗(yàn)證集中該類隕石坑總數(shù),Pn為網(wǎng)絡(luò)模型識(shí)別準(zhǔn)確率,I為驗(yàn)證集中樣本類別總數(shù),評(píng)價(jià)公式為
為了研究通過(guò)訓(xùn)練集和測(cè)試集訓(xùn)練完畢生成的網(wǎng)絡(luò)模型的泛化能力等性能,從2個(gè)不同數(shù)據(jù)源重新采樣,構(gòu)造了2個(gè)未參與隕石坑識(shí)別網(wǎng)絡(luò)訓(xùn)練過(guò)程的驗(yàn)證集VNcrater(Validation NASA crater)和VCcrater(Validation Camera crater)。驗(yàn)證集中各類樣本的數(shù)量如表6所示。
如表7和表8所示,分別利用構(gòu)造的3個(gè)訓(xùn)練集訓(xùn)練網(wǎng)絡(luò)模型,然后在2個(gè)驗(yàn)證集上統(tǒng)計(jì)每個(gè)網(wǎng)絡(luò)模型對(duì)各類樣本的識(shí)別準(zhǔn)確率。表中:Nnet、Cnet和NCnet分別代表利用訓(xùn)練集Ncrater、Ccrater和NCcrater訓(xùn)練得到的隕石坑識(shí)別網(wǎng)絡(luò)模型,總準(zhǔn)確率即為網(wǎng)絡(luò)模型識(shí)別準(zhǔn)確率Pn。
表6 驗(yàn)證集中各類樣本數(shù)Tab le 6 Num ber of different types of sam p les in verification set
表7 驗(yàn)證集VNcrater上的識(shí)別準(zhǔn)確率Table 7 Identification accu racy on verification set VNcrater
表8 驗(yàn)證集VCcrater上的識(shí)別準(zhǔn)確率Table 8 Identification accu racy on verification set VCcrater
從實(shí)驗(yàn)結(jié)果可知,Nnet、Cnet在與其訓(xùn)練樣本來(lái)自同一個(gè)數(shù)據(jù)源的驗(yàn)證集上測(cè)試時(shí),分別達(dá)到了0.985和0.920高識(shí)別準(zhǔn)確率;由于NCnet的訓(xùn)練集來(lái)自2個(gè)數(shù)據(jù)源,因此在驗(yàn)證集VNcrater和VCcrater上都展現(xiàn)了不錯(cuò)的識(shí)別效果,分別取得了0.991和0.945的識(shí)別準(zhǔn)確率;同時(shí),用Nnet、Cnet在與其訓(xùn)練樣本數(shù)據(jù)來(lái)源完全不同的驗(yàn)證集上檢驗(yàn)時(shí),雖然識(shí)別準(zhǔn)確率有所下降,但還是取得了不錯(cuò)的效果,特別是Cnet能在異源驗(yàn)證集VNcrater上準(zhǔn)確地識(shí)別出第谷和負(fù)樣本,并取得了0.863的總準(zhǔn)確率。在實(shí)驗(yàn)結(jié)果中可以注意到一點(diǎn),對(duì)危海的識(shí)別準(zhǔn)確率并沒(méi)有其他類隕石坑的高,這是由于危海位于月球邊緣地帶,在月相發(fā)生變化時(shí),其形態(tài)特征在地球觀測(cè)者視角里將隨之發(fā)生一些變化,因此對(duì)識(shí)別精度產(chǎn)生了一定的影響。
同時(shí),表7和表8中實(shí)驗(yàn)結(jié)果都反映了本文提出的隕石坑識(shí)別網(wǎng)絡(luò)模型具有較強(qiáng)的泛化能力,不管在同源還是異源的驗(yàn)證集上實(shí)驗(yàn)都能達(dá)到較高的識(shí)別準(zhǔn)確率。因此,在實(shí)際應(yīng)用中構(gòu)造網(wǎng)絡(luò)對(duì)其他隕石坑進(jìn)行識(shí)別時(shí),可以利用由本文建立的隕石坑樣本數(shù)據(jù)庫(kù)訓(xùn)練得到的網(wǎng)絡(luò)模型,結(jié)合遷移學(xué)習(xí)方法進(jìn)行參數(shù)初始化,從而有效避免因待測(cè)隕石坑樣本少而出現(xiàn)過(guò)擬合的現(xiàn)象,提高識(shí)別精度。
本文優(yōu)化了傳統(tǒng)基于NMS算法的目標(biāo)檢測(cè)算法,并結(jié)合隕石坑識(shí)別的實(shí)際情況,提出了基于craterNMS的多尺度多分類隕石坑檢測(cè)算法。為了驗(yàn)證該算法的有效性,本節(jié)分別用Ccrater和Ncrater這2個(gè)樣本數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò)模型,并用各自數(shù)據(jù)源中未用來(lái)采集樣本的圖片對(duì)上述2種算法進(jìn)行對(duì)比實(shí)驗(yàn)。其中,選自NASA官網(wǎng)的仿真月相測(cè)試圖有12張,選自專業(yè)相機(jī)拍攝的真實(shí)月相測(cè)試圖有18張,2類測(cè)試圖均包含了從新月到月盈、再到月虧等多種形態(tài)的月相圖。在訓(xùn)練網(wǎng)絡(luò)模型時(shí),選取的參數(shù)學(xué)習(xí)策略為SGD法,初始學(xué)習(xí)率均為η=0.000 5,Softmax輸出各類隕石坑置信度得分的閾值均為0.5,檢測(cè)框滑動(dòng)步長(zhǎng)為45像素。實(shí)驗(yàn)結(jié)果如圖7和圖8所示,每一行圖片依次為未采用NMS算法、采用傳統(tǒng)NMS算法(IoU閾值為0.4)和craterNMS算法得到的隕石坑檢測(cè)結(jié)果,紅色框?yàn)槲:z測(cè)框,綠色框?yàn)槌魏z測(cè)框,藍(lán)色框?yàn)榈诠葯z測(cè)框,同時(shí)在craterNMS算法檢測(cè)圖中顯示了黃色虛線框表示的真實(shí)框標(biāo)注,用作實(shí)驗(yàn)結(jié)果對(duì)比。由于受光線、天氣等因素影響,專業(yè)相機(jī)拍攝的月相圖比仿真月相圖圖像特征更具多樣化,相應(yīng)地更能驗(yàn)證本文隕石坑檢測(cè)算法的魯棒性,且篇幅有限,因此圖7僅展示了2幅NASA官網(wǎng)仿真月相圖的隕石坑檢測(cè)結(jié)果,圖8展示了5幅專業(yè)相機(jī)拍攝的月相圖隕石坑檢測(cè)結(jié)果。
由于Softmax進(jìn)行隕石坑分類時(shí)置信度閾值選取的較低,在未采用NMS算法時(shí)會(huì)有許多誤檢測(cè)框出現(xiàn),采用NMS算法后效果有所改善,但仍然有一些誤檢測(cè)框存在。當(dāng)然,在前2種算法中可以通過(guò)反復(fù)調(diào)節(jié)識(shí)別網(wǎng)絡(luò)模型中Softmax分類
圖7 樣本數(shù)據(jù)集Ncrater的實(shí)驗(yàn)結(jié)果Fig.7 Experimental results of sample data set Ncrater
圖8 樣本數(shù)據(jù)集Ccrater的實(shí)驗(yàn)結(jié)果Fig.8 Experimental results of sample data set Ccrater
置信度和NMS算法中IoU這2個(gè)閾值的大小來(lái)剔除誤檢測(cè)框,但需要手動(dòng)不斷干預(yù)檢測(cè)過(guò)程,效率太低,并且當(dāng)替換一副不同的隕石坑待測(cè)圖進(jìn)行檢測(cè)時(shí),又要重新調(diào)試閾值,泛化性能很差。
相比前2種檢測(cè)算法的不足,第3種采用craterNMS的多尺度隕石坑檢測(cè)算法得到的結(jié)果效果顯著,能在分類置信度和IoU這2個(gè)閾值都固定的情況下成功得到各類隕石坑唯一的精準(zhǔn)檢測(cè)框,充分說(shuō)明本文隕石坑檢測(cè)算法的確能在很大程度上改善隕石坑識(shí)別效果,并且具有通用性,在不同的樣本數(shù)據(jù)集上都能實(shí)現(xiàn)自動(dòng)精準(zhǔn)檢測(cè)隕石坑的目的。同時(shí),圖7和圖8的檢測(cè)結(jié)果也很好地驗(yàn)證了本文提出的隕石坑識(shí)別方法的有效性。例如,圖8第1行月相圖片中澄海較大部分面積已進(jìn)入陰影,但仍能被本文方法準(zhǔn)確地檢測(cè)到。
為了對(duì)上述3種隕石坑檢測(cè)算法的檢測(cè)結(jié)果進(jìn)行定量的數(shù)據(jù)分析,引入了平均檢測(cè)準(zhǔn)確率P和平均檢測(cè)框冗余數(shù)R兩個(gè)評(píng)價(jià)指標(biāo),N為2種數(shù)據(jù)源待測(cè)試的月相圖總數(shù),Kj為當(dāng)前測(cè)試圖中正確檢測(cè)框數(shù),Ks為該測(cè)試圖中檢測(cè)框總數(shù),Kr為該測(cè)試圖中冗余正確檢測(cè)框數(shù),評(píng)價(jià)公式為式(7)和式(8)。
表9為各類隕石坑置信度得分閾值均為0.5時(shí),總數(shù)共30張的2種數(shù)據(jù)源待測(cè)月相圖最后檢測(cè)結(jié)果的P、R值統(tǒng)計(jì)??芍?,相對(duì)于前2種算法,本文提出的craterNMS的多尺度隕石坑檢測(cè)算法不僅能消除冗余檢測(cè)框,而且能在分類置信度閾值較低的情況下準(zhǔn)確地檢測(cè)出各類目標(biāo)隕石坑。
表9 三種檢測(cè)算法數(shù)據(jù)分析Table 9 Data analysis of three detection algorithm s
本文以星體宏觀視角下的大型隕石坑作為研究對(duì)象,結(jié)合圖像處理和神經(jīng)網(wǎng)絡(luò)等方面的知識(shí),提出了一種基于深度學(xué)習(xí)的多尺度隕石坑自動(dòng)識(shí)別網(wǎng)絡(luò)框架和隕石坑檢測(cè)算法,經(jīng)實(shí)驗(yàn)驗(yàn)證主要得出以下結(jié)論:
1)從2個(gè)不同數(shù)據(jù)源采集樣本進(jìn)行實(shí)驗(yàn),隕石坑識(shí)別網(wǎng)絡(luò)在與訓(xùn)練集同源的驗(yàn)證集上的識(shí)別率可以分別達(dá)到0.985和0.920,在異源的驗(yàn)證集上的識(shí)別率最高可達(dá)到0.863,說(shuō)明本文的隕石坑識(shí)別方法具有良好的泛化能力,同時(shí)證明了訓(xùn)練集的數(shù)量及來(lái)源對(duì)識(shí)別網(wǎng)絡(luò)模型的泛化能力和識(shí)別精度都能產(chǎn)生較大的影響。在條件允許的范圍內(nèi),樣本數(shù)據(jù)集數(shù)量越大、數(shù)據(jù)來(lái)源越豐富,將越有利于網(wǎng)絡(luò)泛化能力和識(shí)別準(zhǔn)確率的提高。
2)訓(xùn)練網(wǎng)絡(luò)模型時(shí),網(wǎng)絡(luò)參數(shù)優(yōu)化方法的選取也十分關(guān)鍵,需要根據(jù)實(shí)驗(yàn)的具體情況選擇適合當(dāng)前研究的優(yōu)化策略。通過(guò)多種優(yōu)化方法的實(shí)驗(yàn)結(jié)果對(duì)比,發(fā)現(xiàn)SGD法在基于深度學(xué)習(xí)的隕石坑識(shí)別方法研究中具有良好的參數(shù)優(yōu)化效果。
3)通過(guò)改進(jìn)傳統(tǒng)隕石坑二分類方法,以及優(yōu)化基于NMS的目標(biāo)檢測(cè)算法,實(shí)現(xiàn)了多種隕石坑的有效分類,并且不同于傳統(tǒng)方法需反復(fù)調(diào)試閾值,能在分類置信度和IoU這2個(gè)閾值都固定的情況下,成功得到各類隕石坑唯一的精準(zhǔn)檢測(cè)框,節(jié)約了時(shí)間成本,提高了隕石坑自動(dòng)檢測(cè)的準(zhǔn)確率。
4)通過(guò)實(shí)驗(yàn)論證了基于深度學(xué)習(xí)的大型隕石坑識(shí)別方法的可行性。
隨著科技的發(fā)展,將人工智能引入星際探測(cè)等領(lǐng)域的研究將具有更為廣闊的應(yīng)用實(shí)踐和發(fā)展前景。