基于AutoML的保護(hù)區(qū)物種識(shí)別①

劉 耀,羅 澤

1(中國(guó)科學(xué)院 計(jì)算機(jī)網(wǎng)絡(luò)信息中心,北京 100190)

2(中國(guó)科學(xué)院大學(xué),北京 100049)

近年來,紅外相機(jī)技術(shù)因?yàn)槠洳皇墉h(huán)境限制,全天不間斷的特點(diǎn),在各級(jí)保護(hù)區(qū)得到了廣泛應(yīng)用[1-3].目前有大量的照片數(shù)據(jù),如何充分利用這些數(shù)據(jù),從中挖掘有效的信息,成為了人們研究的重點(diǎn).其中物種識(shí)別技術(shù)是很多工作的前提,比如物種行為分析、物種多樣性檢測(cè)等,都得先從圖片中識(shí)別出物種.

深度學(xué)習(xí)技術(shù)的出現(xiàn)給各領(lǐng)域都帶來了革命性的變化.在圖像領(lǐng)域中,以卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)為代表的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu),在圖像識(shí)別[4]、目標(biāo)檢測(cè)[5]、圖像分割[6]等各項(xiàng)工作中,都以絕對(duì)的優(yōu)勢(shì)戰(zhàn)勝了傳統(tǒng)方法,帶來了顯著的提升.傳統(tǒng)方法利用手工提取特征,包括紋理、顏色、灰度、梯度等特征,然后將這些手工提取的淺層特征輸入到分類器中,進(jìn)行識(shí)別.深度學(xué)習(xí)可以學(xué)習(xí)深層特征,而且理論上來講,網(wǎng)絡(luò)越深,學(xué)習(xí)到的特征越高級(jí),是低階特征的組合,同時(shí),深度學(xué)習(xí)還是端到端的,特征提取與分類一起進(jìn)行.但是網(wǎng)絡(luò)結(jié)構(gòu)并不是越深越好,隨著網(wǎng)絡(luò)結(jié)構(gòu)的加深,會(huì)出現(xiàn)梯度爆炸、梯度消失[7]、過擬合等問題,雖然現(xiàn)在有一些技術(shù),比如加BN[8](Batch Normalization)、ReLU[9](Rectified Linear Units)、Dropout[10]、Data Augmentation[11]等,可以在一定程度上緩和這些由網(wǎng)絡(luò)結(jié)構(gòu)加深帶來的問題,但是也只是緩和,并不能從根本解決.所以卷積神經(jīng)網(wǎng)絡(luò)在發(fā)展的過程就是朝著越來越深的方向發(fā)展,同時(shí)會(huì)有一些新的結(jié)構(gòu)單元出現(xiàn),比如VGG[12]、Inception[13]、ResNet[14]、DenseNet[15]等.在實(shí)際應(yīng)用中,人們往往不會(huì)自己設(shè)計(jì)一個(gè)網(wǎng)絡(luò)結(jié)構(gòu),而是使用一些已經(jīng)證明有效的網(wǎng)絡(luò)結(jié)構(gòu),比如VGG16、VGG19、ResNet50 等.沒有一個(gè)網(wǎng)絡(luò)結(jié)構(gòu)可以保證在任何數(shù)據(jù)集上都優(yōu)于其它網(wǎng)絡(luò)結(jié)構(gòu),對(duì)于一個(gè)特定的數(shù)據(jù)集,我們需要進(jìn)行實(shí)驗(yàn),根據(jù)實(shí)驗(yàn)結(jié)果選擇一個(gè)性能最好的網(wǎng)絡(luò)結(jié)構(gòu).所以,當(dāng)拿到一個(gè)新的數(shù)據(jù)集的時(shí)候,我們需要重新進(jìn)行實(shí)驗(yàn)選擇.

這兩年自動(dòng)機(jī)器學(xué)習(xí)(Auto Machine Learning,AutoML)技術(shù)正在興起,雖然剛剛起步,但已經(jīng)取得了不錯(cuò)的成績(jī).AutoML 技術(shù)就是一種讓機(jī)器學(xué)習(xí)怎么學(xué)習(xí)的算法,在傳統(tǒng)機(jī)器學(xué)習(xí)就主要表現(xiàn)在自動(dòng)調(diào)參[16-18],在深度學(xué)習(xí)上就主要表現(xiàn)在網(wǎng)絡(luò)架構(gòu)搜索[19-22](Neural Architecture Search,NAS),因?yàn)樵谏疃葘W(xué)習(xí)最重要的參數(shù)就是網(wǎng)絡(luò)結(jié)構(gòu)的層數(shù),每層神經(jīng)元的個(gè)數(shù)等.

因此,本文將基于AutoML 的圖像識(shí)別技術(shù)應(yīng)用到保護(hù)區(qū)的紅外相機(jī)物種識(shí)別上,對(duì)于不同保護(hù)區(qū)的物種圖片數(shù)據(jù),自動(dòng)設(shè)計(jì)適合該數(shù)據(jù)集的網(wǎng)絡(luò)結(jié)構(gòu),而不需要自己手動(dòng)選擇網(wǎng)絡(luò)結(jié)構(gòu),在保證準(zhǔn)確率的前提下,節(jié)省了人力.

1 相關(guān)理論

1.1 貝葉斯優(yōu)化

貝葉斯優(yōu)化是AutoML 中的常用的方法[23-25],它是一種典型的黑盒優(yōu)化算法,就是只能觀察到輸入和輸出,無(wú)法知道輸入和輸出之間的關(guān)系以及梯度信息,貝葉斯優(yōu)化通常用高斯過程模型來捕捉輸入和輸出之間的關(guān)系[26-27].

高斯過程是假設(shè)你的輸入之間服從高斯分布,通過已知的輸入和輸出 (x1,y1),(x2,y2),···,(xn,yn)來擬合高斯分布模型,當(dāng)你給出一個(gè)新的輸入x時(shí),高斯過程模型能給出輸出y的概率分布,因?yàn)榧僭O(shè)輸出y是服從高斯分布的,也就是能給出輸出的均值 μ和方差 σ.得到均值和方差后,通常還需要一個(gè)采集函數(shù)(Acquisition Function,AC),以該采集函數(shù)的值作為準(zhǔn)則來判斷這個(gè)輸入x的好壞.

在AutoML 中,貝葉斯優(yōu)化通常被用來捕捉參數(shù)和模型性能之間的關(guān)系,通過貝葉斯優(yōu)化器給出下一個(gè)最有“潛力”的參數(shù)組合,訓(xùn)練完后返回模型性能用來優(yōu)化高斯過程模型,反復(fù)迭代,快速找到最優(yōu)的參數(shù)組合.

使用高斯過程模型來捕捉輸入和輸出關(guān)系的貝葉斯優(yōu)化算法過程：

(1)假設(shè)輸入之間服從高斯分布模型M.

(2)從M 中選擇下一個(gè)采集函數(shù)值較高的輸入x.

(3)觀察輸入x的輸出y,如果y滿足要求,那么結(jié)束算法；否則,返回 (x,y)修正高斯分布模型M,返回第(2)步.

1.2 模擬退火

模擬退火算法是一種常見的搜索算法,常用來在一定時(shí)間內(nèi)在一個(gè)很大的搜索空間中尋找近似最優(yōu)解[28].

模擬退火算法的思想借鑒了固體的退火原理,當(dāng)固體的溫度很高的時(shí)候,內(nèi)能比較大,固體的內(nèi)部粒子處于快速無(wú)序運(yùn)動(dòng),當(dāng)溫度慢慢降低的過程中,固體的內(nèi)能減小,粒子的慢慢趨于有序,最終,當(dāng)固體處于常溫時(shí),內(nèi)能達(dá)到最小,此時(shí),粒子最為穩(wěn)定.模擬退火算法便是基于這樣的原理設(shè)計(jì)而成.模擬退火算法從某一較高的溫度出發(fā),這個(gè)溫度稱為初始溫度,伴隨著溫度參數(shù)的不斷下降,算法中的解趨于穩(wěn)定,但是,可能這樣的穩(wěn)定解是一個(gè)局部最優(yōu)解,此時(shí),模擬退火算法中會(huì)以一定的概率跳出這樣的局部最優(yōu)解,以尋找目標(biāo)函數(shù)的全局最優(yōu)解.這個(gè)概率就與溫度參數(shù)的大小有關(guān),溫度參數(shù)越大,概率越大,反之則越小.

模擬退火的算法過程：

(1) 初始化：初始溫度T(充分大),初始解狀態(tài)S(是算法迭代的起點(diǎn)),每個(gè)T值的迭代次數(shù)L.

(2) 對(duì)k=1,2,···,L做第(3)至第(6)步.

(3) 產(chǎn)生新解S′.

(4) 計(jì)算增量 ΔT=C(S′)-C(S),其中C(S)為評(píng)價(jià)函數(shù).

(5) 若 ΔT＜0,則接受S′作為新的當(dāng)前解,否則以概率接受S′作為新的當(dāng)前解.

(6) 如果滿足終止條件則輸出當(dāng)前解作為最優(yōu)解,結(jié)束程序.

終止條件通常取為連續(xù)若干個(gè)新解都沒有被接受時(shí)終止算法.

(7)T逐漸減少,且T←0,然后轉(zhuǎn)第2 步.

2 本文方法

本文使用的基于AutoML 的圖像識(shí)別技術(shù),能夠針對(duì)特定的數(shù)據(jù)集自動(dòng)設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu),不需要人工干預(yù),主要思想如圖1所示.

貝葉斯優(yōu)化器模塊主要負(fù)責(zé)的是網(wǎng)絡(luò)結(jié)構(gòu)的自動(dòng)構(gòu)建與搜索任務(wù),從舊的網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)建出新的網(wǎng)絡(luò)結(jié)構(gòu),然后搜索出下一個(gè)網(wǎng)絡(luò)結(jié)構(gòu)用于訓(xùn)練,得到的性能用來修正這個(gè)優(yōu)化器.模型訓(xùn)練模塊主要負(fù)責(zé)訓(xùn)練,給定一個(gè)網(wǎng)絡(luò)結(jié)構(gòu),返回在驗(yàn)證集合上的準(zhǔn)確率.

2.1 經(jīng)典的網(wǎng)絡(luò)結(jié)構(gòu)組件

經(jīng)典的網(wǎng)絡(luò)結(jié)構(gòu)組件主要有3 種：CNN (Convolutional Neural Network)、MLP (Multi-Layer Perceptron)、ResNet (Residual Network),這是構(gòu)成網(wǎng)絡(luò)結(jié)構(gòu)的基本組成部分,比如VGG、Inception、ResNet、DenseNet等網(wǎng)絡(luò)結(jié)構(gòu)都是由這3 種基本組件組成,只是組件個(gè)數(shù)與組成方式不同而已.

2.2 自動(dòng)構(gòu)建網(wǎng)絡(luò)結(jié)構(gòu)

網(wǎng)絡(luò)結(jié)構(gòu)的構(gòu)建是從小到大的過程,所以網(wǎng)絡(luò)結(jié)構(gòu)會(huì)越來越大.初始的網(wǎng)絡(luò)結(jié)構(gòu)有3 個(gè),分別由CNN、MLP、ResNet 基本組件組成,然后由這3 個(gè)網(wǎng)絡(luò)結(jié)構(gòu)開始擴(kuò)增.有一個(gè)候選隊(duì)列Q,里面是候選的網(wǎng)絡(luò)結(jié)構(gòu),從隊(duì)列頭取出網(wǎng)絡(luò)結(jié)構(gòu)G,對(duì)G進(jìn)行擴(kuò)增,擴(kuò)增的方法如圖2所示,主要有4 種：1)deep(G,u),加深網(wǎng)絡(luò)結(jié)構(gòu),隨機(jī)選擇一層u,在層u處加入新的層使網(wǎng)絡(luò)結(jié)構(gòu)變深；2)wide(G,u),擴(kuò)寬網(wǎng)絡(luò)結(jié)構(gòu),隨機(jī)選擇一層u,在層u處加入新的節(jié)點(diǎn)使網(wǎng)絡(luò)結(jié)構(gòu)變寬,這里的加入新的節(jié)點(diǎn)指的是卷 積層中的卷積核,也就是增加卷積層u中卷積核的個(gè)數(shù)；3)add(G,u,v),隨機(jī)選擇一層u和v,增加跳躍連接,給層u和層v增加一條跳躍連接,使用ResNet 的思想；4)concat(G,u,v),隨機(jī)選擇一層u和v,將層u和層v合并；

主要步驟為：

(1)從候選隊(duì)列頭取出網(wǎng)絡(luò)結(jié)構(gòu)G.

(2)將G進(jìn)行上述4 種擴(kuò)展操作,得到4 個(gè)新的網(wǎng)絡(luò)結(jié)構(gòu),將新的網(wǎng)絡(luò)添加到候選隊(duì)列中.

2.3 搜索網(wǎng)絡(luò)結(jié)構(gòu)

對(duì)于自動(dòng)構(gòu)建的網(wǎng)絡(luò)結(jié)構(gòu),并不是每個(gè)新網(wǎng)絡(luò)結(jié)構(gòu)都訓(xùn)練,而是挑選最有“潛力”的網(wǎng)絡(luò)結(jié)構(gòu),也就是最有可能獲得最好性能的網(wǎng)絡(luò).這里的網(wǎng)絡(luò)結(jié)構(gòu)可以看作輸入,而模型性能可以看作輸出,這是一種典型的黑盒優(yōu)化問題.關(guān)于黑盒優(yōu)化算法,典型的有網(wǎng)格搜索、隨機(jī)搜索、貝葉斯優(yōu)化.網(wǎng)格搜索就是遍歷所有的輸入,觀察每個(gè)相應(yīng)的輸出,最后選取最好輸出對(duì)應(yīng)的輸入作為問題的解.隨機(jī)搜索就是隨機(jī)選擇一個(gè)輸入,觀察相應(yīng)的輸出,最后選取最好輸出對(duì)應(yīng)的輸入作為問題的解.可以看到網(wǎng)格搜索相對(duì)耗時(shí),但可以得到問題的最優(yōu)解,而隨機(jī)搜索雖然不耗時(shí),但具有隨機(jī)性,解的方差較大.貝葉斯優(yōu)化既不用遍歷所有輸入,又可以獲得有一定置信度的解.

將貝葉斯優(yōu)化應(yīng)用到網(wǎng)絡(luò)結(jié)構(gòu)的搜索,也就是在訓(xùn)練了n個(gè)網(wǎng)絡(luò)后,觀察到了這n個(gè)網(wǎng)絡(luò)結(jié)構(gòu)的性能,就可以更新貝葉斯優(yōu)化控制器.當(dāng)給定一個(gè)新的網(wǎng)絡(luò)f,可以得到新的網(wǎng)絡(luò)結(jié)構(gòu)性能的均值 μ(f)和方差σ (f).μ(f) 越大,說明網(wǎng)絡(luò)結(jié)構(gòu)f性能均值越好,也就是期望越高,α (f)越 大,說明網(wǎng)絡(luò)結(jié)構(gòu)f的性能方差越大,但說明不確定性也越大.

圖2 自動(dòng)構(gòu)建網(wǎng)絡(luò)結(jié)構(gòu)

選擇網(wǎng)絡(luò)結(jié)構(gòu)時(shí),我們要平衡探索與利用,探索指的是傾向于選擇那些不確定性大的網(wǎng)絡(luò)結(jié)構(gòu),利用指的是傾向于選擇那些性能期望高的網(wǎng)絡(luò)結(jié)構(gòu),最終網(wǎng)絡(luò)結(jié)構(gòu)f性能的采集函數(shù)是

β是一個(gè)平衡因子,來平衡探索與利用.得到每個(gè)網(wǎng)絡(luò)結(jié)構(gòu)的 α值之后,通過模擬退火算法來選取下一個(gè)網(wǎng)絡(luò)結(jié)構(gòu)作為備訓(xùn)練的網(wǎng)絡(luò)結(jié)構(gòu).

搜索算法的算法過程：

(1)初始化模擬退火的溫度衰減率r,溫度參數(shù)T以及最低溫度閾值Tlow,最高歷史模型性能值cmax,最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)fmax,優(yōu)先級(jí)搜索隊(duì)列Q.

(2)取出隊(duì)列頭網(wǎng)絡(luò)結(jié)構(gòu)f,對(duì)該網(wǎng)絡(luò)結(jié)構(gòu)做上述四種操作進(jìn)行擴(kuò)增,得到四個(gè)新的網(wǎng)絡(luò)結(jié)構(gòu),對(duì)于每個(gè)新網(wǎng)絡(luò)結(jié)構(gòu)f′,如果將該網(wǎng)絡(luò)加入到優(yōu)先級(jí)搜索隊(duì)列中,否則不加入隊(duì)列.如果cmax＜α(f′),那 么cmax←α(f′),fmax←f′.同時(shí) 衰減 溫 度T←T×r.

(3)如果隊(duì)列不為空,并且T＞Tlow,返回第二步；否則,返回最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)fmax.

2.4 算法流程

算法流程圖如圖3所示.

圖3 算法流程圖

3 實(shí)驗(yàn)分析

3.1 數(shù)據(jù)集

本文在保護(hù)區(qū)的紅外照片數(shù)據(jù)集上驗(yàn)證了基于AutoML 的圖像識(shí)別方法.本文從兩個(gè)保護(hù)區(qū)的數(shù)據(jù)圖片中制作了四個(gè)數(shù)據(jù)集,為了使不同數(shù)據(jù)集的之間具有可比性,盡量保持不同數(shù)據(jù)集之間相似性,比如1) 數(shù)據(jù)圖片都是鳥類圖片,不同類別是不同的鳥類；2)每個(gè)數(shù)據(jù)集類別數(shù)相同,都是十類；3)樣本數(shù)量相差不大,每個(gè)類別大概900 張左右；4)使用相同的方式劃分訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù),測(cè)試數(shù)據(jù)是從訓(xùn)練數(shù)據(jù)的每類中隨機(jī)抽取20 張得到的,測(cè)試數(shù)據(jù)一共200 張,可以保證測(cè)試數(shù)據(jù)中不會(huì)因?yàn)轭悇e的不均衡導(dǎo)致某些類別測(cè)試樣本過少.

數(shù)據(jù)處理方面主要有兩點(diǎn)：1)數(shù)據(jù)歸一化,圖片像素值的范圍是[0,255],將數(shù)據(jù)乘以 1 / 255.0 縮放到[0,1]；2)數(shù)據(jù)增強(qiáng),為了增強(qiáng)數(shù)據(jù)以得到更好的性能,本文通過將數(shù)據(jù)水平翻轉(zhuǎn)、縮放、隨機(jī)裁剪、增加噪聲等技術(shù)對(duì)數(shù)據(jù)進(jìn)行增強(qiáng).

3.2 模型訓(xùn)練

對(duì)于自動(dòng)構(gòu)建的網(wǎng)絡(luò)結(jié)構(gòu)和經(jīng)典的網(wǎng)絡(luò)結(jié)構(gòu)VGG16、VGG19、ResNet50,都使用相同的訓(xùn)練參數(shù),來驗(yàn)證自動(dòng)構(gòu)建網(wǎng)絡(luò)的有效性,訓(xùn)練參數(shù)如表所示.訓(xùn)練過程都使用了一些深度學(xué)習(xí)的訓(xùn)練技巧,比如在Dense 層加入Batch Normalization 來防止過擬合,同時(shí)防止梯度消失,使得訓(xùn)練更深的網(wǎng)絡(luò)成為可能.

在使用經(jīng)典網(wǎng)絡(luò)時(shí),人們往往都會(huì)使用finetune 的方式,fine-tune 的一般步驟為：1) 使用公開的權(quán)重來初始化參數(shù),先固定卷積層和池化層,保持它們的參數(shù)不更新,只更新全連接層的參數(shù)；2) 在訓(xùn)練一定的輪次后,不再固定卷積層和池化層的參數(shù),調(diào)小學(xué)習(xí)率,再訓(xùn)練整個(gè)網(wǎng)絡(luò).當(dāng)你的數(shù)據(jù)量不足時(shí),這樣做往往能取得不錯(cuò)的效果.對(duì)于經(jīng)典的網(wǎng)絡(luò)結(jié)構(gòu),公開的權(quán)重是別人使用大量的數(shù)據(jù)訓(xùn)練得到的,這樣的權(quán)重提取到的特征對(duì)于大部分任務(wù)來說,往往是有效的,如果使用公開的權(quán)重來初始化,可以省去你的時(shí)間.相當(dāng)于使用公共的卷積核來提取低級(jí)特征,因?yàn)楹芏鄶?shù)據(jù)集的低級(jí)特征類似,比如一些邊緣特征、紋理特征等,訓(xùn)練全連接層,也就是組合低級(jí)特征,不同的數(shù)據(jù)集組合方式可能不同,所以第一步中要固定卷積層和池化層.第二步再更新整個(gè)網(wǎng)絡(luò),調(diào)小學(xué)習(xí)率,針對(duì)這個(gè)數(shù)據(jù)集來進(jìn)行微調(diào).在本文中,經(jīng)典網(wǎng)絡(luò)使用fine-tune 的方式,而自動(dòng)構(gòu)建的網(wǎng)絡(luò)沒有使用這種方式,因?yàn)榻?jīng)典網(wǎng)絡(luò)結(jié)構(gòu)是固定的,參數(shù)個(gè)數(shù)與網(wǎng)絡(luò)形狀相同,可以使用公開的權(quán)重來初始化,而自動(dòng)構(gòu)建的網(wǎng)絡(luò)可能從來都沒有見過,自然也就沒有公開的權(quán)重來初始化.

關(guān)于訓(xùn)練停止的策略,都是用EarlyStopping 策略,也就是網(wǎng)絡(luò)的驗(yàn)證性能在n個(gè)Epoch 后沒有提升就停止訓(xùn)練,驗(yàn)證使用的是驗(yàn)證數(shù)據(jù)集,保留驗(yàn)證性能最高的Epoch 的權(quán)重,將測(cè)試性能記作該網(wǎng)絡(luò)結(jié)構(gòu)的最終性能指標(biāo).在基于AutoML 的方法中,選擇性能指標(biāo)最高的網(wǎng)絡(luò)結(jié)構(gòu)作為最終的網(wǎng)絡(luò)結(jié)構(gòu).

3.3 實(shí)驗(yàn)結(jié)果

在相同的4 組數(shù)據(jù)集上,本文做了一組對(duì)比實(shí)驗(yàn).訓(xùn)練集和測(cè)試集相同,圖像增強(qiáng)技術(shù)只作用于訓(xùn)練數(shù)據(jù).

表格中AutoML 后的2 h、12 h、36 h 指的是網(wǎng)絡(luò)結(jié)構(gòu)搜索的小時(shí)數(shù)為2 小時(shí)、12 小時(shí)、36 小時(shí),本文做實(shí)驗(yàn)的機(jī)器配置：CPU 為雙核4 線程,顯卡內(nèi)存為16 GB,所以這里的搜索時(shí)間與機(jī)器配置也有關(guān)系.對(duì)于AutoML 技術(shù)來說,主要是網(wǎng)絡(luò)結(jié)構(gòu)搜索消耗時(shí)間,所以AutoML 技術(shù)的整個(gè)流程消耗時(shí)間基本上為2 小時(shí)、12 小時(shí)、36 小時(shí)；對(duì)于經(jīng)典的網(wǎng)絡(luò)結(jié)構(gòu)來說,由于有訓(xùn)練過程、調(diào)優(yōu)過程以及反復(fù)的試錯(cuò)過程,消耗時(shí)間均為為3 小時(shí)左右,其中調(diào)優(yōu)過程最為耗時(shí).由表1可知,對(duì)于經(jīng)典網(wǎng)絡(luò)結(jié)構(gòu)來說,沒有一個(gè)網(wǎng)絡(luò)結(jié)構(gòu)在所有數(shù)據(jù)集上性能比其他網(wǎng)絡(luò)結(jié)構(gòu)好,這就是我們每次給定一個(gè)數(shù)據(jù)集需要選擇網(wǎng)絡(luò)結(jié)構(gòu)的原因.而對(duì)于AutoML 技術(shù)來說,只要有足夠的時(shí)間來搜索網(wǎng)絡(luò)結(jié)構(gòu),一定會(huì)獲得較好的性能,而且在一定的時(shí)間范圍內(nèi),搜索時(shí)間越長(zhǎng),搜索到的網(wǎng)絡(luò)性能越好.

表1 AutoML 技術(shù)與經(jīng)典網(wǎng)絡(luò)結(jié)構(gòu)的精度對(duì)比(%)

4 結(jié)論與展望

本文將基于AutoML 的圖像識(shí)別技術(shù)應(yīng)用到保護(hù)區(qū)的物種識(shí)別上,解決了目前對(duì)于不同數(shù)據(jù)集需要重新訓(xùn)練和選擇網(wǎng)絡(luò)的問題.通過實(shí)驗(yàn)結(jié)果的分析,可以看出基于AutoML 的方法能夠自動(dòng)構(gòu)建網(wǎng)絡(luò)結(jié)構(gòu),同時(shí)保證了與人工選擇的經(jīng)典網(wǎng)絡(luò)相持的準(zhǔn)確率.然而在性能上還有待提高,從實(shí)驗(yàn)結(jié)果來看,可能還需要12 小時(shí)的網(wǎng)絡(luò)結(jié)構(gòu)搜索時(shí)間,才能達(dá)到不錯(cuò)的準(zhǔn)確率,可以考慮在訓(xùn)練模型的時(shí)候,采用適當(dāng)?shù)姆椒▉頊p少模型訓(xùn)練時(shí)間,比如提前終止訓(xùn)練,都訓(xùn)練50 步,因?yàn)槲覀儾恍枰雷罱K的性能,只需要知道相對(duì)性能,如果一個(gè)網(wǎng)絡(luò)在50 步的性能比另一個(gè)網(wǎng)絡(luò)高,那么證明這個(gè)網(wǎng)絡(luò)比另一個(gè)網(wǎng)絡(luò)有“潛力”.此外,AutoML 是近年興起的熱門研究領(lǐng)域,基于AutoML 的圖像識(shí)別方法有望設(shè)計(jì)出更好的網(wǎng)絡(luò)結(jié)構(gòu),在準(zhǔn)確率上大幅超過原始的經(jīng)典網(wǎng)絡(luò).