基于Android和卷積神經(jīng)網(wǎng)絡(luò)的鳥類識(shí)別系統(tǒng)①

肖理想,羅 澤

1(中國(guó)科學(xué)院 計(jì)算機(jī)網(wǎng)絡(luò)信息中心,北京 100190)

2(中國(guó)科學(xué)院大學(xué),北京 100049)

1 前言

深度學(xué)習(xí)的快速發(fā)展,已經(jīng)在許多領(lǐng)域取得了巨大的成功.一方面,卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNNs)[1,2]在圖像識(shí)別上取得了的巨大的進(jìn)步,另一方面,移動(dòng)手機(jī)當(dāng)前已經(jīng)成為人類日常生活的隨身攜帶之物,手機(jī)上的各式各樣的應(yīng)用程序(Applications,APPs)能幫助人類進(jìn)行更好的決策.目前,智能終端上基于卷積神經(jīng)網(wǎng)絡(luò)模型的應(yīng)用程序絕大多數(shù)都是采用“客戶端-服務(wù)端”模式,但是該模式不僅強(qiáng)依賴于網(wǎng)絡(luò)性能(如網(wǎng)速等)而且會(huì)導(dǎo)致用戶數(shù)據(jù)泄露.數(shù)據(jù)表明,我國(guó)部分地區(qū)還不能實(shí)現(xiàn)網(wǎng)絡(luò)的全覆蓋,這會(huì)對(duì)一些強(qiáng)依賴網(wǎng)絡(luò)的應(yīng)用程序造成很大影響.例如,科研工作者工作在無網(wǎng)絡(luò)的野外、海洋等地區(qū),這些強(qiáng)依賴網(wǎng)絡(luò)的應(yīng)用程序就不能使用.因此,將卷積神經(jīng)網(wǎng)絡(luò)遷移到移動(dòng)智能終端上直接運(yùn)行是必須的也是必要的,本文的目的就是將鳥類識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)模型遷移到安卓設(shè)備上,使其能夠在任務(wù)網(wǎng)絡(luò)情況下使用.

眾所周知,卷積神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別上取得了巨大的進(jìn)展,從LeCun 等人提出LeNet 網(wǎng)絡(luò)模型,再到2012年AlexNet[3]在ImageNet 比賽上奪得冠軍,之后越來越多的科研機(jī)構(gòu)和大型科技公司都在卷積神經(jīng)網(wǎng)絡(luò)的研究上上投入巨大的精力.最近幾年,從VGGNets[4]、InceptionV3[5]再到ResNet 等網(wǎng)絡(luò)在圖像識(shí)別上的準(zhǔn)確率逐步提高,已經(jīng)超過人類的識(shí)別精度.但是這些都基于粗粒度分類和云端服務(wù)器的模型,由于移動(dòng)設(shè)備的計(jì)算能力和存儲(chǔ)能力有限,基于移動(dòng)設(shè)備的網(wǎng)絡(luò)模型一直發(fā)展緩慢.隨著谷歌在2017年提出一種基于移動(dòng)設(shè)備的圖像識(shí)別的深度學(xué)習(xí)模型MobileNets[6,7],之后曠世科技進(jìn)一步提出了ShuffleNet 網(wǎng)絡(luò).這些基于移動(dòng)設(shè)備網(wǎng)絡(luò)模型在計(jì)算和存儲(chǔ)能力有限的移動(dòng)設(shè)備上取得不錯(cuò)的效果,本文主要基于MobileNets 網(wǎng)絡(luò)進(jìn)行模型融合探索和實(shí)驗(yàn).

細(xì)粒度識(shí)別是近年來圖像識(shí)別的熱門任務(wù)之一,細(xì)粒度識(shí)別的難點(diǎn)在于其圖像所屬類別的粒度更為精細(xì),不容易定位圖像的局部敏感特征.許多學(xué)者都在嘗試提高細(xì)粒度識(shí)別的精度,Lin TY 等[8]人提出Bilinear CNN 模型進(jìn)行細(xì)粒度識(shí)別,論文提出使用兩種CNN模型進(jìn)行特征提取,之后使用外積組合得到局部敏感特征.Fu JL 等[9]人提出將注意力(attention)機(jī)制加入到圖像識(shí)別中,使用分類網(wǎng)絡(luò)和標(biāo)注網(wǎng)絡(luò)交替訓(xùn)練,提高分類準(zhǔn)確率.

神經(jīng)網(wǎng)絡(luò)模型遷移到移動(dòng)設(shè)備上也有一些工作者做出過嘗試,例如,梁淑芬等人[10]將輕量級(jí)的LeNet 網(wǎng)絡(luò)應(yīng)用到移動(dòng)設(shè)備上進(jìn)行身份證號(hào)碼的識(shí)別,南京航空航天大學(xué)的劉程等人[11]基于向量之間的比較將人臉識(shí)別程序遷移到移動(dòng)設(shè)備上進(jìn)行打卡試驗(yàn).上述兩種應(yīng)用都取得的不錯(cuò)的效果,但是LeNet 網(wǎng)絡(luò)處理能力有限很難應(yīng)對(duì)大規(guī)模的圖像分類,尤其在細(xì)粒度圖像識(shí)別上表現(xiàn)的更差；基于向量比較的人臉識(shí)別在預(yù)測(cè)的時(shí)候主要是通過設(shè)置的關(guān)鍵點(diǎn)進(jìn)行特征提取之后再進(jìn)行向量的比較.

本文設(shè)計(jì)了一個(gè)基于卷積神經(jīng)網(wǎng)絡(luò)的鳥類識(shí)別系統(tǒng),使用基于移動(dòng)設(shè)備的卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行模型融合.考慮到細(xì)粒度識(shí)別[12,13]的特點(diǎn),使用不同特征的加權(quán)平均進(jìn)行訓(xùn)練,為了得到圖像的局部特征使用雙線型模型融合,分析了大量的圖像并提出使用物理裁剪的方式來近似替代標(biāo)注工作,融合多圖像特征進(jìn)行訓(xùn)練.最后將實(shí)驗(yàn)之后的模型,遷移到安卓設(shè)備上運(yùn)行.

2 系統(tǒng)架構(gòu)設(shè)計(jì)

2.1 整體結(jié)構(gòu)設(shè)計(jì)

系統(tǒng)的整體架構(gòu)如圖1所示.系統(tǒng)采用功能模塊化進(jìn)行結(jié)構(gòu)設(shè)計(jì),降低系統(tǒng)的耦合度,使得系統(tǒng)設(shè)計(jì)、調(diào)試和維護(hù)等操作簡(jiǎn)單化,具有更多的靈活性,使得系統(tǒng)能夠同時(shí)支持在線和離線兩種鑒定方式.本文的功能模塊化設(shè)計(jì)不僅考慮到整體的耦合性,而且可以在系統(tǒng)層面進(jìn)行優(yōu)化加速,系統(tǒng)通過輪詢當(dāng)前設(shè)備的網(wǎng)絡(luò)狀況,根據(jù)網(wǎng)絡(luò)狀況提前預(yù)加載資源或者釋放資源來提高系統(tǒng)的運(yùn)行效率.

圖1 系統(tǒng)結(jié)構(gòu)圖

圖1中分別用實(shí)線和虛線表示離線和在線兩種鑒定方式,可以看到這兩種方式都通過數(shù)據(jù)處理模塊進(jìn)行調(diào)用,這樣可以根據(jù)用戶的網(wǎng)絡(luò)情況自動(dòng)調(diào)用對(duì)應(yīng)的服務(wù),給用戶更好的體驗(yàn)效果.當(dāng)系統(tǒng)檢測(cè)到移動(dòng)設(shè)備上的網(wǎng)絡(luò)狀況很差的時(shí)候,自動(dòng)加載數(shù)據(jù)資源,為用戶接下來的離線鑒定做好準(zhǔn)備,系統(tǒng)通過網(wǎng)絡(luò)狀態(tài)輪詢的方式,當(dāng)系統(tǒng)的網(wǎng)絡(luò)狀態(tài)良好時(shí)候,釋放加載的資源,降低資源浪費(fèi)率.系統(tǒng)默認(rèn)根據(jù)網(wǎng)絡(luò)情況選擇選擇不同的服務(wù).具體的優(yōu)化結(jié)構(gòu)如圖2所示.

圖2 系統(tǒng)輪詢優(yōu)化

3 相關(guān)工作

3.1 相關(guān)工具

Tensorflow[14]是一個(gè)基于數(shù)據(jù)流編程(dataflow programming)的符號(hào)數(shù)學(xué)系統(tǒng),被廣泛應(yīng)用于各類機(jī)器學(xué)習(xí)(machine learning)算法的編程實(shí)現(xiàn),是目前使用最廣泛的深度學(xué)習(xí)框架.TensorFlow Lite 是Tensor Flow 針對(duì)移動(dòng)和嵌入式設(shè)備的輕量級(jí)解決方案.它使基于設(shè)備的機(jī)器學(xué)習(xí)模型預(yù)測(cè)具有低延遲和低功耗.TensorFlow Lite 還支持硬件加速的Android 神經(jīng)網(wǎng)絡(luò)應(yīng)用程序編程接口(Application Programming Interface,API).Keras 是一個(gè)高層神經(jīng)網(wǎng)絡(luò)的API,Keras 由純Python 編寫而成并基于TensorFlow、Theano和CNTK 后端.由于Keras 使用簡(jiǎn)單快速,能夠快速的開發(fā)深度學(xué)習(xí)模型,受到了很多科研工作者的青睞.

3.2 遷移學(xué)習(xí)

本文使用遷移學(xué)習(xí)[15,16]訓(xùn)練模型,基于ImageNet的權(quán)重進(jìn)行預(yù)訓(xùn)練,之后進(jìn)行微調(diào).基于遷移學(xué)習(xí)的模型訓(xùn)練方式一般有兩種,第一,將預(yù)訓(xùn)練的模型作為圖片的特征提取器,將整個(gè)任務(wù)作為一個(gè)多分類問題；第二,先訓(xùn)練頂層網(wǎng)絡(luò)參數(shù),微調(diào)原有網(wǎng)絡(luò)部分層的參數(shù).詳細(xì)信息如表1所示.

表1 遷移學(xué)習(xí)方式

為了判斷遷移學(xué)習(xí)模型提取特征的有效性,本文通過PCA[17]降維進(jìn)行特征可視化,隨機(jī)選擇三類鳥進(jìn)行二維平面的顯示,顯示結(jié)果如圖3所示.從圖3中可以看出在二維平面上三類鳥的散點(diǎn)基本分散,可以認(rèn)為模型提取的特征是有效的特征.

圖3 遷移學(xué)習(xí)特征降維圖

3.3 數(shù)據(jù)存儲(chǔ)

本系統(tǒng)的數(shù)據(jù)主要包括鳥類的基本信息和每個(gè)鳥的代表圖.由于大小的限制,移動(dòng)設(shè)備上不存儲(chǔ)鳥類的圖集和聲音數(shù)據(jù).對(duì)于數(shù)據(jù)庫(kù)中所有的鳥,選擇一個(gè)最具代表性的圖片進(jìn)行壓縮至適中的縮略圖來代表這個(gè)鳥進(jìn)行顯示.本文提取數(shù)據(jù)庫(kù)中的基本信息并存儲(chǔ)在Json 文件中,將每個(gè)鳥的縮略圖重命名為其對(duì)應(yīng)的id.鳥類的基本信息如下：

4 模型融合方法

4.1 加權(quán)平均融合

本文使用遷移學(xué)習(xí)訓(xùn)練模型,將卷積神經(jīng)網(wǎng)絡(luò)模型作為特征提取器,加權(quán)平均融合采用一主一輔的策略進(jìn)行模型融合,主模型特征的權(quán)重是1 -a,輔模型特征的權(quán)重是1 -a.訓(xùn)練時(shí)特征的計(jì)算公式如下：

訓(xùn)練完成后需要保存主模型和訓(xùn)練好的全連接層,以及輔模型在訓(xùn)練數(shù)據(jù)上所有特征的平均值.測(cè)試的時(shí)候的使用特征的計(jì)算公式如下：

其中,MainVec表示主模型提取的特征向量,AssistVec是輔模型提取的特征向量,AssistAvgVec是輔模型在訓(xùn)練數(shù)據(jù)上的特征平均值向量.加權(quán)平均的融合方式可以從方差的角度進(jìn)行分析,可以認(rèn)為是在主模型特征中加入了部分?jǐn)_動(dòng),在圖像特征中加入擾動(dòng)就相當(dāng)于在圖像中加入噪聲,這種噪聲可以認(rèn)為測(cè)試數(shù)據(jù)是模糊的、缺失的低質(zhì)量圖像.這種融合方式的優(yōu)點(diǎn)是僅僅需要保存主模型和輔模型在訓(xùn)練數(shù)據(jù)上的平均特征向量,可以很好的預(yù)測(cè)低質(zhì)量的圖像.缺點(diǎn)是超參數(shù)a不好確定,在實(shí)際使用中可以通過交叉驗(yàn)證得到最優(yōu)的超參數(shù).模型結(jié)構(gòu)如圖4所示.

圖4 加權(quán)平均融合

4.2 雙線型融合

加權(quán)平均融合是特征的加權(quán)平均,從結(jié)構(gòu)來看,這是雙線型模型的一種特例,雙線型融合的策略是使用兩個(gè)卷積神經(jīng)模型進(jìn)行特征提取,之后進(jìn)行叉乘操作得到局部敏感特征.由于叉乘之后的數(shù)據(jù)維度過高,本文使用PCA 進(jìn)行降維處理,模型的架構(gòu)如圖5所示.

圖5 雙線型模型訓(xùn)練方式

雙線型融合模型的優(yōu)點(diǎn)是使用叉乘擴(kuò)充特征,有可能得到局部敏感特征,加權(quán)平均的方式關(guān)注的是低質(zhì)量的圖像,雙線型模型更關(guān)注細(xì)粒度分類的本身特點(diǎn),希望找到更精細(xì)的識(shí)別特征,提升模型的準(zhǔn)確率.雙線型融合的缺點(diǎn)是PCA 的降維的參數(shù)不好設(shè)置,考慮到叉乘之后的維度不能太大,建議PCA 的維度設(shè)置在[20,30]之間,同時(shí)可以使用交叉驗(yàn)證的方式,選擇最優(yōu)的PCA 維度.另外一個(gè)缺點(diǎn)是雙線型融合需要保存兩個(gè)模型,這使得模型的大小擴(kuò)大一倍,除此之外,由于模型中使用了PCA 降維,使得整個(gè)模型不是端到端的模式.

4.3 多圖片單模型融合

雙線型模型只考慮了提高細(xì)粒度鳥類識(shí)別的精度問題,模型卻擴(kuò)大一倍.通過結(jié)構(gòu)圖可以得到,雙線型融合是對(duì)同一圖像使用不同的特征提取方式,目的是得到更精細(xì)的分類特征.對(duì)于細(xì)粒度識(shí)別問題,文獻(xiàn)[9]中指出可以直接關(guān)注局部位置例如鳥喙和翅膀等,例如使用YOLO 等模型先標(biāo)記出鳥喙和翅膀等位置,裁剪出來局部位置,使用同一個(gè)模型分別提取原始圖像和局部位置圖像特征.考慮到移動(dòng)設(shè)備的存儲(chǔ)能力和計(jì)算能力,不能直接使用YOLO 等類似模型.本文提出了一種近似的物理裁剪的替代方法,如果使用隨機(jī)標(biāo)記裁剪的方式,由于具有很大隨機(jī)性的會(huì)對(duì)模型有很大的擾動(dòng).本文分析了大量鳥的圖像和用戶使用智能手機(jī)的拍照習(xí)慣,發(fā)現(xiàn)一般情況下鳥都會(huì)在圖片的中心,因此本文使用中心裁剪替代隨機(jī)裁剪.我們將這種融合方式叫做多圖片單模型融合.多圖片單模型融合的優(yōu)點(diǎn)是簡(jiǎn)單,相對(duì)雙線型融合網(wǎng)絡(luò)模型沒有增大,適合在移動(dòng)設(shè)備使用.缺點(diǎn)是,如果鳥的位置不在圖像的中心,會(huì)得到一個(gè)較差的結(jié)果.具體的模型結(jié)構(gòu)如圖6所示.

圖6 多圖片單模型融合

5 實(shí)驗(yàn)結(jié)果分析

5.1 實(shí)驗(yàn)數(shù)據(jù)和環(huán)境

本文的實(shí)驗(yàn)數(shù)據(jù)是100 類鳥,訓(xùn)練數(shù)據(jù)共有36,782 張鳥的圖像,測(cè)試數(shù)據(jù)和驗(yàn)證數(shù)據(jù)每類鳥各有20 張圖像.本文使用兩種測(cè)試環(huán)境分別是臺(tái)式機(jī)測(cè)試環(huán)境和安卓手機(jī)測(cè)試環(huán)境,臺(tái)式機(jī)測(cè)試環(huán)境具體的參數(shù)是：Ubuntu16.04LTS 操作系統(tǒng),8 核Intel Core i7 處理器,12 GB 內(nèi)存.安卓測(cè)試環(huán)境具體參數(shù)是：Android 5.1 操作系統(tǒng),聯(lián)發(fā)科8 核處理器,2 GB 運(yùn)行內(nèi)存.

5.2 加權(quán)平均融合

加權(quán)平均融合有兩個(gè)難點(diǎn),分別是模型的選擇和超參數(shù)a的設(shè)置,本文主模型選擇使用MobileNet 卷積神經(jīng)網(wǎng)絡(luò)模型,輔模型選擇InceptionV3 卷積模型和Xception 卷積模型進(jìn)行對(duì)比實(shí)驗(yàn),而且對(duì)比了超參數(shù)a=0.9和a=0.95的實(shí)驗(yàn)結(jié)果.具體實(shí)驗(yàn)結(jié)果如表2所示.

表2 加權(quán)平均融合實(shí)驗(yàn)結(jié)果

從表中可以看出,當(dāng)超參數(shù)a=0.95相 比a=0.9,融合模型的準(zhǔn)確率更高.從方差的角度來看,輔模型的權(quán)重越大,相當(dāng)于加入的擾動(dòng)方差越大,對(duì)模型的結(jié)果影響較大,本文的測(cè)試數(shù)據(jù)和訓(xùn)練數(shù)據(jù)都是高質(zhì)量的圖像,因此輔模型的權(quán)重越小,更能得到好的結(jié)果.目前,智能設(shè)備的拍攝的圖像質(zhì)量越來越高,因此建議使用較小的輔模型權(quán)重.加權(quán)平均的融合方式比單模型MobileNet 的準(zhǔn)確率更低的原因是因?yàn)榧訖?quán)平均融合加入了方差擾動(dòng),當(dāng)圖片模糊的時(shí)候會(huì)取得更好的結(jié)果,但是測(cè)試數(shù)據(jù)集中的圖片質(zhì)量較高,加權(quán)只是增加了擾動(dòng),不能得到更好的結(jié)果.

5.3 雙線型融合

加權(quán)平均融合對(duì)模糊的圖像更友好,從結(jié)構(gòu)上來看,加權(quán)平均模型是雙線型模型的一種特例.加權(quán)平均融合區(qū)分主輔模型,雙線型融合沒有模型的主次之分,同時(shí)使用兩種模型進(jìn)行特征提取.本文選擇基于移動(dòng)設(shè)備的網(wǎng)絡(luò)模型 MobileNet和MobileNetV2 作為雙線型融合方法的基特征提取器.PCA 的維度選擇了20和25 進(jìn)行實(shí)驗(yàn),為了更好的對(duì)比實(shí)驗(yàn)結(jié)果,本文還選擇了MobileNet和Xception 的雙線型融合進(jìn)行對(duì)比實(shí)驗(yàn).實(shí)驗(yàn)結(jié)果如表3所示.

表3 雙線型融合實(shí)驗(yàn)結(jié)果

上文提到可以通過交叉驗(yàn)證得到最優(yōu)的PCA 維度,這樣雖然可以得到很好的結(jié)果,但是訓(xùn)練速度卻很慢.本文給出一種簡(jiǎn)單的PCA 維度的選擇方法,可以通過可視化叉乘之后的特征來判斷選擇何種維度進(jìn)行降維,圖7從左到右依次是原圖、PCA 維度等于20 的熱力圖和PCA 維度等于25 的熱力圖.從圖7中的熱力圖可以看出PCA 維度等于20 維的時(shí)候,特征更關(guān)注鳥喙的位置,可以認(rèn)為得到了更好的敏感特征.

5.4 多圖片單模型融合

雙線型融合的優(yōu)點(diǎn)在于能夠得到局部敏感特征,缺點(diǎn)是需要保存兩個(gè)模型.多圖片模型融合基于Bounding Box 思想,使用物理方式裁剪局部敏感位置,是一種基于圖像的雙線型融合方式.本文使用MobileNetV2 模型進(jìn)行對(duì)比實(shí)驗(yàn),分別對(duì)比了隨機(jī)裁剪和中心裁剪兩種裁剪方式,設(shè)置裁剪框的大小是原圖的1/2.實(shí)驗(yàn)結(jié)果如表4所示.

圖7 PCA 維度熱力圖

表4 多圖片單模型融合實(shí)驗(yàn)結(jié)果

從表4中可以看出中心裁剪得到的結(jié)果更好,主要因?yàn)殡S機(jī)裁剪具有很大地不穩(wěn)定性,并且訓(xùn)練和測(cè)試數(shù)據(jù)中鳥一般出現(xiàn)在圖像的中心位置,這也更符合用戶的習(xí)慣,相對(duì)隨機(jī)裁剪的方式更穩(wěn)定.本文給出了中心裁剪、隨機(jī)裁剪和原圖叉乘之后的熱力圖結(jié)果,圖8從左到右依次是原圖裁剪、中心裁剪的熱力圖和隨機(jī)裁剪的熱力圖.從圖8可以看出,中心裁剪的方式更多的關(guān)注翅膀和頭的位置,得到了相對(duì)較好的局部特征.

5.5 融合算法對(duì)比

3種不同的融合方式,各有其優(yōu)缺點(diǎn).加權(quán)平均融合對(duì)模糊圖像有很好的表現(xiàn),但對(duì)于高清圖像誤差較大；雙線型融合可以提取圖像的局部敏感特征便于細(xì)粒度識(shí)別,但對(duì)于移動(dòng)設(shè)備而言它的模型相對(duì)較大；多圖片單模型是一種基于圖像的雙線型模型,在提取敏感特征的同時(shí)不會(huì)增加模型大小,是一種較好的算法模型,缺點(diǎn)是裁剪方式和圖片有很大關(guān)系.表5給出3 種融合方式最優(yōu)實(shí)驗(yàn)結(jié)果的對(duì)比結(jié)果.

圖8 裁剪方式熱力圖

表5 融合方式最優(yōu)實(shí)驗(yàn)結(jié)果對(duì)比

6 系統(tǒng)設(shè)計(jì)

6.1 模型選擇

本文通過對(duì)比上述所有融合方法的實(shí)驗(yàn)結(jié)果,綜合考慮移動(dòng)設(shè)備的計(jì)算能力和存儲(chǔ)能力以及模型融合的準(zhǔn)確率,系統(tǒng)最后選擇了基于多圖片單模型融合的方式,使用這種方式訓(xùn)練得到MobileNetV2 模型投入使用.由于多圖片單模型融合對(duì)圖像中鳥的位置很敏感,為了提高APP 的友好性,系統(tǒng)也提供了原始Mobile-Net 的模型供用戶使用.

6.2 系統(tǒng)測(cè)試

用戶進(jìn)入主界面的時(shí),系統(tǒng)自動(dòng)進(jìn)行網(wǎng)絡(luò)狀態(tài)檢測(cè),如果檢測(cè)到?jīng)]有網(wǎng)絡(luò)或者網(wǎng)絡(luò)狀態(tài)很差,就將模型和數(shù)據(jù)文件提前加載到內(nèi)存中,當(dāng)用戶使用本地模型進(jìn)行測(cè)試的時(shí)候,直接使用加載好的模型和鳥類的基本信息,可以直接進(jìn)行預(yù)測(cè).網(wǎng)絡(luò)狀況的檢測(cè)是輪詢進(jìn)行的,當(dāng)檢測(cè)到網(wǎng)絡(luò)存在時(shí),會(huì)自動(dòng)調(diào)用云端的模型,這時(shí)就釋放已經(jīng)加載好的資源,減少內(nèi)存使用.離線模型的運(yùn)行結(jié)果如圖9所示.

圖9 系統(tǒng)測(cè)試圖

7 結(jié)論與展望

本文構(gòu)建了一個(gè)基于安卓平臺(tái)和卷積神經(jīng)網(wǎng)絡(luò)的離線鳥類識(shí)別系統(tǒng),提出了基于細(xì)粒度識(shí)別的三種模型融合方式,分別使用加權(quán)平均融合、雙線型融合和多圖片單模型融合的方法在鳥類數(shù)據(jù)上進(jìn)行了實(shí)驗(yàn).本文訓(xùn)練的模型直接運(yùn)行在移動(dòng)設(shè)備上,不依賴任何外部的計(jì)算資源和存儲(chǔ)資源.為了進(jìn)一步提高鳥類識(shí)別的準(zhǔn)確率,采用融合思想進(jìn)行訓(xùn)練模型.從整體來看,本文使用遷移學(xué)習(xí)降低模型訓(xùn)練的時(shí)間,得到相對(duì)較優(yōu)的算法模型,并且在移動(dòng)設(shè)備上取得了預(yù)期的效果.本文雖然取得了不錯(cuò)的效果,但是將深度學(xué)習(xí)模型遷移到移動(dòng)設(shè)備[18]上還有很長(zhǎng)的路要走.為了在計(jì)算和存儲(chǔ)能力都有限的移動(dòng)設(shè)備上運(yùn)行深度學(xué)習(xí)模型還需要進(jìn)一步的研究,例如提出更優(yōu)的適合移動(dòng)設(shè)備的網(wǎng)絡(luò)結(jié)構(gòu),提高移動(dòng)設(shè)備的計(jì)算能力和儲(chǔ)存能力.