基于Android和深度學(xué)習(xí)的外來(lái)入侵植物智能識(shí)別系統(tǒng)

劉萬(wàn)學(xué)　蒯乃陽(yáng)　韓爽等

中圖分類(lèi)號(hào)：S 431.9 文獻(xiàn)標(biāo)識(shí)碼：A DOI：10.16688/j.zwbh. 2020267

隨著全球經(jīng)濟(jì)一體化的飛速發(fā)展，外來(lái)生物入侵已經(jīng)成為與一個(gè)國(guó)家的經(jīng)濟(jì)發(fā)展、生態(tài)安全、國(guó)際貿(mào)易與政治利益緊密關(guān)聯(lián)的重大科學(xué)問(wèn)題，也是國(guó)際社會(huì)、各國(guó)政府、科學(xué)家與民眾共同關(guān)注的社會(huì)熱點(diǎn)。我國(guó)是世界上外來(lái)生物入侵危害最為嚴(yán)重的國(guó)家之一，在已報(bào)道的600多種外來(lái)入侵物種中占300多種，嚴(yán)重威脅著我國(guó)的生態(tài)安全和農(nóng)林業(yè)生產(chǎn)甚至對(duì)人畜健康和軍事防衛(wèi)構(gòu)成嚴(yán)重威脅。實(shí)現(xiàn)對(duì)入侵植物早期監(jiān)測(cè)預(yù)警和早期及時(shí)防治的一個(gè)重要的前提是實(shí)時(shí)識(shí)別入侵植物的種類(lèi)。目前，入侵植物識(shí)別主要通過(guò)形態(tài)學(xué)分類(lèi)鑒定和分子生物學(xué)鑒定等方法。其中，形態(tài)學(xué)識(shí)別方式主要依靠調(diào)查鑒定人積累的經(jīng)驗(yàn)，或者參考相關(guān)書(shū)籍和網(wǎng)絡(luò)資料進(jìn)行判定，對(duì)于難以辨認(rèn)的種類(lèi)則需要專(zhuān)家鑒定。由于入侵植物種類(lèi)繁多，且有些種類(lèi)之間形態(tài)相似，種內(nèi)也有可能出現(xiàn)變異或發(fā)育階段的可塑性形態(tài)變化。這些因素導(dǎo)致對(duì)入侵植物進(jìn)行識(shí)別時(shí)容易出現(xiàn)誤判，調(diào)查監(jiān)測(cè)的實(shí)時(shí)性也很差;此外，由于專(zhuān)家人數(shù)有限和專(zhuān)業(yè)領(lǐng)域的差異等，也不可能隨時(shí)到現(xiàn)場(chǎng)對(duì)入侵植物進(jìn)行識(shí)別。因此，亟須建立和開(kāi)發(fā)一種入侵植物智能識(shí)別工具，為用戶(hù)提供便捷、高效、實(shí)時(shí)、準(zhǔn)確的入侵植物識(shí)別診斷服務(wù)。

隨著圖像處理技術(shù)和機(jī)器學(xué)習(xí)理論的發(fā)展與應(yīng)用，有很多學(xué)者開(kāi)始利用植物葉片圖像來(lái)研究植物種類(lèi)識(shí)別的方法s。首先通過(guò)圖像采集設(shè)備拍攝單張葉片圖像，然后進(jìn)行葉片圖像的預(yù)處理和背景分割，提取和篩選葉片特征，主要包括全局特征中的顏色、形態(tài)和紋理特征，局部特征中的尺度不變特征變換（scale invariant feature transform）、方向梯度直方圖特征、局部二值模式、Gabor、基于主曲率的區(qū)域檢測(cè)器和多特征融合等，最后篩選出有效特征后訓(xùn)練不同的分類(lèi)器進(jìn)行植物葉片的識(shí)別，分類(lèi)器主要包括支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)、K最鄰近分類(lèi)和稀疏表示分類(lèi)器。

由于植物種類(lèi)繁多，植物葉片存在種間變異和類(lèi)間相似的現(xiàn)象，上述這種傳統(tǒng)的模式識(shí)別方法在自然環(huán)境下難以獲得高識(shí)別率，模型泛化能力差。近幾年，深度學(xué)習(xí)方法中的卷積神經(jīng)網(wǎng)絡(luò)（CNN）在大規(guī)模圖像識(shí)別任務(wù)中表現(xiàn)出色，可以從圖像中自動(dòng)提取成千上萬(wàn)的特征用于識(shí)別圖像中的目標(biāo)。已有學(xué)者將深度學(xué)習(xí)方法應(yīng)用到植物種類(lèi)識(shí)別中，建立卷積神經(jīng)網(wǎng)絡(luò)模型，利用遷移學(xué)習(xí)方法，微調(diào)訓(xùn)練好的模型參數(shù)，獲得了較高的識(shí)別率，這些研究結(jié)果為外來(lái)入侵植物智能識(shí)別提供了較好的理論支撐。隨著智能手機(jī)的日益普及，移動(dòng)應(yīng)用的開(kāi)發(fā)呈現(xiàn)井噴態(tài)勢(shì)，這為實(shí)現(xiàn)便攜的外來(lái)入侵植物智能識(shí)別提供了良好的載體與環(huán)境。將深度學(xué)習(xí)與手機(jī)移動(dòng)設(shè)備兩者結(jié)合實(shí)現(xiàn)移動(dòng)端快速拍照、識(shí)別的應(yīng)用越來(lái)越多，例如“形色”“識(shí)花”“花伴侶”等應(yīng)用軟件，通過(guò)使用手機(jī)拍攝花朵或是植物圖像，進(jìn)行實(shí)時(shí)智能識(shí)別，可以獲得較高的準(zhǔn)確率，為植物和花卉愛(ài)好者提供了一個(gè)便捷的智能識(shí)別工具。本文利用安卓編程語(yǔ)言和深度學(xué)習(xí)方法建立了基于移動(dòng)終端的外來(lái)入侵植物智能識(shí)別系統(tǒng)，實(shí)現(xiàn)客戶(hù)用手機(jī)拍攝未知植物，系統(tǒng)將自動(dòng)識(shí)別結(jié)果實(shí)時(shí)反饋給用戶(hù)，并提供我國(guó)入侵植物信息、危害信息、防治方法和發(fā)生分布信息等信息的查詢(xún)功能。

1材料與方法

1.1系統(tǒng)設(shè)計(jì)

外來(lái)入侵植物智能識(shí)別系統(tǒng)是基于客戶(hù)端（cli-ent）/服務(wù)器（server）模式的應(yīng)用開(kāi)發(fā)，由手機(jī)客戶(hù)端APP、云端服務(wù)器和深度學(xué)習(xí)模型組成。用戶(hù)可通過(guò)客戶(hù)端APP拍照或者圖庫(kù)選取相冊(cè)中的入侵植物圖像，經(jīng)預(yù)覽、裁剪等處理操作后上傳至云服務(wù)器，云服務(wù)器調(diào)用算法對(duì)圖像進(jìn)行自動(dòng)識(shí)別后再將結(jié)果反饋給客戶(hù)端，客戶(hù)也可通過(guò)遠(yuǎn)程專(zhuān)家診斷功能進(jìn)行在線咨詢(xún)。系統(tǒng)技術(shù)路線如圖1所示。

1.2試驗(yàn)數(shù)據(jù)

本文的圖像數(shù)據(jù)一部分來(lái)自中國(guó)農(nóng)業(yè)科學(xué)院植物保護(hù)研究所，一部分來(lái)自網(wǎng)絡(luò)圖片，共35科135種16 843幅入侵植物圖像，所有圖片經(jīng)過(guò)專(zhuān)業(yè)人員鑒定。訓(xùn)練集與測(cè)試集圖像樣本量按照4：1分配，其中13469幅圖像作為訓(xùn)練集，3 374幅作為測(cè)試集。

1.3圖像數(shù)據(jù)增強(qiáng)

通過(guò)添加噪聲、增強(qiáng)亮度、增加對(duì)比度和旋轉(zhuǎn)等方法（圖2）對(duì)訓(xùn)練圖像進(jìn)行圖像數(shù)據(jù)增強(qiáng)，訓(xùn)練集擴(kuò)增到原來(lái)的5倍。

1.4基于DenseNet的入侵植物識(shí)別模型的建立與結(jié)果的評(píng)價(jià)

DenseNet模型的網(wǎng)絡(luò)結(jié)構(gòu)主要由稠密塊dense block和過(guò)渡層transition layer組成（圖3）。在稠密塊中每層之間采用非線性組合函數(shù)BN+ReLU+3×3 conv的結(jié)構(gòu)，過(guò)渡層包含卷積層和池化層。DenseNet采用密集連接機(jī)制和通過(guò)特征在channel上的連接來(lái)實(shí)現(xiàn)特征重用，這些特點(diǎn)讓DenseNet在參數(shù)和計(jì)算成本更少的情形下比ResNet具有更優(yōu)的性能。

利用識(shí)別率來(lái)評(píng)價(jià)模型對(duì)外來(lái)人侵植物的識(shí)別情況。

識(shí)別率一測(cè)試集中識(shí)別正確的圖像數(shù)/測(cè)試集中外來(lái)入侵植物圖像總數(shù)。

1.5基于Android的外來(lái)入侵植物識(shí)別系統(tǒng)APP的設(shè)計(jì)

在Android開(kāi)發(fā)環(huán)境Android Srudio下實(shí)現(xiàn)入侵植物識(shí)別的客戶(hù)端APP，其核心功能包括用戶(hù)登錄、入侵植物信息查詢(xún)、入侵植物圖像采集和上傳、識(shí)別結(jié)果的反饋、入侵植物拍攝點(diǎn)的地理信息和專(zhuān)家遠(yuǎn)程診斷等。

利用Material Design控件設(shè)計(jì)UI界面。用戶(hù)登錄模塊使用post請(qǐng)求攜帶用戶(hù)名和密碼等信息參數(shù)訪問(wèn)服務(wù)器，服務(wù)器接受請(qǐng)求后返回回調(diào)信息。

利用ViewPager組件、RecyclerView自定義控件、SearchView和PhotoView圖片查看庫(kù)實(shí)現(xiàn)入侵植物信息查詢(xún)模塊。

利用百度提供的Android地圖SDK接口，通過(guò)使用GPS或網(wǎng)絡(luò)定位功能獲取手機(jī)當(dāng)前位置，使用post請(qǐng)求攜帶位置信息訪問(wèn)服務(wù)器數(shù)據(jù)庫(kù)，服務(wù)器接受請(qǐng)求后將附近的入侵植物信息以Json數(shù)據(jù)格式返回，客戶(hù)端解析后結(jié)合Glide圖片加載庫(kù)在地圖上提供實(shí)時(shí)的入侵植物位置信息，通過(guò)GPS距離換算可顯示入侵植物與用戶(hù)位置的距離。

圖片選擇提供了自定義相機(jī)拍照與圖庫(kù)選取兩種方式。自定義相機(jī)調(diào)用Camera2 API接口，獲取攝像頭管理器CameraManager openCamera打開(kāi)攝像頭，調(diào)用takePreview在SurfaceView中進(jìn)行預(yù)覽拍照，使用ImageReader回調(diào)方法將拍攝的圖像進(jìn)行顯示。也可以從圖庫(kù)中選擇入侵植物圖像，無(wú)論通過(guò)什么方式獲得待識(shí)別植物圖像，均可以對(duì)圖像進(jìn)行裁剪。手機(jī)與云服務(wù)器傳輸模式是基于HTTP協(xié)議。使用post方法以表單形式向服務(wù)器發(fā)出上傳請(qǐng)求，然后將發(fā)送內(nèi)容按HTTP協(xié)議標(biāo)準(zhǔn)以二進(jìn)制流的方式進(jìn)行包裝，發(fā)送至Web服務(wù)器端，服務(wù)器解析二進(jìn)制數(shù)據(jù)流后根據(jù)識(shí)別請(qǐng)求調(diào)用相應(yīng)的識(shí)別算法實(shí)現(xiàn)入侵植物的識(shí)別;最后將識(shí)別結(jié)果按Json數(shù)據(jù)格式反饋回客戶(hù)端。客戶(hù)端解析獲得識(shí)別結(jié)果后按相似度最高的5種入侵植物排序顯示在手機(jī)屏幕上，為用戶(hù)提供參考，如果第一種植物特征不符合待識(shí)別植物，則選擇下面4種植物中的一種或者以上均不是的結(jié)果，選定“是”，這幅待識(shí)別的圖像將保存在服務(wù)器中，有待于專(zhuān)家遠(yuǎn)程鑒定，豐富入侵植物圖像數(shù)據(jù)庫(kù)種類(lèi)和數(shù)量。

1.6服務(wù)端入侵植物識(shí)別模型的部署

利用JDBC與MySQL建立數(shù)據(jù)庫(kù)管埋系統(tǒng)，包括用戶(hù)注冊(cè)信息數(shù)據(jù)表、第三方登錄信息數(shù)據(jù)表、入侵植物圖像信息數(shù)據(jù)表以及診斷信息數(shù)據(jù)表。通過(guò)使用DAO模式將業(yè)務(wù)代碼和數(shù)據(jù)庫(kù)操作代碼分離，利用連接池來(lái)減少頻繁的連接創(chuàng)建，提高數(shù)據(jù)庫(kù)整體的操作性能。

利用JSP和Servlet實(shí)現(xiàn)基于HTTP協(xié)議的客戶(hù)端與服務(wù)器端的通信，同時(shí)編寫(xiě)Servlet業(yè)務(wù)邏輯，利用Commons Fileupload開(kāi)源類(lèi)庫(kù)實(shí)現(xiàn)二進(jìn)制數(shù)據(jù)流的接收與解析，通過(guò)壓縮識(shí)別后的入侵植物圖片，提高客戶(hù)端緩存圖片的速率以及地圖模塊入侵植物分布的顯示效果。

為了解決算法模型的調(diào)用問(wèn)題，采用JNI本地方法接口，通過(guò)生成DLL動(dòng)態(tài)鏈接庫(kù)來(lái)進(jìn)行實(shí)現(xiàn)，添加模型文件，均值文件，權(quán)值文件，標(biāo)簽文件即可實(shí)現(xiàn)遠(yuǎn)端服務(wù)器的識(shí)別檢測(cè)。

2結(jié)果與分析

2.1模型識(shí)別結(jié)果

基于DenseNet的入侵植物識(shí)別模型對(duì)135種入侵植物進(jìn)行識(shí)別，以最大相似度的識(shí)別結(jié)果為正確結(jié)果的識(shí)別率為85. 3%，以最大相似度前5個(gè)結(jié)果中有正確結(jié)果的識(shí)別率為96. 2%。結(jié)果表明基于DenseNet的入侵植物識(shí)別模型可以實(shí)現(xiàn)對(duì)多種入侵植物的識(shí)別。

2.2基于Android的外來(lái)入侵植物識(shí)別系統(tǒng)APP

2.2.1用戶(hù)注冊(cè)、登錄與地圖顯示

用戶(hù)可以進(jìn)行注冊(cè)和登錄操作，登錄時(shí)可選擇記住密碼和直接登錄，若選擇直接登錄則下次打開(kāi)軟件時(shí)會(huì)跳過(guò)登錄界面，默認(rèn)使用上次登錄的用戶(hù)（圖4a）。登錄成功之后進(jìn)入主界面，以地圖顯示拍照附近的位置（圖4b），主界面中用BottomNavigationView控件實(shí)現(xiàn)底部導(dǎo)航欄，用戶(hù)可以點(diǎn)擊底部導(dǎo)航欄或者滑動(dòng)切換功能模塊。

2.2.2入侵植物信息查詢(xún)模塊

可以對(duì)35科135種入侵植物按照中文或拉丁文的學(xué)名進(jìn)行快速查詢(xún)（圖5a），點(diǎn)擊植物詳情可查看該植物的基本情況、發(fā)生地區(qū)分布、分類(lèi)地位、形態(tài)特征、生物防治、藥劑防治、首次發(fā)現(xiàn)或引入的地點(diǎn)及時(shí)間、危害特性、生境類(lèi)型、可能擴(kuò)散的區(qū)域和預(yù)防控制管理措施等信息（圖5b），可以查看該植物的更多圖片（圖5c）。

2.2.3圖像采集、裁剪與識(shí)別模塊

用戶(hù)可以通過(guò)自定義相機(jī)拍照或圖庫(kù)選取待識(shí)別的植物圖像（圖6a，b），可以對(duì)圖像進(jìn)行裁剪，使植物處于圖像的中間，使植物區(qū)域圖像最大化（圖6c）。將裁剪后的圖像發(fā)送到服務(wù)器，Web服務(wù)器端調(diào)用入侵植物識(shí)別模型進(jìn)行識(shí)別，并將識(shí)別結(jié)果按相似度從高到低列出前5種入侵植物反饋到用戶(hù)的手機(jī)端（圖6d）。如果給出的5種植物均不符合待識(shí)別的植物，可請(qǐng)求專(zhuān)家進(jìn)行遠(yuǎn)程鑒定。

一幅入侵植物圖像從上傳到服務(wù)器到識(shí)別反饋到客戶(hù)端，在GPU模式下識(shí)別響應(yīng)時(shí)間在1～2s，滿足實(shí)際應(yīng)用需求。

3結(jié)論與討論

本研究開(kāi)發(fā)建立的外來(lái)入侵植物識(shí)別系統(tǒng)APP可以為基層科技人員、科研教學(xué)單位人員、學(xué)生以及