基于深度學(xué)習(xí)服務(wù)的遙感影像農(nóng)作物分類系統(tǒng)設(shè)計(jì)

王丹丹，范 沖，莫東霖

（中南大學(xué)，地球科學(xué)與信息物理學(xué)院，湖南 長沙 410083）

0 引言

我國是人口大國，同時(shí)也是農(nóng)業(yè)大國，各類農(nóng)作物的結(jié)構(gòu)、產(chǎn)量等種植情況，將對國際農(nóng)作物價(jià)格產(chǎn)生較大影響。及時(shí)獲取并掌握農(nóng)作物生長信息，意義重大。其時(shí)效性也不可忽視，精確并快速地了解農(nóng)作物情況，無論是對生產(chǎn)管理而言，還是對科學(xué)決策避免損失而言，都具有重要意義。

遙感應(yīng)用于農(nóng)業(yè)的傳統(tǒng)方法主要依靠人工解譯，由專業(yè)人員結(jié)合影像光譜特征進(jìn)行目視解譯來獲取目標(biāo)信息，相當(dāng)費(fèi)時(shí)、費(fèi)力。后來發(fā)展出人機(jī)交互解譯［1］、多種技術(shù)結(jié)合的半自動解譯［2］，豐富了分類方法，改善了分類效果。但由于遙感影像存在“同物異譜”和“異物同譜”的現(xiàn)象，精確的作物分類仍然是一項(xiàng)極具挑戰(zhàn)的任務(wù)，在這樣的背景下，研究者將機(jī)器學(xué)習(xí)算法如神經(jīng)網(wǎng)絡(luò)（Neural Networks，NNs）、支持向量機(jī)（Support Vector Machine，SVM）等應(yīng)用于遙感影像的分類，并且在分類過程中加入影像的紋理、結(jié)構(gòu)等特征［3-5］。無論是SVM 還是NNs 都屬于淺層學(xué)習(xí)算法［6］，由于計(jì)算單元有限，淺層學(xué)習(xí)的網(wǎng)絡(luò)很難有效地表達(dá)復(fù)雜函數(shù)，所以隨著樣本數(shù)量的增大以及樣本多樣性增強(qiáng)，淺層模型也逐漸不能適應(yīng)復(fù)雜的樣本。而由多層非線性映射層組成的深度學(xué)習(xí)網(wǎng)絡(luò)擁有強(qiáng)大的函數(shù)表達(dá)能力，最近的研究表明，通過神經(jīng)網(wǎng)絡(luò)的特征表示，在大規(guī)模圖像識別方面［7-9］，目標(biāo)檢測［10-11］和語義分割［12-13］均有應(yīng)用，在復(fù)雜分類上具有很好的效果和效率［14］。2014 年，Chen Y 等［15］首次應(yīng)用深度學(xué)習(xí)的自動編碼器進(jìn)行高光譜數(shù)據(jù)分類，并取得了良好的分類結(jié)果。趙爽［16］首次將卷積神經(jīng)網(wǎng)絡(luò)模型應(yīng)用于遙感圖像分類試驗(yàn)，將影像分為建筑、裸地、水體3 類，發(fā)現(xiàn)與傳統(tǒng)分類方法相比，卷積神經(jīng)網(wǎng)絡(luò)分類結(jié)果精度較高，并且用時(shí)較短。曹林林等［17］利用卷積神經(jīng)網(wǎng)絡(luò)的方法，對高分遙感影像進(jìn)行分類，提取了林地、草地、房屋、道路、裸露地表5 類地物，并驗(yàn)證了卷積神經(jīng)網(wǎng)絡(luò)可應(yīng)用于高分遙感影像分類。Ji S 等［18］提出了一種三維卷積神經(jīng)網(wǎng)絡(luò)的方法實(shí)現(xiàn)了時(shí)空遙感影像農(nóng)作物的自動分類。段友祥等［19］提出一種改進(jìn)的Alexnet 模型，實(shí)現(xiàn)了油井抽油機(jī)示功圖的自動識別，并與目前常用的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行了比較，發(fā)現(xiàn)改進(jìn)的Alexnet模型在保證識別準(zhǔn)確率高的同時(shí)有效降低了訓(xùn)練學(xué)習(xí)時(shí)間，很好地達(dá)到了實(shí)際應(yīng)用要求。

基于深度學(xué)習(xí)在圖像分類方面的顯著效果，利用深度學(xué)習(xí)的技術(shù)對遙感影像進(jìn)行作物分類，但深度學(xué)習(xí)對機(jī)器的硬件配置要求很高，而且網(wǎng)絡(luò)模型龐大，訓(xùn)練時(shí)間和實(shí)際運(yùn)行時(shí)間都比較長。因此，系統(tǒng)通過搭建深度學(xué)習(xí)服務(wù)器降低對客戶端機(jī)器配置的要求，并使用改進(jìn)的Alexnet 深度學(xué)習(xí)模型，在保證分類精度的前提下加速了模型的收斂速度，通過客戶端與服務(wù)器的交互實(shí)現(xiàn)了可視化的深度學(xué)習(xí)模型訓(xùn)練和影像分類的任務(wù)，節(jié)省人力、物力和財(cái)力，為遙感技術(shù)在農(nóng)業(yè)應(yīng)用中的發(fā)展、農(nóng)作物面積統(tǒng)計(jì)工作和對農(nóng)業(yè)資源進(jìn)行優(yōu)化配置提供重要的科學(xué)指導(dǎo)，解放人類勞作，變?nèi)斯ぷ鳂I(yè)為自動化專題分類產(chǎn)品的生產(chǎn)。

1 深度學(xué)習(xí)服務(wù)器

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)中的一種，其借鑒人腦結(jié)構(gòu)構(gòu)建多層神經(jīng)網(wǎng)絡(luò)，對數(shù)據(jù)進(jìn)行不斷地訓(xùn)練，訓(xùn)練過程使用特征組合、特征離散化等非線性操作獲取更高抽象程度的數(shù)據(jù)特征，在一系列復(fù)雜分類問題的解決上表現(xiàn)優(yōu)異。然而深度學(xué)習(xí)訓(xùn)練過程資源消耗大，其良好的性能表現(xiàn)是依賴大量性能強(qiáng)大的計(jì)算設(shè)備的支撐，為了降低對客戶端的配置要求，借助云計(jì)算等相關(guān)技術(shù)搭建深度學(xué)習(xí)服務(wù)器，以容器為基礎(chǔ)打造PaaS 平臺，提供計(jì)算服務(wù)，統(tǒng)一處理客戶端模型訓(xùn)練、影像分類等深度學(xué)習(xí)任務(wù)。

1.1 PaaS 平臺

平臺即服務(wù)（Platform as a Service，PaaS）是一種云計(jì)算服務(wù)，提供運(yùn)算平臺與解決方案服務(wù)。在云計(jì)算的典型層級中，PaaS 層介于軟件即服務(wù)與基礎(chǔ)設(shè)施即服務(wù)之間。PaaS 提供用戶將云基礎(chǔ)設(shè)施部署與創(chuàng)建至客戶端，或者借此獲得使用編程語言、程序庫與服務(wù)。用戶不需要管理與控制云基礎(chǔ)設(shè)施（包含網(wǎng)絡(luò)、服務(wù)器、操作系統(tǒng)或存儲），但需要控制上層的應(yīng)用程序部署與應(yīng)用托管的環(huán)境。PaaS 提供軟件部署平臺（runtime），抽象掉了硬件和操作系統(tǒng)細(xì)節(jié)，可以無縫地?cái)U(kuò)展（scaling）。開發(fā)者只需要關(guān)注自己的業(yè)務(wù)邏輯，不需要關(guān)注底層。PaaS 的典型應(yīng)用有Google App Engine、Sina App Engine。阿里、騰訊等的機(jī)器學(xué)習(xí)計(jì)算服務(wù)，也大多以這種形式提供。

機(jī)器學(xué)習(xí)特別是深度學(xué)習(xí)是一個(gè)復(fù)雜的探索性過程，其新理論、新方法正不斷涌現(xiàn)。新方法的爆炸性增長意味著需求頻繁變動，這給系統(tǒng)的開發(fā)、維護(hù)帶來極大的困難。在極為有限的資源下，穩(wěn)定性、可維護(hù)性和彈性這些對于深度學(xué)習(xí)服務(wù)器來說是至關(guān)重要的指標(biāo)了，因此服務(wù)器選擇開發(fā)難度適中、安全性適中、資源調(diào)配靈活且能最大化滿足未來需求的PaaS 形式。

1.2 隔離

由于PaaS 系統(tǒng)是一個(gè)多租戶系統(tǒng)，意味著多個(gè)用戶的任務(wù)共享同一套執(zhí)行環(huán)境。這種情況下，用戶蓄意或者無意的破壞執(zhí)行環(huán)境，進(jìn)而影響到其他用戶使用計(jì)算服務(wù)甚至導(dǎo)致其他用戶數(shù)據(jù)泄露、丟失，這些都是必須著重考慮的問題。為此，必須引入一個(gè)機(jī)制隔離不同用戶的資源，服務(wù)器選擇了成熟的Docker 容器。

容器在系統(tǒng)內(nèi)核命名空間層面完成了進(jìn)程間的隔離。容器內(nèi)運(yùn)行的程序有自己的根目錄、自己的網(wǎng)絡(luò)連接且無法直接訪問容器外的進(jìn)程，一般情況下容器內(nèi)所做的更改不影響實(shí)際操作系統(tǒng)。容器在外部表現(xiàn)上像是一個(gè)輕量化的虛擬機(jī)，得益于容器是位于系統(tǒng)內(nèi)核之上的隔離，用戶程序的依賴庫均可部署也必須部署在“容器鏡像”中 ，因?yàn)橛脩舫绦驘o法直接訪問容器外的環(huán)境。部署時(shí)只需要安裝Docker 管理器和任務(wù)管理器，與用戶程序有關(guān)的東西（如Caffe、GDAL 等）均位于容器鏡像中，容器鏡像只需拷貝并導(dǎo)入Docker 管理器即可立即使用。

目前，市面上主流的深度學(xué)習(xí)框架包括包括TensorFlow、Caffe、Keras、Torch、MXNet、Theano 等，Caffe 是其中較為成熟和完善的一個(gè)深度學(xué)習(xí)框架。考慮到遙感影像復(fù)雜的特性和Caffe 性能強(qiáng)大且簡單易用的優(yōu)點(diǎn)，系統(tǒng)目前提供的是Caffe 這個(gè)主流的深度學(xué)習(xí)框架。后期若需加入對Tensorflow、PyTorch 等主流的深度學(xué)習(xí)框架，只需一次性修改或者創(chuàng)建對應(yīng)的鏡像，并導(dǎo)入服務(wù)器。不需要在服務(wù)器上重復(fù)進(jìn)行繁瑣的依賴庫編譯、部署操作，保證系統(tǒng)部署和維護(hù)的簡便性。

2 深度學(xué)習(xí)模型

基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）的深度學(xué)習(xí)算法，可以自主學(xué)習(xí)農(nóng)作物特征減少人工干預(yù)，對于復(fù)雜背景的遙感影像能排除噪聲干擾等，提高識別效率。CNN 有很多模型，其中Alexnet 就是經(jīng)典的CNN 模型。AlexNet 是2012 年ImageNet 競賽冠軍獲得者Hinton 和他的學(xué)生Alex Krizhevsky 設(shè)計(jì)的［7］。目前，AlexNet深度神經(jīng)網(wǎng)絡(luò)已廣泛應(yīng)用于圖像識別方向，是近年來計(jì)算機(jī)視覺領(lǐng)域取得的一項(xiàng)重要突破。

但Alexnet 模型比較龐大，訓(xùn)練時(shí)間和實(shí)際運(yùn)行時(shí)間都比較長，不適合實(shí)際的農(nóng)作物自動分類的應(yīng)用要求。因此，系統(tǒng)使用簡化的AlexNet 深度學(xué)習(xí)模型，減少了模型層數(shù)和參數(shù)，模型結(jié)構(gòu)如圖1 所示。

圖1 網(wǎng)絡(luò)模型Fig.1 The network model

網(wǎng)絡(luò)總共有4 層，其前3 層是卷積層，后一層是全連接層，全連接層輸出的softmax數(shù)即農(nóng)作物類別數(shù)。第一個(gè)卷積層C1 中，得到基本卷積數(shù)據(jù)后，先進(jìn)行pooling，然后進(jìn)行一次Relu 以及Norm 變換，作為輸出傳遞到下一層。第二個(gè)卷積層C2，對M1 進(jìn)行一次Relu 后，進(jìn)行pooling 池化，然后進(jìn)行Norm 變換。第三個(gè)卷積層C3 與第二個(gè)類似，對上層進(jìn)行一個(gè)Relu 后，進(jìn)行pooling 池化。全連接F3 是接上一個(gè)C3 進(jìn)行池化后的全連接層。最后輸出為融合label 的softmax loss。網(wǎng)絡(luò)中各個(gè)層發(fā)揮的作用如表1所示。

表1 網(wǎng)絡(luò)結(jié)構(gòu)Table1 The network architecture

3 系統(tǒng)開發(fā)

3.1 系統(tǒng)運(yùn)行環(huán)境

該系統(tǒng)運(yùn)行環(huán)境規(guī)定一臺儲存服務(wù)器、一臺計(jì)算服務(wù)器以及客戶機(jī)若干，儲存服務(wù)器使用標(biāo)準(zhǔn)FTP 協(xié)議，計(jì)算服務(wù)器使用XML-RPC 協(xié)議，只支持HTTP 基本認(rèn)證（RFC 1945）。服務(wù)器和客戶端通過異步RPC 實(shí)現(xiàn)網(wǎng)絡(luò)通信，F(xiàn)TP 實(shí)現(xiàn)數(shù)據(jù)傳輸，可以實(shí)現(xiàn)多用戶的并發(fā)訪問。系統(tǒng)的總體架構(gòu)如圖2 所示。

圖2 系統(tǒng)的總體架構(gòu)Fig.2 The overall architecture of the system

系統(tǒng)運(yùn)行的基本性能要求包括桌面式服務(wù)器（1 個(gè)8 核Intel Core I7-7700 3.6 GHz、32GB 內(nèi)存、1 個(gè)240G SSD、1 個(gè)4T HDD、1 個(gè)NVIDIA GeForce GTX 1080 Ti）、客戶端操作系統(tǒng)要求WIN10/WIN7、內(nèi)存2G、CPU 雙核處理器。

3.2 系統(tǒng)功能設(shè)計(jì)

基于深度學(xué)習(xí)服務(wù)的農(nóng)作物分類系統(tǒng)主要包括地圖操作、數(shù)據(jù)傳輸、深度學(xué)習(xí)模型參數(shù)自適應(yīng)、自動識別分類和成果展示與制圖五大模塊（圖3）。

地圖基本操作。各個(gè)用戶功能界面基本都有地圖操作的功能，地圖顯示的數(shù)據(jù)主要包括遙感影像底圖、農(nóng)田地塊圖斑矢量數(shù)據(jù)和分類結(jié)果數(shù)據(jù)，視圖操作包括放大、縮小、全圖、平移、固定比例放大、固定比例縮小、前一視圖、后一視圖、標(biāo)識等功能，數(shù)據(jù)查詢主要包括屬性查詢。通過地圖基本操作模塊可以實(shí)現(xiàn)數(shù)據(jù)的可視化和屬性查詢功能。

數(shù)據(jù)傳輸。數(shù)據(jù)傳輸模塊主要包括數(shù)據(jù)的上傳和下載兩部分，實(shí)現(xiàn)用戶、客戶端和服務(wù)器之間的通信。

圖3 系統(tǒng)的功能模塊Fig.3 The function module of the system

深度學(xué)習(xí)模型參數(shù)自適應(yīng)。由于現(xiàn)有模型的自適應(yīng)能力不夠，導(dǎo)致外界情況改變時(shí)，特征技術(shù)無法對外界變化產(chǎn)生同步調(diào)整，存在過擬合現(xiàn)象。因此，深度學(xué)習(xí)模型參數(shù)自適應(yīng)模塊通過持續(xù)的訓(xùn)練，研究確定適合當(dāng)前樣本數(shù)據(jù)的卷積神經(jīng)網(wǎng)絡(luò)參數(shù)，主要包括學(xué)習(xí)率、動量等超參數(shù)，從而進(jìn)一步優(yōu)化遙感數(shù)據(jù)光譜和空間分辨率組合，獲取最優(yōu)的農(nóng)作物分類結(jié)果。本模塊包括模型訓(xùn)練、模型導(dǎo)入和模型刪除等功能。

自動識別分類。模塊主要包括遙感影像農(nóng)作物分類和地塊作物識別兩部分，選擇訓(xùn)練好的農(nóng)作物分類模型，輸入待分類數(shù)據(jù)，即可實(shí)現(xiàn)遙感數(shù)據(jù)的農(nóng)作物自動分類，得到高精度的分類結(jié)果。

成果展示與制圖。模塊通過導(dǎo)入農(nóng)作物分類結(jié)果，采用分級設(shè)色、唯一值等渲染方式進(jìn)行柵格數(shù)據(jù)顯示，并可以添加圖例、指北針、比例尺等地圖要素后輸出農(nóng)田作物覆蓋專題圖。

3.3 測試應(yīng)用

結(jié)合野外樣方采集成果數(shù)據(jù)和2015 年的GF-2 衛(wèi)星4 m 分辨率的多光譜遙感影像數(shù)據(jù)，共提取4 m×4 m 大小的訓(xùn)練樣本428144 個(gè)（玉米134824 個(gè)，大豆85336 個(gè)，水稻101424 個(gè)，建筑物17520 個(gè)，林地59416 個(gè)，水體29624 個(gè)），其中358016 個(gè)樣本用于模型訓(xùn)練，另外70128 作為模型訓(xùn)練過程中的測試數(shù)據(jù)。實(shí)驗(yàn)采用快速訓(xùn)練策略，共計(jì)完成10 萬次訓(xùn)練。系統(tǒng)訓(xùn)練時(shí)間是1.12 h，僅為單機(jī)訓(xùn)練（3.283 h）的1/3。模型訓(xùn)練過程的loss 和accuracy 如圖4 所示，在前14000 次訓(xùn)練中，loss 迅速降低，模型精度逐漸提高，之后，模型整體精度達(dá)到了0.93，loss 下降緩慢，到最后基本維持在0.95 左右。訓(xùn)練過程中沒有出現(xiàn)過擬合現(xiàn)象，網(wǎng)絡(luò)參數(shù)設(shè)置也比較合理，得到的模型滿足精度要求。實(shí)驗(yàn)表明，系統(tǒng)使用服務(wù)器進(jìn)行訓(xùn)練，與單機(jī)訓(xùn)練相比，不僅提高了模型訓(xùn)練的速度，還降低了客戶端的配置要求。同時(shí)系統(tǒng)使用的簡化的Alexnet模型在保證識別準(zhǔn)確率高的同時(shí)也有效降低了訓(xùn)練學(xué)習(xí)時(shí)間，很好地達(dá)到了實(shí)際應(yīng)用要求。

圖4 深度學(xué)習(xí)模型損失值和精度曲線Fig.4 The loss value and accuracy curve of deep learning model

4 主要功能展示

4.1 模型訓(xùn)練

遙感數(shù)據(jù)具有高維、多尺度、非平穩(wěn)的內(nèi)部特性和海量、多源、異構(gòu)的外部特征，包含豐富的空間信息。經(jīng)典深度學(xué)習(xí)的方法通過分層學(xué)習(xí)來得到一種高級抽象數(shù)據(jù)的架構(gòu)，模型訓(xùn)練通過優(yōu)化學(xué)習(xí)率、動量、迭代次數(shù)等超參數(shù)，確定適合當(dāng)前樣本數(shù)據(jù)的最優(yōu)參數(shù)，得到適合遙感數(shù)據(jù)效果最優(yōu)的分類模型。模型訓(xùn)練的過程中，服務(wù)器每隔1000次會返回訓(xùn)練的精度和損失值，客戶端實(shí)時(shí)顯示（圖5），幫助用戶更加方便直觀的觀測訓(xùn)練的整體趨勢從而判斷分類模型的好壞。若用戶覺得模型不收斂，可以修改參數(shù)重新訓(xùn)練；若模型分類精度高，通過模型導(dǎo)入到遙感影像自動識別分類模塊，即可用于遙感影像或者地塊的農(nóng)作物自動分類識別。

4.2 遙感影像農(nóng)作物識別

像元是遙感影像中最基本的單元，遙感影像農(nóng)作物分類采用像元級分類的方法，綜合考慮窗口內(nèi)部的結(jié)構(gòu)紋理以及相鄰像元之間的關(guān)聯(lián)信息，將窗口的分類結(jié)果賦予中心像素，從而得到像元級的分類結(jié)果（圖6）。分類結(jié)束，系統(tǒng)會根據(jù)標(biāo)簽文件對分類結(jié)果進(jìn)行柵格渲染后加載到視圖中，以便用戶更加直觀、形象地了解作物的種植結(jié)構(gòu)。

圖5 神經(jīng)網(wǎng)絡(luò)處理對話框Fig.5 The dialog box for neural network processing

圖6 影像分類結(jié)果Fig.6 The result of image classification

4.3 地塊作物識別

地塊是農(nóng)作地區(qū)最重要的景觀要素，傳統(tǒng)的地塊分類采用人工的方式，耗時(shí)耗力。地塊作物識別利用深度學(xué)習(xí)的方法快速準(zhǔn)確的判斷地塊的作物類型。地塊作物識別采用隨機(jī)取樣的方法，從每個(gè)地塊均勻的選取若干個(gè)樣本，然后利用訓(xùn)練好的深度學(xué)習(xí)模型對樣本進(jìn)行分類，最后用多數(shù)投票的原則確定地塊最終種植的作物類型（圖7）。地塊作物識別克服了人為干擾，準(zhǔn)確性好，同時(shí)節(jié)省了大量的人力、物力和財(cái)力。

圖7 地塊識別結(jié)果Fig.7 The result of block classification

5 結(jié)束語

該系統(tǒng)采用時(shí)下流行的深度學(xué)習(xí)技術(shù)對遙感影像進(jìn)行農(nóng)作物分類，順應(yīng)了遙感農(nóng)業(yè)智能化的趨勢。同時(shí)考慮到深度學(xué)習(xí)對機(jī)器配置要求很高，系統(tǒng)部署深度學(xué)習(xí)服務(wù)器，提供主流的Caffe 深度學(xué)習(xí)框架，通過PaaS 提供計(jì)算服務(wù)，統(tǒng)一處理客戶端的深度學(xué)習(xí)任務(wù)，從而降低客戶端的IT 成本。服務(wù)器采用容器隔離解決資源沖突的問題，保證了系統(tǒng)的靈活性和可擴(kuò)展性。系統(tǒng)利用CNN 的深度學(xué)習(xí)方法進(jìn)行模型訓(xùn)練得到分類模型，然后進(jìn)行遙感影像農(nóng)作物識別，得到精確的農(nóng)田作物覆蓋的專題圖，為作物的生產(chǎn)管理提供空間尺度的有效指導(dǎo)。

服務(wù)器目前僅部署了Caffe 的深度學(xué)習(xí)框架，今后將集成更多主流的深度學(xué)習(xí)框架，如TensorFlow、Keras、PyTorch 等。此外，為了保證農(nóng)作物分類的時(shí)效性，系統(tǒng)使用簡化的AlexNet 網(wǎng)絡(luò)結(jié)構(gòu)，今后將考慮應(yīng)用深度學(xué)習(xí)分類效果更好的算法，比如利用深度學(xué)習(xí)影像分割技術(shù)，提高大規(guī)模作業(yè)的效率。