基于預(yù)訓(xùn)練模型與無(wú)人機(jī)可見(jiàn)光影像的樹(shù)種識(shí)別①

羅仙仙,許松芽,陳桂蓮,嚴(yán) 洪,萬(wàn)曉會(huì)

1(泉州師范學(xué)院 數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院,泉州 362000)

2(福建省大數(shù)據(jù)管理新技術(shù)與知識(shí)工程重點(diǎn)實(shí)驗(yàn)室,泉州 362000)

3(泉州師范學(xué)院 教育科學(xué)學(xué)院,泉州 362000)

4(福建省林業(yè)調(diào)查規(guī)劃院,福州 350003)

人工智能是未來(lái)的第一生產(chǎn)力,人工智能技術(shù)與方法在我國(guó)林業(yè)中的應(yīng)用初見(jiàn)端倪. 遙感圖像的樹(shù)種識(shí)別始終是國(guó)際關(guān)注的學(xué)術(shù)前沿[1]. 無(wú)人機(jī)低空航拍受天氣影響小,作業(yè)方式靈活,獲取的影像比例尺大,精度高,為森林資源遙感調(diào)查研究提供了新的技術(shù)手段[2].然而,傳統(tǒng)人工目視解譯方法和遙感圖像處理方法,并不能夠?qū)o(wú)人機(jī)遙感圖像進(jìn)行自動(dòng)識(shí)別,而且精度難以保證.

深度學(xué)習(xí)是人工智能研究中重要方法,2006 年加拿大多倫多大學(xué)Hinton 等提出[3],能夠模擬人的神經(jīng)系統(tǒng),可以從大量數(shù)據(jù)中自動(dòng)提取特征. 深度學(xué)習(xí)方法用于無(wú)人機(jī)樹(shù)種識(shí)別的研究剛剛起步. 由于深度學(xué)習(xí)方法依賴于大量的訓(xùn)練數(shù)據(jù)與測(cè)試數(shù)據(jù),并且數(shù)據(jù)標(biāo)注費(fèi)時(shí)費(fèi)力,一定程度限制深度學(xué)習(xí)在遙感圖像樹(shù)種識(shí)別研究,因此,少樣本的遷移學(xué)習(xí)方法是當(dāng)前研究熱點(diǎn). 目前,尚沒(méi)有開(kāi)放的無(wú)人機(jī)樹(shù)種識(shí)別數(shù)據(jù)集[1],武紅敢等人指出林業(yè)遙感專用數(shù)據(jù)庫(kù)的必要性和緊迫性,并提出建設(shè)思路和原則[4].

遷移概念最早由心理學(xué)家提出,一般認(rèn)為,遷移是指一種學(xué)習(xí)對(duì)于另一種學(xué)習(xí)的影響[5]. 在人工智能和機(jī)器學(xué)習(xí)領(lǐng)域,遷移學(xué)習(xí)是一種學(xué)習(xí)的思想和模式,可以利用數(shù)據(jù)、任務(wù)或模型之間的相似性,將在舊領(lǐng)域?qū)W習(xí)過(guò)的模型和知識(shí)應(yīng)用于新的領(lǐng)域. 基于模型的遷移學(xué)習(xí)方法(預(yù)訓(xùn)練方法)是指從源域和目標(biāo)域中找到它們之間共享的參數(shù)信息,以實(shí)現(xiàn)遷移方法[6]. 預(yù)訓(xùn)練模型在大數(shù)據(jù)集(如ImageNet[7])上訓(xùn)練得到一個(gè)具有強(qiáng)泛化能力的模型,作為后續(xù)任務(wù)的基準(zhǔn)模型,通過(guò)少量有標(biāo)注的數(shù)據(jù)微調(diào)訓(xùn)練可以取得較好識(shí)別效果.

近兩年,林業(yè)遙感領(lǐng)域的研究學(xué)者把遷移學(xué)習(xí)應(yīng)用于無(wú)人機(jī)影像的樹(shù)種識(shí)別. 王莉影等[8]較早應(yīng)用遷移學(xué)習(xí)思想,基于Inception-v3 模型在ImageNet 數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練,然后利用有限樣本重新訓(xùn)練一個(gè)全連接層,對(duì)東北林業(yè)大學(xué)實(shí)驗(yàn)林場(chǎng)只進(jìn)行針葉林、闊葉林分類(lèi)研究,總體分類(lèi)精度為98.4%,Kappa 系數(shù)為0.987. 滕文秀等[9]基于遷移學(xué)習(xí)思想,對(duì)4 種常規(guī)的卷積神經(jīng)網(wǎng)絡(luò)方法在ImageNet 數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練后,增加全局平均池化層、1 個(gè)全連接層和1 個(gè)Softmax層,對(duì)4 個(gè)樹(shù)種進(jìn)行分類(lèi),研究表明VGG16 作為樹(shù)種分類(lèi)模型的預(yù)訓(xùn)練模型是好的. Natesan 等 [10] 基于ResNet50 模型在ImageNet 數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練后,增加最大池化層和4 個(gè)全連接層,基于Keras 框架進(jìn)行3 類(lèi)樹(shù)種分類(lèi),總體精度達(dá)80%. 總之,現(xiàn)有研究沒(méi)有對(duì)數(shù)據(jù)集制作詳細(xì)介紹,數(shù)據(jù)集尚未共享一定程度影響此領(lǐng)域迅速發(fā)展.

論文利用TensorFlow 框架,基于VGG16 在Image-Net 數(shù)據(jù)集上預(yù)訓(xùn)練模型,進(jìn)行無(wú)人機(jī)可見(jiàn)光影像樹(shù)種識(shí)別研究. 利用大疆精靈4RTK 無(wú)人機(jī),搭載FC6310R相機(jī),采集南平市和三明市的杉木和馬尾松人工純林彩色圖像. 通過(guò)圖像預(yù)處理、標(biāo)注、裁剪和增強(qiáng)等環(huán)節(jié)構(gòu)建兩個(gè)數(shù)據(jù)集UAVTree2k 和UAVTree20k. 基于UAVTree2k 數(shù)據(jù)集和VGG16 模型在ImageNet 數(shù)據(jù)集的預(yù)訓(xùn)練模型,重新定義3 個(gè)全連接層,輸出層設(shè)置成2,進(jìn)行小樣本的杉木和馬尾松二分類(lèi)研究; 驗(yàn)證小樣本的預(yù)訓(xùn)練模型的有效性,以期為復(fù)雜林分環(huán)境下的樹(shù)種分類(lèi)與制圖提供參考.

1 數(shù)據(jù)集的構(gòu)建

1.1 無(wú)人機(jī)外業(yè)數(shù)據(jù)采集

杉木與馬尾松數(shù)據(jù)采集,均采用無(wú)人機(jī)大疆精靈4RTK,搭載機(jī)型為FC6310R,相機(jī)像素為2000 萬(wàn)(5472×3648). 杉木拍攝時(shí)間為2020 年11 月19 日,圖像采集天氣狀況好. 拍攝地點(diǎn)位于南平市邵武市下沙鎮(zhèn),地理位置位于117.60°E、27.33°N,森林覆蓋率約73%,拍攝范圍地勢(shì)較為平坦,相對(duì)高差約100 m,拍攝高度約為150 m,拍攝對(duì)象為杉木人工純林,拍攝方式為垂直俯視,經(jīng)過(guò)圖像預(yù)處理、拼接后圖像(.tif 格式)如圖1 所示. 馬尾松拍攝時(shí)間為2020 年12 月29 日至30 日,天氣狀況良好. 拍攝地點(diǎn)位于三明市清流縣溫郊鄉(xiāng)溫家山村,拍攝高度約為180 m,拍攝對(duì)象為馬尾松人工純林,拍攝方式為垂直俯視,經(jīng)過(guò)圖像預(yù)處理、拼接后圖像如圖2 所示.

1.2 數(shù)據(jù)標(biāo)注

采用圖像標(biāo)注工具LabelImg (https://github.com/tzutalin/labelImg),分別從圖1 和圖2 中,找出單一杉木或馬尾松區(qū)域,采用矩形拉框,長(zhǎng)寬大小不一,大約為224×224,坐標(biāo)為(xmin,ymin,xmax,ymax),杉木標(biāo)簽設(shè)為0,馬尾松標(biāo)簽設(shè)為1,共標(biāo)注了1 058 張杉木、1 278 張馬尾松圖像,數(shù)據(jù)標(biāo)注完成后生成.xml 文件,該文件只存儲(chǔ)矩形拉框的坐標(biāo)信息,無(wú)法直接導(dǎo)出已標(biāo)注好的圖像.

圖1 杉木人工純林

圖2 馬尾松人工純林

1.3 數(shù)據(jù)裁剪

采用Python 編程實(shí)現(xiàn)批量數(shù)據(jù)的裁剪. 編寫(xiě)readXML()函數(shù),讀取xml 文件坐標(biāo),并轉(zhuǎn)化為pillow模塊的圖像坐標(biāo)格式(left,upper,right,lower); 編寫(xiě)save_tif()函數(shù),從原始的.tif 圖像中一次性裁剪出1058張杉木、1 278 張馬尾松圖片.

1.4 數(shù)據(jù)增強(qiáng)

數(shù)據(jù)增強(qiáng)是一種能夠有效擴(kuò)充數(shù)據(jù)集的數(shù)據(jù)處理手段. 采用10 種方式對(duì)原始數(shù)據(jù)進(jìn)行增強(qiáng): (1)對(duì)原始圖像進(jìn)行垂直翻轉(zhuǎn)和水平翻轉(zhuǎn); (2)對(duì)原始圖像進(jìn)行逆時(shí)針90°、270°旋轉(zhuǎn)處理; (3)對(duì)原始圖像進(jìn)行灰度化處理; (4)對(duì)原始圖像進(jìn)行2 種亮化處理(亮化系數(shù)分別為1.2 和1.4); (5)對(duì)原始圖像進(jìn)行2 種飽和度處理(飽和度系數(shù)為2 和4); (6)對(duì)原始圖像進(jìn)行隨機(jī)裁剪,裁剪后圖像大小調(diào)整為原始圖像大小. 單張馬尾松圖片數(shù)據(jù)增強(qiáng)如圖3 所示.

圖3 單張馬尾松的數(shù)據(jù)增強(qiáng)

1.5 數(shù)據(jù)集構(gòu)建

從數(shù)據(jù)裁剪后的1 058 張杉木、1 278 張馬尾松圖片中,選取杉木、張馬尾松各1 000 張圖片構(gòu)建數(shù)據(jù)集,取名為UAVTree2k,其中2 表示2 個(gè)樹(shù)種,2k 表示訓(xùn)練集與測(cè)試集的總數(shù)為2 000 張,其中,杉木和馬尾松圖片各1000 張. 定義數(shù)據(jù)讀取函數(shù)read_image_filenames(),讀取指定目錄下的圖片信息,返回文件名列表和標(biāo)簽列表; 定義解碼圖片和調(diào)整圖片大小函數(shù)decode_image_and_resize(),讀取圖片并解碼,重新調(diào)整圖片大小并進(jìn)行歸一化處理; 通過(guò)TensorFlow 框架下的tf.data.Dataset 的from_tensor_slices()方法生成小樣本數(shù)據(jù)對(duì)(圖片,標(biāo)簽). 通過(guò)數(shù)據(jù)增強(qiáng),將數(shù)據(jù)裁剪后圖像,擴(kuò)大為10 580 張杉木圖像和12 780 張馬尾松圖像,從中選取各10 000 張的圖像作為數(shù)據(jù)集,取名為UAVTree20k,20k 表示訓(xùn)練集與測(cè)試集的總數(shù)為20 000 張.

2 研究方法

2.1 VGG16 模型

VGG-Net 是牛津大學(xué)計(jì)算機(jī)視覺(jué)組(visual geometry group)和Google DeepMind 公司的研究員一起研發(fā)的深度卷積神經(jīng)網(wǎng)絡(luò)[11],VGG-Net 在2014 年大規(guī)模視覺(jué)識(shí)別挑戰(zhàn)賽(ILSVRC)中,奪得圖像分類(lèi)第2 的成績(jī). VGG-Net 的網(wǎng)絡(luò)層數(shù)從11 層到19 層不等. 常用的VGG16 模型由13 個(gè)卷積層和3 個(gè)全連接層堆疊而成,總共包含約1.38 億個(gè)參數(shù). 所有卷積層使用3×3 的卷積核和ReLU 激活函數(shù),以加強(qiáng)特征學(xué)習(xí)的能力.VGG16 模型整體上分為8 段,前5 段為卷積層,后3 段為全連接層. 卷積層重疊2 或3 次后形成一個(gè)卷積段,同一段內(nèi)的卷積層具有相同的卷積核數(shù),每個(gè)卷積段后有一個(gè)2×2 的最大池化層,池化層將圖片大小縮小一半. 每增加一個(gè)卷積段,卷積核數(shù)增加一倍. VGG16具體結(jié)構(gòu)見(jiàn)圖4.

圖4 VGG16 的結(jié)構(gòu)

2.2 基于VGG16 的預(yù)訓(xùn)練—微調(diào)模型

基于VGG16 的預(yù)訓(xùn)練—微調(diào)模型如圖5 所示,分為共享層和遷移層[6]. 共享層為VGG16 中前13 個(gè)卷積層,主要提取圖像的低級(jí)特征. 因?yàn)檫@些特征是通用特征,所以共享層采用VGG16 模型在ImageNet 上訓(xùn)練好的模型,并凍結(jié)其權(quán)重與參數(shù). 遷移層提取圖像的高級(jí)特征,是整體模型的核心層. 重新訓(xùn)練3 個(gè)全連接層,其中包括輸出層FC2,該層采用Sigmoid 激活函數(shù).考慮訓(xùn)練樣本較少,全連接層分別采用128 和32 個(gè)神經(jīng)元,在FC128 和FC32 后分別加了Dropout 方法,其系數(shù)均設(shè)置為0.3,隨機(jī)刪除全連接層的部分神經(jīng)元,防止過(guò)擬合,提高模型泛化能力.

圖5 基于VGG16 的預(yù)訓(xùn)練—微調(diào)模型

3 實(shí)驗(yàn)與結(jié)果分析

3.1 云環(huán)境及其搭建

本機(jī)為Windows 10 的64 位操作系統(tǒng),采用阿里云服務(wù)器2 核4G 的共享型實(shí)例,在云端搭建Tensor-Flow 2.3.0、Anacona 3.0、Python 3.7 等環(huán)境. 采用基于VGG16 的預(yù)訓(xùn)練-微調(diào)模型進(jìn)行無(wú)人機(jī)可見(jiàn)光影像的樹(shù)種識(shí)別,數(shù)據(jù)集采用UAVTree2k. 基于數(shù)據(jù)集UAVTree2k,進(jìn)行VGG16 模型重新訓(xùn)練與測(cè)試. 探討迭代次數(shù)、批次大小、數(shù)據(jù)集劃分比例對(duì)訓(xùn)練精度與測(cè)試精度影響. 所有實(shí)驗(yàn)參數(shù)更新采用Adam 優(yōu)化器,學(xué)習(xí)率采用0.001.

3.2 實(shí)驗(yàn)結(jié)果與分析

3.2.1 迭代次數(shù)對(duì)精度影響

為探討迭代次數(shù)對(duì)精度的影響,固定訓(xùn)練集1200張,測(cè)試集800 張; 批次大小為16. 迭代次數(shù)依次從{10,20,30,40,50,60}中取值,得到訓(xùn)練集的精度分別為0.9087,0.9319,0.9800,0.9800,0.9856,0.9925,測(cè)試集的精度分別為0.9425,0.9525,0.9675,0.98,0.9675,0.9775. 精度與迭代次數(shù)關(guān)系如圖6 所示. 從圖6 可看出,訓(xùn)練精度均在90%以上,隨著迭代次數(shù)的增加,訓(xùn)練精度整體呈上升趨勢(shì); 訓(xùn)練精度均在94%以上,測(cè)試精度整體上隨迭代次數(shù)的增加而增加. 究其原因,隨迭代次數(shù)增加,模型權(quán)重、參數(shù)不斷更新,學(xué)習(xí)到的特征越多,測(cè)度精度也就越好. 當(dāng)?shù)螖?shù)為40 時(shí),測(cè)試集精度下降,而后上升,其原因尚不明確. 綜合訓(xùn)練精度、測(cè)試精度,以及訓(xùn)練時(shí)間,后續(xù)實(shí)驗(yàn)的迭代次數(shù)取40.

圖6 精度與迭代次數(shù)關(guān)系圖

3.2.2 批次大小對(duì)精度影響

為探討批次大小對(duì)精度的影響,固定訓(xùn)練集1200張,測(cè)試集800 張; 迭代次數(shù)為40,批次大小依次從{10,12,14,16}中取值. 精度與迭代次數(shù)關(guān)系如圖7 所示. 從圖7 可看出,訓(xùn)練精度均在98%以上,隨著批次增加,訓(xùn)練精度有些波動(dòng). 批次大小12 時(shí)突然下降,批次大小為14 時(shí)降到最低,此后繼續(xù)增加; 測(cè)試精度隨機(jī)批次大小增加而增加,在訓(xùn)練精度下降時(shí),測(cè)試精度增速變緩,可能因?yàn)榕纹?訓(xùn)練時(shí)反向傳播的損失值不穩(wěn)定導(dǎo)致訓(xùn)練精度的波動(dòng),也導(dǎo)致測(cè)試精度增速變緩. 綜合訓(xùn)練精度、測(cè)試精度,最優(yōu)批次大小取16.

圖7 精度與批次大小的關(guān)系圖

3.2.3 不同數(shù)據(jù)集劃分比例對(duì)精度影響

為了探討不同數(shù)據(jù)集劃分比例對(duì)精度的影響,驗(yàn)證預(yù)訓(xùn)練-微調(diào)模型在小樣本下的識(shí)別效果. 訓(xùn)練集與測(cè)試集按8:2、7:3、6:4 和5:5 四種比例劃分. 這4 種比例的測(cè)試精度分別為98%、98%、98.63%、98.20%.4 種比例劃分訓(xùn)練集的占比依次減少,但實(shí)驗(yàn)結(jié)果表明準(zhǔn)確率有上升趨勢(shì),其中6:4 的測(cè)試精度最高,達(dá)到98.63%. 原因可能是VGG16 模型是在ImageNet 上訓(xùn)練過(guò)的,共享層的權(quán)重和參數(shù)進(jìn)行了凍結(jié),可以較好提取物體識(shí)別的通用特征,同時(shí),進(jìn)一步驗(yàn)證,預(yù)訓(xùn)練-微調(diào)模型在小樣本下,可以取得較好的分類(lèi)效果. 體現(xiàn)了遷移學(xué)習(xí)具有良好的特征學(xué)習(xí)能力.

4 結(jié)論與展望

4.1 結(jié)論

(1)論文利用預(yù)訓(xùn)練-微調(diào)模型,進(jìn)行無(wú)人機(jī)可見(jiàn)光影響的樹(shù)種識(shí)別,通過(guò)實(shí)驗(yàn)研究,在小樣本下,模型可以取得較好的分類(lèi)效果. 體現(xiàn)了遷移學(xué)習(xí)具有良好的特征學(xué)習(xí)能力.

(2)模型超參數(shù)直接影響模型識(shí)別效果,當(dāng)?shù)螖?shù)為40,批次大小為16,訓(xùn)練數(shù)據(jù)與測(cè)試數(shù)據(jù)劃分比例為6:4,模型識(shí)別效果最好,測(cè)試精度達(dá)到98.63%.

(3)利用大疆精靈4RTK 無(wú)人機(jī),搭載FC6310R 相機(jī),采集南平市和三明市的杉木和馬尾松人工純林彩色圖像. 通過(guò)圖像預(yù)處理、標(biāo)注、裁剪和增強(qiáng)等環(huán)節(jié)自主構(gòu)建兩個(gè)數(shù)據(jù)集UAVTree2k 和UAVTree20k,分別可用于預(yù)訓(xùn)練模型和其他卷積神經(jīng)網(wǎng)絡(luò)模型的實(shí)驗(yàn)研究.

4.2 研究不足與展望

(1)由于標(biāo)注工作量大,自主構(gòu)建的數(shù)據(jù)集只有2 個(gè)樹(shù)種,可進(jìn)一步采集南方主要樹(shù)種,把數(shù)據(jù)集擴(kuò)充到10 樹(shù)種,每個(gè)樹(shù)種有10000 條數(shù)據(jù)集,最終形成無(wú)人機(jī)可見(jiàn)光影像的數(shù)據(jù)集UAVTree,并開(kāi)放共享,供不同模型與不同算法比較.

(2)預(yù)訓(xùn)練模型是基于ImageNet 數(shù)據(jù)集,是普通圖像識(shí)別的數(shù)據(jù)庫(kù). 而遙感圖像的樹(shù)種識(shí)別或無(wú)人機(jī)影像的樹(shù)種識(shí)別,目標(biāo)是空對(duì)地的識(shí)別,因此,預(yù)訓(xùn)練模型可采用中國(guó)科學(xué)院遙感與數(shù)字地球研究所建立的全國(guó)地表類(lèi)型遙感影像樣本數(shù)據(jù)集[12],可提高源域和目標(biāo)域間數(shù)據(jù)的相似度,通過(guò)預(yù)訓(xùn)練,把參數(shù)調(diào)整到合適的范圍,從而提高識(shí)別效果或至少減少訓(xùn)練模型時(shí)間.

(3)論文基于VGG16 預(yù)訓(xùn)練-微調(diào)模型,只針對(duì)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)研究,在完成數(shù)據(jù)集UAVTree 時(shí),可對(duì)復(fù)雜林分下的樹(shù)種進(jìn)行分類(lèi)與制圖. 同時(shí),非常迫切建立不同傳感器的無(wú)人機(jī)樹(shù)種數(shù)據(jù)集,生成超大規(guī)模預(yù)訓(xùn)練樹(shù)種識(shí)別模型.

(4)論文基于云服務(wù)器開(kāi)展實(shí)驗(yàn)處理,下一步可進(jìn)行多GPU 資源分布式訓(xùn)練方法,如數(shù)據(jù)并行、模型并行、流水并行等. 如何從框架層次自動(dòng)解決并行策略選擇問(wèn)題是最近的研究熱點(diǎn).