基于卷積神經(jīng)網(wǎng)絡(luò)的熱紅外圖像檢測(cè)模型*

李旺枝 陸健強(qiáng) 王衛(wèi)星 林佳翰 周平

特約論文

基于卷積神經(jīng)網(wǎng)絡(luò)的熱紅外圖像檢測(cè)模型*

李旺枝 陸健強(qiáng) 王衛(wèi)星 林佳翰 周平

（華南農(nóng)業(yè)大學(xué)電子工程學(xué)院，廣東 廣州 510642）

針對(duì)我國(guó)目前大部分果園的果樹冠層施藥情況檢測(cè)效率低、成本高等問題，提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的熱紅外圖像檢測(cè)模型。通過采集大量柑橘樹在不同環(huán)境條件下施藥前后的熱紅外圖像，在經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)模型Inception-v3基礎(chǔ)上，利用計(jì)算機(jī)視覺相關(guān)知識(shí)改進(jìn)模型參數(shù)，設(shè)計(jì)一種新型卷積神經(jīng)網(wǎng)絡(luò)模型——S-Inception-v3。與Mobile Net，Shuffle Net和Inception-v3網(wǎng)絡(luò)模型對(duì)比，S-Inception-v3網(wǎng)絡(luò)模型在測(cè)試集上的分類準(zhǔn)確率分別提高了10.28%，8.46%，3.43%；召回率分別提高了8.66%，7.48%，3.35%；模型大小分別降低了6.4 M，1.1 M，1.6 M。該模型在柑橘果樹冠層熱紅外圖像上的分類性能更好，在保證網(wǎng)絡(luò)分類準(zhǔn)確率的同時(shí)，網(wǎng)絡(luò)大小、計(jì)算量均有所下降，為農(nóng)業(yè)航空領(lǐng)域施藥檢測(cè)技術(shù)改進(jìn)提供了參考。

遷移學(xué)習(xí)；S-Inception-v3模型；卷積神經(jīng)網(wǎng)絡(luò)；計(jì)算機(jī)視覺

0 引言

近年來，無人機(jī)在農(nóng)業(yè)航空領(lǐng)域發(fā)揮越來越重要的作用，利用無人機(jī)精準(zhǔn)施藥已成為當(dāng)代智慧農(nóng)業(yè)的主要手段之一。無人機(jī)施藥對(duì)象幾乎覆蓋了全部農(nóng)作物[1]，包括小麥、水稻和玉米等主要糧食作物；柑橘、葡萄和白菜等瓜果蔬菜；棉花、麻類等纖維作物。以往常用的植物冠層藥物檢測(cè)方式是人工直接觀測(cè)[2]或無人機(jī)搭載可見光攝像頭對(duì)植物冠層拍照，通過圖像分辨植物冠層噴藥情況。但常規(guī)可見光攝像頭對(duì)光線和天氣情況十分敏感，檢測(cè)效率較低[3]。紅外熱成像技術(shù)利用物體各部分紅外熱輻射的差異，把物體不可見的熱輻射轉(zhuǎn)化為可視圖，對(duì)煙霧和云層具有一定的穿透性，受天氣影響較小[4]。

王康麗[5]利用機(jī)載熱紅外相機(jī)對(duì)植物冠層溫度敏感的特性，通過溫度變化測(cè)量植物冠層是否施藥；此方法需要標(biāo)定一個(gè)參照溫度直方圖作為參考，過程復(fù)雜。張智韜等[6]提出熱紅外圖像溫度直方圖檢測(cè)法，熱紅外相機(jī)拍攝的圖像利用特征數(shù)方法檢測(cè)植物冠層溫度變化，通過溫度直方圖變化得出植物冠層施藥情況；此方法植物冠層特征數(shù)的選擇較為復(fù)雜[7]，需挑選互不影響的參數(shù)作為特征，實(shí)際操作難度較大。

如何快速、實(shí)時(shí)地進(jìn)行施藥情況檢測(cè)已成為當(dāng)前農(nóng)業(yè)航空領(lǐng)域重大關(guān)切的問題[8]。本文提出一種新型卷積神經(jīng)網(wǎng)絡(luò)模型——S-Inception-v3，該網(wǎng)絡(luò)模型在柑橘果樹冠層熱紅外圖像上的分類性能更好，提高無人機(jī)施藥檢測(cè)效率，降低農(nóng)業(yè)生產(chǎn)成本。

1 試驗(yàn)設(shè)計(jì)與方法

1.1 圖像采集

試驗(yàn)圖像取自6棵柑橘果樹冠層，如圖1所示。

圖1 6棵柑橘果樹的冠層原圖

在柑橘果樹適宜生長(zhǎng)的溫度（20℃~31℃）、濕度（45％RH～65％RH）[9-10]和光照強(qiáng)度（800 lx~3500 lx）條件下，分時(shí)段采集3052幅柑橘果樹冠層熱紅外圖像。其中，1602幅未噴藥圖像（1280幅為訓(xùn)練集、322幅為測(cè)試集）；1450幅噴藥圖像（1160幅為訓(xùn)練集、290幅為測(cè)試集）。柑橘果樹冠層熱紅外圖像數(shù)據(jù)采集試驗(yàn)環(huán)境如表1所示。

表1 柑橘果樹冠層熱紅外圖像數(shù)據(jù)采集試驗(yàn)環(huán)境[1]

表1中的農(nóng)藥沉積量是通過10 mm×20 mm的霧滴測(cè)試卡（水敏紙）標(biāo)定的。霧滴測(cè)試卡是一種便攜、簡(jiǎn)單，并提供即時(shí)霧滴視覺效果的檢測(cè)工具。在對(duì)柑橘果樹冠層噴藥前，將霧滴測(cè)試卡放置在施藥部位，并用工具將其固定以避免被風(fēng)吹落（可用回形針等固定在作物葉片上），如圖2(a)所示。施藥后的情況如圖2(b)所示，霧滴分布越均勻，噴灑效果越好。

圖2 霧滴測(cè)試卡

利用ImagePy軟件選取施藥后的水敏紙，并對(duì)需要分析霧滴的區(qū)域進(jìn)行前景色背景剝離；再進(jìn)行霧滴反選，具體分析過程如圖3所示。

圖3 霧滴測(cè)試卡（水敏紙）分析過程

通過ImagePy軟件自動(dòng)得到圖2中霧滴測(cè)試卡的農(nóng)藥沉積量為0.68μL/cm2，如表2所示。

表2 ImagePy軟件分析結(jié)果

1.2 圖像預(yù)處理

無人機(jī)飛行時(shí)，熱紅外相機(jī)拍攝的柑橘果樹冠層圖像可能含有大面積土壤區(qū)域或果樹冠層缺失較多，對(duì)網(wǎng)絡(luò)訓(xùn)練產(chǎn)生較大干擾，使網(wǎng)絡(luò)泛化能力和分類準(zhǔn)確率降低，直接影響網(wǎng)絡(luò)模型性能。同時(shí)熱紅外攝像頭采用非制冷紅外焦平面設(shè)計(jì)，本身可能存在工藝缺陷，如焦平面陣列不均勻，拍攝時(shí)產(chǎn)生噪聲等，造成成像效果不理想。為提高網(wǎng)絡(luò)模型的泛化能力和分類準(zhǔn)確率，需對(duì)圖像數(shù)據(jù)進(jìn)行預(yù)處理，以提高純凈度。

Kim等[11]提出一種塊部分重疊的直方圖均衡化（POSHE）算法，力求在運(yùn)算效率和圖像質(zhì)量之間達(dá)到平衡。圖像直方圖均衡化適用于景物深度變化較小的圖像[12]。一些研究人員提出的局部增強(qiáng)方法在一定程度上減小了場(chǎng)景深度的影響，可使圖像每個(gè)區(qū)域的對(duì)比度都得到較大改善，如基于移動(dòng)模板的局部直方圖均衡技術(shù)[13]。薛月菊等[14]在對(duì)未成熟芒果檢測(cè)研究中，為減小光照不均對(duì)目標(biāo)特征造成的影響，采取直方均衡化方法對(duì)芒果圖像進(jìn)行增強(qiáng)，提高了芒果識(shí)別準(zhǔn)確率。

本文通過數(shù)據(jù)增強(qiáng)增加數(shù)據(jù)量，可降低網(wǎng)絡(luò)訓(xùn)練過擬合程度，提升模型泛化能力。本文運(yùn)用的數(shù)據(jù)增強(qiáng)方法包括：1）利用rotate函數(shù)、Affine函數(shù)對(duì)熱紅外圖像分別進(jìn)行45°旋轉(zhuǎn)和仿射；2）利用flip函數(shù)對(duì)熱紅外圖像分別進(jìn)行水平和垂直翻轉(zhuǎn)；3）利用Affine函數(shù)對(duì)熱紅外圖像進(jìn)行平移，如圖4所示。直方圖均衡化前后效果如圖5所示。

圖4 數(shù)據(jù)擴(kuò)增示例圖

圖5 直方圖均衡化前后效果對(duì)比

2 S-Inception-v3網(wǎng)絡(luò)模型設(shè)計(jì)

巨志勇等[15]提出改進(jìn)的Inception-v3果蔬識(shí)別算法，在學(xué)習(xí)率為0.1、迭代次數(shù)為5000時(shí)效果良好。本文采用參數(shù)遷移學(xué)習(xí)方法，將Inception-v3改進(jìn)為適用于本文的S-Inception-v3網(wǎng)絡(luò)模型。S-Inception-v3網(wǎng)絡(luò)模型主要包括3個(gè)卷積模塊運(yùn)算（1個(gè)常規(guī)卷積模塊和2個(gè)Inception結(jié)構(gòu)）和7個(gè)混合層，并在卷積層與全連接層之間加入SPP-Net算法，以便實(shí)現(xiàn)圖像的信息特征融合，增強(qiáng)特征提取效果，網(wǎng)絡(luò)結(jié)構(gòu)如表3所示。

表3 S-Inception-v3網(wǎng)絡(luò)結(jié)構(gòu)

首先，對(duì)訓(xùn)練集中的正負(fù)樣本進(jìn)行數(shù)據(jù)預(yù)處理，包括圖像大小裁剪、直方圖均衡化與數(shù)據(jù)擴(kuò)增等操作；然后，采用S-Inception-v3網(wǎng)絡(luò)模型對(duì)數(shù)據(jù)集進(jìn)行訓(xùn)練并不斷優(yōu)化模型，通過遷移ImageNet數(shù)據(jù)集上的先驗(yàn)知識(shí)對(duì)模型進(jìn)行微調(diào)，并保存最佳權(quán)重文件以及模型結(jié)構(gòu)；最后，利用訓(xùn)練好的網(wǎng)絡(luò)模型對(duì)測(cè)試集進(jìn)行預(yù)測(cè)，得到熱紅外圖像的分類準(zhǔn)確率。S-Inception- v3網(wǎng)絡(luò)模型訓(xùn)練、預(yù)測(cè)過程如圖6所示。

圖6 S-Inception-v3網(wǎng)絡(luò)模型訓(xùn)練、預(yù)測(cè)過程

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)條件

采用Python3.7程序設(shè)計(jì)語言編寫代碼，并使用keras1.12.1搭建模型框架；利用GPU加速；集成開發(fā)工具為Spyder。處理器為Intel Xeon(R) CPU E5-2620 v4 @ 2.10 GHz ×16，內(nèi)存為64 GB，GPU為GTX TIAN X。

3.2 與其他網(wǎng)絡(luò)模型比較

Mobile Net網(wǎng)絡(luò)模型主要通過改變卷積方式，并適當(dāng)降低參數(shù)精度、參數(shù)量和計(jì)算量進(jìn)行網(wǎng)絡(luò)加速[16]。Shuffle Net網(wǎng)絡(luò)模型在基本不影響網(wǎng)絡(luò)精度的前提下，降低參數(shù)量和計(jì)算量，主要應(yīng)用于手機(jī)、平板電腦等移動(dòng)設(shè)備[17]。S-Inception-v3網(wǎng)絡(luò)模型與其他3種網(wǎng)絡(luò)模型對(duì)比結(jié)果如表4所示。

表4 S-Inception-v3網(wǎng)絡(luò)模型與其他網(wǎng)絡(luò)模型對(duì)比結(jié)果

實(shí)驗(yàn)中，分類正確的圖像572幅（冠層未噴藥分類正確的圖像314幅，冠層噴藥分類正確的圖像258幅）；分類錯(cuò)誤的圖像40幅（冠層未噴藥的圖像分類到冠層噴藥的圖像32幅，冠層噴藥的圖像分類到冠層未噴藥的圖像8幅）。由表4可知：S-Inception-v3網(wǎng)絡(luò)模型分類準(zhǔn)確率為93.74%，召回率為92.58%。S-Inception-v3網(wǎng)絡(luò)模型相較于Mobile Net，Shuffle Net和Inception-v3網(wǎng)絡(luò)模型，分類準(zhǔn)確率和召回率都較高，且具有更好的泛化能力。

4 結(jié)論

針對(duì)傳統(tǒng)檢測(cè)植物冠層施藥情況由人工觀測(cè)顯示屏或照片耗時(shí)費(fèi)力，且傳統(tǒng)神經(jīng)網(wǎng)絡(luò)Mobile Net，Shuffle Net模型參數(shù)量大、準(zhǔn)確率低的問題[16,18-19]，本文提出基于Inception-v3改進(jìn)的S-Inception-v3網(wǎng)絡(luò)模型，分類準(zhǔn)確率可達(dá)93.74%。此外，本文采取直方圖均衡化[20]和數(shù)據(jù)擴(kuò)增進(jìn)行數(shù)據(jù)預(yù)處理，豐富了數(shù)據(jù)多樣性，減輕模型過擬合現(xiàn)象[20-22]。但過度依賴原始數(shù)據(jù)集，不利于模型對(duì)未知數(shù)據(jù)的泛化性能。

本文改進(jìn)的S-Inception-v3網(wǎng)絡(luò)模型對(duì)柑橘果樹冠層施藥情況檢測(cè)較為理想，避免了人工直接觀測(cè)的弊端，無需人工選取特征，且模型便于使用。本研究為進(jìn)一步豐富植物冠層施藥情況檢測(cè)方法提供參考。

[1] 趙峰,李寒松,孔凡祝,等.我國(guó)節(jié)水灌溉技術(shù)發(fā)展現(xiàn)狀與趨勢(shì)[J].農(nóng)業(yè)裝備與車輛工程,2018,56(2):25-28.

[2] 郭裕元,程紅.熱紅外遙感的成像原理及溫度標(biāo)定[J].影像技術(shù),1998(4):37-41.

[3] 紀(jì)景純,趙原,鄒曉娟,等.無人機(jī)遙感在農(nóng)田信息監(jiān)測(cè)中的應(yīng)用進(jìn)展[J].土壤學(xué)報(bào),2019,56(4):773-784.

[4] 章書聲,李佳琦,鄭而重,等.基于紅外相機(jī)技術(shù)監(jiān)測(cè)浙江省自然保護(hù)區(qū)豹貓生存狀況[J].浙江林業(yè)科技,2017,37(4):12-17.

[5] 王康麗.基于無人機(jī)可見光和熱紅外圖像的棉花冠層信息識(shí)別[D].北京:中國(guó)農(nóng)業(yè)科學(xué)院,2019.

[6] 張智韜,邊江,韓文霆,等.剔除土壤背景的棉花水分脅迫無人機(jī)熱紅外遙感診斷[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2018,49(10):250-260.

[7] 艾明晶,戴隆忠,曹慶華.霧天環(huán)境下自適應(yīng)圖像增強(qiáng)去霧方法研究[J].計(jì)算機(jī)仿真,2009,26(7):244-247.

[8] 吳小偉,茹煜,周宏平.無人機(jī)噴灑技術(shù)的研究[J].農(nóng)機(jī)化研究,2010,32(7):224-228.

[9] 謝國(guó)強(qiáng).西吉縣節(jié)水灌溉技術(shù)發(fā)展現(xiàn)狀及改進(jìn)節(jié)水灌溉技術(shù)若干建議[J].山西農(nóng)經(jīng), 2017(20):50.

[10] 張立偉,張智郡,劉海軍,等.基于冠層溫度的玉米缺水診斷研究[J].干旱地區(qū)農(nóng)業(yè)研究,2017,35(3):94-98.

[11] 薛新宇,蘭玉彬.美國(guó)農(nóng)業(yè)航空技術(shù)現(xiàn)狀和發(fā)展趨勢(shì)分析[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào),2013,44(5):194-201.

[12] 楊帥.無人機(jī)低空噴霧霧滴在作物冠層的沉積分布規(guī)律及防治效果研究[D].北京:中國(guó)農(nóng)業(yè)科學(xué)院,2014.

[13] 易曉曈,張超博,李有芳,等.廣西產(chǎn)區(qū)柑橘葉片大中量元素營(yíng)養(yǎng)豐缺狀況研究[J].果樹學(xué)報(bào),2019,36(2):153-162.

[14] 薛月菊,黃寧,涂淑琴,等.未成熟芒果的改進(jìn)YOLOv2識(shí)別方法[J].農(nóng)業(yè)工程學(xué)報(bào),2018,34(7):173-179.

[15] 巨志勇,馬素萍.改進(jìn)的Inceptionv3果蔬識(shí)別算法[J].包裝工程,2019,40(21):30-35.

[16] 張勝.基于ZigBee無線傳感網(wǎng)和模糊控制的溫室番茄智能灌溉系統(tǒng)設(shè)計(jì)[D].杭州:浙江大學(xué),2011.

[17] ZHANG Xiangyu, Zhou Xinyu, Lin Mengxiao, et al. ShuffleNet: An extremely efficient convolutional neural network for mobile devices[J]. Computer Vision and Pattern Recognition, 2017.

[18] 張志云,李長(zhǎng)賀.無人機(jī)技術(shù)在現(xiàn)代農(nóng)業(yè)中的應(yīng)用[J].農(nóng)業(yè)工程,2016,6(4):23-25.

[19] KRIZHEVSKY A, SUTSKEVER I, HINTON G . ImageNet classification with deep convolutional neural networks[J]. Advances in Neural Information Processing Systems, 2012, 25(2): 1097- 1105.

[20] HE Kaiming, ZHANG Xiangyu, REN Shaoqing, et al. Deep residual learning for image recognition[C]// IEEE Conference on Computer Vision & Pattern Recognition. IEEE Computer Society, 2016.

[21] LECUN Y L, BOTTOU L, BENGIO Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998,86(11):2278-2324.

[22] LIANG F, SHEN C, WU F. An iterative BP-CNN architecture for channel decoding[J]. IEEE Journal of Selected Topics in Signal Processing, 2018,12(1):144-159.

Thermal Infrared Image Detection Model Based on Convolution Neural Network

Li Wangzhi Lu Jianqiang Wang Weixing Lin Jiahan Zhou Ping

(School of Electronic Engineering, South China Agricultural University, Guangzhou 510642, China)

In view of the problems of low efficiency and high cost in the detection of the application of pesticides in the canopy of most orchards in China, a thermal infrared image detection model based on convolution neural network is proposed. Based on the classic convolution neural network model Inception-v3, a new convolution neural network model, S-Inception-v3, was designed by collecting a large number of thermal infrared images of citrus trees before and after application under different environmental conditions. Compared with Mobile Net，Shuffle Net and Inception-v3, the classification accuracy of S-Inception-v3 network model on the test set increased by 10.28%, 8.46% and 3.43% respectively; the recall rate increased by 8.66%, 7.48% and 3.35% respectively; the model size decreased by 6.4 M, 1.1 M and 1.6 M respectively. The classification performance of the model is better on the thermal infrared image of the citrus tree canopy. While ensuring the accuracy of the network classification, the network size and calculation amount are decreased, which provides a reference for the improvement of the application detection technology in the field of precision agriculture and aviation.

migration learning; S-Inception-v3 model; convolution neural network; computer vision

S126

A

1674-2605(2020)06-0001-05

10.3969/j.issn.1674-2605.2020.06.001

2019年廣東省教育廳特色創(chuàng)新類項(xiàng)目（2019KTSCX013）；2018年省級(jí)鄉(xiāng)村振興戰(zhàn)略專項(xiàng)資金（2018LM2163）；廣西科技計(jì)劃重點(diǎn)研發(fā)計(jì)劃項(xiàng)目（桂科AB16380286）。

李旺枝，男，1994年生，碩士研究生，主要研究方向：圖像處理。E-mail: 631093306@qq.com

陸健強(qiáng)（通信作者），男，1980年生，高級(jí)實(shí)驗(yàn)師，碩士生導(dǎo)師，主要研究方向：圖像處理。E-mail: 646346@qq.com