基于深度殘差網(wǎng)絡(luò)的番茄葉片病害識別方法

摘要： 傳統(tǒng)深度學習模型在用于蔬菜病害圖像識別時，存在由于網(wǎng)絡(luò)梯度退化導(dǎo)致的識別性能下降問題。為此，本文研究了一種基于深度殘差網(wǎng)絡(luò)模型的番茄葉片病害識別方法。該方法首先利用貝葉斯優(yōu)化算法自主學習網(wǎng)絡(luò)中難以確定的超參數(shù)，降低了深度學習網(wǎng)絡(luò)的訓(xùn)練難度。在此基礎(chǔ)上，通過在傳統(tǒng)深度神經(jīng)網(wǎng)絡(luò)中添加殘差單元，解決了由于梯度爆炸/消失造成的過深層次病害識別網(wǎng)絡(luò)模型性能下降的問題，能夠?qū)崿F(xiàn)番茄葉片圖像的高維特征提取，根據(jù)該特征可進行有效病害鑒定。試驗結(jié)果表明，本研究中基于超參數(shù)自學習構(gòu)建的深度殘差網(wǎng)絡(luò)模型在番茄病害公開數(shù)據(jù)集上取得了良好的識別性能，對白粉病、早疫病、晚疫病和葉霉病等4種番茄葉片常見病害的識別準確率達到95%以上。本研究可為快速準確識別番茄葉片病害提供參考。

關(guān)鍵詞： 設(shè)施蔬菜;病害智能識別;深度學習;殘差網(wǎng)絡(luò);貝葉斯優(yōu)化

中圖分類號： TP3-0 文獻標志碼： A 文章編號： 201908-SA002

引文格式：吳華瑞. 基于深度殘差網(wǎng)絡(luò)的番茄葉片病害識別方法[J]. 智慧農(nóng)業(yè)， 2019，1（4）： 42-49.

1 引言

設(shè)施蔬菜病害是影響大棚蔬菜生產(chǎn)能力的重要因素，一旦作物受到感染，其生產(chǎn)力將下降20%～30%[1]。因此，為了提高蔬菜經(jīng)濟效益，需要對染病植株進行迅速、準確地判斷。傳統(tǒng)上蔬菜病害診斷主要依靠專家的現(xiàn)場鑒定或?qū)嶒炇业牟≡b定，但受專業(yè)人員數(shù)量與咨詢成本所限，農(nóng)業(yè)從事者易因經(jīng)驗不足誤判作物病害類型，錯過植物病害防治有效時間，造成設(shè)施蔬菜產(chǎn)量與質(zhì)量下降[2]。

視覺技術(shù)與數(shù)字產(chǎn)品的普及為設(shè)施蔬菜圖像病害識別帶來了新機遇，由計算機自動完成病害診斷，可降低農(nóng)業(yè)人員對植物保護專家的依賴，減少由于病害知識缺乏造成的誤判[3]。如張云龍等[4]將葉部病斑顏色特征與差直方圖作為分類依據(jù)，利用支持向量機（Support Vector Machine，SVM）方法自動識別蘋果葉部的3種病害，識別率達96%。夏永泉等[5]引入主顏色符描述病斑顏色特征，同時結(jié)合Tamura紋理特征區(qū)分小麥的3種病害葉片與健康葉片，實驗結(jié)果優(yōu)于同等條件下的SVM。基于高分辨率圖像，國外有學者[6]采用簡單線性迭代聚類方法檢測大豆葉片的顏色、形狀、紋理與梯度等視覺屬性特征，描述了植物葉片的物理特性，但該方法計算開銷過大。魏麗冉等[7]則通過圖像預(yù)處理，增強了病害部分的明顯度，使用基于核函數(shù)的支持向量機算法進行病害分類。除此之外，文獻[8-11]等研究與上述方法類似，主要通過病害閾值分割構(gòu)建有效特征矩陣，然后利用不同分類器識別植物病害。但現(xiàn)實中，植物病害形狀位置多變，圖像背景復(fù)雜，人工設(shè)計的特征越來越難以準確識別規(guī)模龐大的病害圖像數(shù)據(jù)。

深度學習是目前較先進的機器學習方法，它利用具有隱藏層的人工神經(jīng)網(wǎng)絡(luò)，不依靠圖像分割與特征提取自動完成高層次的特征學習。深度學習在病害診斷方面已取得了較好的研究成果。Zhang等[12]提出一種基于改進GoogLeNet和Cifar 10網(wǎng)絡(luò)的深度學習模型用于葉片識別。宋麗娟[13]結(jié)合區(qū)分深度置信網(wǎng)絡(luò)對病斑顏色、形狀等底層特征進行高層表示，能夠在沒有充足標注數(shù)據(jù)時穩(wěn)定完成四種枸杞病害識別。王艷玲等[14]采用了AlexNet卷積神經(jīng)網(wǎng)絡(luò)遷移學習，實現(xiàn)了番茄葉片病害圖像快速準確分類。文獻[15-19]等將離散小波變換、區(qū)域生長法等特征提取技術(shù)與深度神經(jīng)網(wǎng)絡(luò)學習相結(jié)合，利用特征提取技術(shù)檢索病害特征，然后通過概率神經(jīng)網(wǎng)絡(luò)對植物疾病成功進行了分類。

基于設(shè)施蔬菜病害的海量圖像數(shù)據(jù)和深度學習模型可自動提取圖像細節(jié)特征，且相較于人工設(shè)計特征具有更好的病害識別效果[20]。但由于大多數(shù)蔬菜疾病是由真菌、細菌與病毒引起的，導(dǎo)致很多設(shè)施蔬菜病害的表象相似，需要構(gòu)建較深的神經(jīng)網(wǎng)絡(luò)才能取得良好的病害鑒定結(jié)果。本研究針對深度學習網(wǎng)絡(luò)模型因?qū)哟芜^深存在的性能下降問題，提出了一種基于深度殘差神經(jīng)網(wǎng)絡(luò)的番茄葉片病害鑒定方法，將底層病害特征與高層病害特征合并運算，避免了深度神經(jīng)網(wǎng)絡(luò)的梯度消失與梯度爆炸問題。同時通過利用貝葉斯理論優(yōu)化深度殘差網(wǎng)絡(luò)超參數(shù)，降低模型陷入局部最優(yōu)的概率，從而提高了以番茄葉片為代表的設(shè)施蔬菜病害圖像的識別準確度。

2 基于深度殘差網(wǎng)絡(luò)的病害圖像識別方法

在傳統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)中，網(wǎng)絡(luò)深度對視覺識別精度具有重要意義。有學者[21-23]研究建立了更深層次的卷積神經(jīng)網(wǎng)絡(luò)模型，證明深度神經(jīng)網(wǎng)絡(luò)模型能夠比淺層神經(jīng)網(wǎng)絡(luò)模型更有效地近似高度復(fù)雜的函數(shù)，可以捕捉自然圖像的復(fù)雜統(tǒng)計特性，有助于提高圖像識別精度。植物病害種類多樣，但許多不同病害外在病斑表現(xiàn)十分相似導(dǎo)致難以準確識別，因此需要構(gòu)建深層次的學習網(wǎng)絡(luò)從而對其進行準確識別。但隨著深度的急劇增加，越來越多的圖像語義信息導(dǎo)致卷積神經(jīng)網(wǎng)絡(luò)面臨著梯度消失與梯度爆炸等問題，降低了網(wǎng)絡(luò)性能。深度殘差網(wǎng)絡(luò)則有效克服了神經(jīng)網(wǎng)絡(luò)深度較大時性能下降的問題[24，25]。

2.1 深度殘差網(wǎng)絡(luò)結(jié)構(gòu)

深度卷積神經(jīng)網(wǎng)絡(luò)主要由數(shù)據(jù)輸入層、隱藏層與輸出層構(gòu)成。隱藏層中包含多級神經(jīng)網(wǎng)絡(luò)，主要依靠Conv卷積層、pooling池化層與全連接層配合搭建，利用卷積特征提取器獲得輸入圖像的邊緣、紋理與隱藏的細節(jié)特征，最后通過全連接層（Fully Connected layers，F(xiàn)C）根據(jù)提取特征進行病害分類，如圖1所示。為了提高網(wǎng)絡(luò)性能，深度卷積神經(jīng)網(wǎng)絡(luò)通常都包括非線性激活函數(shù)與批量歸一化層（Batch Normalization layers，BN）。隱藏層中每層的每個神經(jīng)單元與下一層所有神經(jīng)單元相連，所有連接都有一個權(quán)值，網(wǎng)絡(luò)訓(xùn)練過程中，對于每層輸出結(jié)果需要通過損失函數(shù)計算衡量分類錯誤程度，使用梯度下降更新各層權(quán)值。

通過式（1）可知，隨著網(wǎng)絡(luò)深度增加，梯度幅度會急劇減小/增大，導(dǎo)致淺層神經(jīng)元權(quán)重更新過慢/快，從而發(fā)生梯度消失/梯度爆炸，造成模型性能下降。因此，He和Sun[22]提出利用殘差映射優(yōu)化深度學習網(wǎng)絡(luò)，通過利用跳躍連接跳過卷積層形成殘差塊，在很大程度上解決了網(wǎng)絡(luò)模型退化問題，并大大提高了訓(xùn)練效率。

基于He和Sun提出的殘差網(wǎng)絡(luò)模型，本研究構(gòu)建了用于番茄葉片病害鑒定的深度殘差網(wǎng)絡(luò)，其整體框架如圖2所示。

番茄葉片病害鑒定過程為：將（寬32像素，高32像素）、通道數(shù)為3的RGB番茄葉片圖像作為輸入，在輸入層通過平移、翻轉(zhuǎn)等數(shù)據(jù)增強方法記憶訓(xùn)練數(shù)據(jù)的細節(jié)特征，擴充作物病害數(shù)據(jù)集。令擴展訓(xùn)練集依次通過Conv卷積層、ReLU激活函數(shù)層與BN批量歸一化層，再由多個殘差塊處理其輸出的結(jié)果，最后經(jīng)過平均池化層和全連接層，使用分類器判斷蔬菜葉片的健康狀態(tài)。該模型的具體網(wǎng)絡(luò)參數(shù)如表1所示，它由14個權(quán)重層構(gòu)成，其中包含13個卷積層與一個全連接層，每個殘差塊有兩個殘差單元。

圖2左側(cè)為本研究構(gòu)建的殘差單元，每個殘差單元的輸入與輸出維度相同，BN層用其平均值和方差，標準化激活函數(shù)輸入，然后進一步利用拉伸參數(shù)和偏移參數(shù)縮放批量歸一化結(jié)果，令數(shù)據(jù)在空間內(nèi)更加分散，更加均勻;激活函數(shù)則用于提取數(shù)據(jù)的復(fù)雜特征，增加各層網(wǎng)絡(luò)的非線性關(guān)系。跳躍連接則將殘差單元輸入與殘差單元內(nèi)第二個卷積的輸出批量歸一化結(jié)果相加，使原始映射函數(shù)表示為H（xk）+xk，突破了網(wǎng)絡(luò)深度增加造成的網(wǎng)絡(luò)退化問題。該深度網(wǎng)絡(luò)模型中梯度計算公式如下[27]：

深度殘差網(wǎng)絡(luò)在更新疊加層參數(shù)的同時更新直接連接的輸入數(shù)據(jù)的參數(shù)，將淺層網(wǎng)絡(luò)得到的低階病害特征和深層網(wǎng)絡(luò)提取的高階病害特征進行合并運算，梯度可以直接通過恒等激活函數(shù)從后一層流到前一層，使殘差網(wǎng)絡(luò)具有比傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)更快的收斂速度，更強的特征表達能力。

2.2 基于貝葉斯理論的超參數(shù)優(yōu)化

構(gòu)建深度殘差神經(jīng)網(wǎng)絡(luò)往往首先需要確定超參數(shù)，這些參數(shù)包括網(wǎng)絡(luò)深度、過擬合正則化參數(shù)與學習速率等。超參數(shù)值是影響訓(xùn)練時間和分類精度的重要因素，而人工調(diào)整需要耗費大量時間。

貝葉斯優(yōu)化是一種求解未知目標函數(shù)極值的有效算法，其利用以往實驗獲得的信息對任意目標函數(shù)進行建模和最小化。貝葉斯優(yōu)化通過建立和查詢代理模型，評估復(fù)雜的實際目標函數(shù)，根據(jù)擬合結(jié)果預(yù)測參數(shù)空間中最具潛力的評估點[28，29]。換句話說，貝葉斯優(yōu)化能夠在最少數(shù)量的目標函數(shù)評估下得到復(fù)雜函數(shù)最優(yōu)解。

有研究發(fā)現(xiàn)殘差網(wǎng)絡(luò)是由若干淺層網(wǎng)絡(luò)組合而成，優(yōu)化其網(wǎng)絡(luò)寬度比增加網(wǎng)絡(luò)深度更有意義[14]。因此，如式（3）所示，本研究假設(shè)為超參數(shù)空間，它包含以下關(guān)鍵參數(shù)：網(wǎng)絡(luò)寬度（殘差塊1中每個卷積層的濾波器數(shù)量），初始化學習速率、隨機梯度下降動量與L2正則化強度。

在本研究中，貝葉斯優(yōu)化通過令驗證數(shù)據(jù)分類誤差最小化，確定最佳網(wǎng)絡(luò)架構(gòu)和超參數(shù)值。尋找最優(yōu)超參數(shù)的目標函數(shù)可以被建模為：

其中，即為最優(yōu)超參數(shù)，公式（4）的意義在于評估目標函數(shù)F的輸入得到對應(yīng)輸出。貝葉斯優(yōu)化算法通過執(zhí)行一個順序搜索算法，n次迭代后，在建議的新位置處評估。根據(jù)算法已有的評估結(jié)果，利用高斯建模在給定與的基礎(chǔ)上得到。然后，根據(jù)似然分布計算代理函數(shù)。通過評估對優(yōu)化目標函數(shù)F的貢獻，代理函數(shù)平衡已知的優(yōu)秀點和未知點空間，進行全局搜索最小化，從而避免局部最優(yōu)，保證算法快速收斂。

3 試驗結(jié)果及分析

通過提取PlantVillag公開數(shù)據(jù)集中番茄的病害葉片與健康葉片，本研究構(gòu)建了番茄病害數(shù)據(jù)庫。數(shù)據(jù)集分布如表2所示。

基于所選驗證集與訓(xùn)練集，分別構(gòu)建了22層與35層的深度神經(jīng)網(wǎng)絡(luò)，其驗證集識別準確率如圖4所示。由圖4可看出，隨著網(wǎng)絡(luò)層數(shù)的急劇增加，驗證集中葉片病害的識別準確率反而出現(xiàn)了下降的情形。因此，研究殘差神經(jīng)網(wǎng)絡(luò)防止梯度消失等問題是必要的。

根據(jù)2.2節(jié)所述，利用貝葉斯優(yōu)化算法對網(wǎng)絡(luò)超參數(shù)進行調(diào)優(yōu)，其過程如圖5所示?；诟咚惯^程回歸對超參數(shù)建模得到目標函數(shù)的替代概率模型，在代理模型上找到最佳超參數(shù)組合（最小預(yù)測點），將該組合用于真正目標函數(shù)（驗證集分類錯誤率）獲得最小觀測值，然后更新包含新最小觀測點的代理模型，重復(fù)上述步驟，得到最優(yōu)超參數(shù)組合。通過貝葉斯優(yōu)化，本研究確定訓(xùn)練深度殘差網(wǎng)絡(luò)寬度，初始化學習速率，隨機梯度下降動量，L2正則化強度。

基于上述參數(shù)，構(gòu)建第2節(jié)所述的深度殘差網(wǎng)絡(luò)和傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)對番茄葉片圖像集進行訓(xùn)練分類。利用隨機梯度下降算法更新網(wǎng)絡(luò)權(quán)重，通過1360次迭代，可得到深度殘差網(wǎng)絡(luò)與傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)對相同驗證數(shù)據(jù)集的誤差曲線。圖6中深度殘差網(wǎng)絡(luò)的曲線收斂速度更快。

表中DCNN為22層卷積神經(jīng)網(wǎng)絡(luò)。本研究模型對比傳統(tǒng)SVM與BP神經(jīng)網(wǎng)絡(luò)，識別精度有明顯提升;對比DCNN學習模型，深度殘差網(wǎng)絡(luò)模型收斂更快，同時識別準確率提高。對健康葉片與感染白粉、早疫、晚疫和葉霉的病害葉片，本研究模型的識別準確率依次是95.7%、96.7%、98.9%、96.0%、95.8%。

4 結(jié)論

本研究通過分析深度學習應(yīng)用于病害鑒定的研究現(xiàn)狀，針對目前隨著網(wǎng)絡(luò)深度增加，病害識別模型存在的梯度爆炸與梯度消失問題，研究了基于深度殘差網(wǎng)絡(luò)的番茄葉片病害智能識別方法。同時，考慮到網(wǎng)絡(luò)模型參數(shù)調(diào)整的困難，本研究利用貝葉斯優(yōu)化算法確定了訓(xùn)練網(wǎng)絡(luò)的最優(yōu)超參數(shù)。由試驗結(jié)果得到，該深度殘差網(wǎng)絡(luò)模型可對番茄葉片的白粉病、早疫病、晚疫病和葉梅病4種病害進行有效分類，分類準確度達到95%以上。

自然環(huán)境中，受光照與遮擋等因素影響，病害葉片圖像往往具有復(fù)雜背景，所以需要進一步研究有效的背景分割方法以提高病害識別正確率。而由于深度殘差網(wǎng)絡(luò)通過增加跳躍連接改善深度學習模型性能，網(wǎng)絡(luò)訓(xùn)練時間較長，因此在實際應(yīng)用中，如何優(yōu)化深度殘差網(wǎng)絡(luò)的訓(xùn)練時長將是以后的研究方向之一。

參考文獻

[1] Park H， JeeSook E， Kim S H. Crops disease diagnosing using image-based deep learning mechanism[C]// IEEE ?2018 International Conference on Computing and Network Communications， 2018： 23-26.

[2] Ermayanti A， Nidia Enjelita S， Nuraini S， et al. Dempster-Shafer method for diagnose diseases on vegetable[C]// 2018 6th International Conference on Cyber and IT Service Management （CITSM）， 2018.

[3] Schor N， Bechar A， Ignat T， et al. Robotic disease detection in greenhouses： combined detection of powdery mildew and tomato spotted wilt virus[J]. IEEE Robotics and Automation Letters， 2016， 1（1）： 354-360.

[4] 張云龍， 袁浩， 張晴晴， 等. 基于顏色特征和差直方圖的蘋果葉部病害識別方法[J]. 江蘇農(nóng)業(yè)科學， 2017， 45（14）： 171-174.

[5] 夏永泉， 王兵， 支俊， 等. 基于隨機森林方法的小麥葉片病害識別研究[J]. 圖學學報， 2018， 39（1）： 57-62.

Xia Y， Wang B， Zhi J， et al. Identification of wheat leaf disease based on random forest method[J]. Journal of Graphics， 2018， 39（1）： 57-62.

[6] Castelao Tetila E， Brandoli Machado B， Belete N A D S， et al. Identification of soybean foliar diseases using unmanned aerial vehicle images[J]. IEEE Geoscience and Remote Sensing Letters， 2017， 14（12）： 2190-2194.

[7] 魏麗冉， 岳峻， 李振波， 等. 基于核函數(shù)支持向量機的植物葉部病害多分類檢測方法[J]. 農(nóng)業(yè)機械學報， 2017， 48（S1）： 166-171.

Wei L， Yue J， Li Z， et al. Multi-classification detection method of plant leaf disease based on kernel function SVM[J]. Transactions of the CSAM， 2017， 48（S1）： 166-171.

[8] 蘆兵， 孫俊， 毛罕平， 等. 高光譜和圖像特征相融合的生菜病害識別[J]. 江蘇農(nóng)業(yè)學報， 2018， 34（6）： 1254-1259.

Lu B， Sun J， Mao H， et al. Disease recognition of lettuce with feature fusion based on hyperspectrum and image[J]. Jiangsu Journal of Agricultural Sciences， 2018， 34（6）： 1254-1259.

[9] 胡維煒， 張武， 劉連忠. 基于Variance-SFFS的小麥葉部病害圖像識別[J]. 湖南農(nóng)業(yè)大學學報（自然科學版）， 2018， 44（02）： 225-228.

Hu W， Zhang W， Liu L. Identification of wheat leaf diseases based on Variance-SFFS algorithm[J]. Journal of Hunan Agricultural University（Natural Sciences）， 2018， 44（02）： 225-228.

[10] 張芳， 李曉輝， 楊洪偉. 復(fù)雜背景下植物葉片病害的圖像特征提取與識別技術(shù)研究[J]. 遼寧大學學報（自然科學版）， 2016， 43（04）： 311-318.

Zhang F， Li X ， Yang H. Image feature extraction and recognition of plant leaf disease in complex background[J]. Journal of Liaoning University （Natural Sciences）， 2016， 43（04）： 311-318.

[11] Kaur S， Pandey S， Goel S. Semi-automatic leaf disease detection and classification system for soybean culture[J]. IET Image Processing， 2018， 12（6）： 1038-1048.

[12] Zhang X， Qiao Y， Meng F， et al. Identification of maize leaf diseases using improved deep convolutional neural networks[J]. IEEE Access， 2018， 6： 30370-30377.

[13] 宋麗娟. 基于區(qū)分深度置信網(wǎng)絡(luò)的病害圖像識別模型[J]. 計算機工程與應(yīng)用， 2017， 53（21）： 32-36， 48.

Song L. Recognition model of disease image based on discriminative deep belief networks[J]. Computer Engineering and Applications， 2017， 53（21）： 32-36， 48.

[14] 王艷玲， 張宏立， 劉慶飛， 等. 基于遷移學習的番茄葉片病害圖像分類[J]. 中國農(nóng)業(yè)大學學報， 2019， 24（6）： 124-130.

Wang Y， Zhang H， Liu Q， et al. Image classification of tomato leaf diseases based on transfer learning[J]. Journal of China Agricultural University， 2019， 24（6）： 124-130.

[15] Khadabadi G C， Kumar A， Rajpurohit V S. Identification and classification of diseases in carrot vegetable using discrete wavelet transform[C]// International Conference on Emerging Research in Electronics. IEEE， 2016.

[16] Siddharth Singh Chouhan， KaulAjay， Uday Pratap Singh， et al. Bacterial foraging optimization based radial basis function neural network （BRBFNN） for identification and classification of plant leaf diseases： An automatic approach towards plant pathology[J]. IEEE Access， 2018， 6： 8852-8863.

[17] 陳桂芬， 趙姍， 曹麗英， 等. 基于遷移學習與卷積神經(jīng)網(wǎng)絡(luò)的玉米植株病害識別[J]. 智慧農(nóng)業(yè)， 2019， 1（2）： 34-44.

Chen G， Zhao S， Cao L， et al. Corn plant disease recognition based on migration learning and convolutional neural network[J]. Smart Agriculture， 2019， 1（2）： 34-44.

[18] 張航， 程清， 武英潔， 等. 一種基于卷積神經(jīng)網(wǎng)絡(luò)的小麥病害識別方法[J]. 山東農(nóng)業(yè)科學， 2018， 50（3）： 137-141.

Zhang H， Cheng Q， Wu Y， et al. A method of wheat disease identification based on convolutional neural network[J]. Shandong Agricultural Sciences， 2018， 50（3）： 137-141.

[19] 賈建楠， 吉海彥. 基于病斑形狀和神經(jīng)網(wǎng)絡(luò)的黃瓜病害識別[J]. 農(nóng)業(yè)工程學報， 2013， 29（25）： 115-121.

Jia J， Ji H. Recognition for cucumber disease based on leaf spot shape and neural network[J]. Transactions of the CSAE， 2013， 29（25）： 115-121.

[20] Francis J， Anto S D D， Anoop B K. Identification of leaf diseases in pepper plants using soft computing techniques[C]// 2016 Conference on Emerging Devices and Smart Systems. IEEE， 2016.

[21] Krizhevsky A， Sutskever I， Hinton G. ImageNet classification with deep convolutional neural networks[C]// NIPS. Curran Associates Inc. 2012.

[22] He K， Sun J. Convolutional neural networks at constrained time cost[C]// 2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 2015.

[23] Szegedy C， Liu W， Jia Y， et al. Going deeper with convolutions[C]// 2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 2015.

[24] He K， Zhang X， Ren S， et al. Deep residual learning for image recognition[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 2016.

[25] Wu S， Zhong S H， Liu Y. Steganalysis via deep residual network[C]// 2016 IEEE 22nd International Conference on Parallel and Distributed Systems （ICPADS）， IEEE， 2016.

[26] 厙向陽， 韓伊娜. 基于殘差網(wǎng)絡(luò)的小型車輛目標檢測算法[J]. 計算機應(yīng)用研究， 37（8）：1-6.

She X， Han Y. Small vehicle target detection algorithm based on residual network[J]. Application Research of Computers， 2019， 37（8）： 1-6.

[27] 郭玥秀， 楊偉， 劉琦， 等. 殘差網(wǎng)絡(luò)研究綜述[J]. 計算機應(yīng)用研究， [2019-11-08].

Guo Y， Yang W， Liu Q， et al. Survey of residual network[J]. Application Research of Computers， [2019-11-08].

[28] Reagen B， Hernandez-Lobato J M， Adolf R， et al. A case for efficient accelerator design space exploration via Bayesian optimization[C]// 2017 IEEE/ACM International Symposium on Low Power Electronics and Design. ACM， 2017.

[29] 崔佳旭， 楊博. 貝葉斯優(yōu)化方法和應(yīng)用綜述[J]. 軟件學報， 2018， 29（10）： 3068-3090.Cui J， Yang B. Survey on Bayesian optimization Methodology and Applications[J]. Journal of Software， 2018， 29（10）： 3068-3090.