基于HOG-CNN的高相似度葉片圖像識別方法

雷繼呈 楊曉濱 羅道興 上官毅祥 曾森靈

摘? 要： 依賴特征工程的傳統(tǒng)圖像識別技術(shù)對高度相似葉片圖像識別困難，對此提出一種融合方向梯度直方圖（HOG）與卷積神經(jīng)網(wǎng)絡(luò)（CNN）的圖像識別方法。首先由HOG算子提取葉片圖像的局部紋理特征，然后將特征向量導(dǎo)入卷積神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練、測試和輸出分類結(jié)果。通過組合對比試驗結(jié)果表明，該方法能夠有效提高數(shù)據(jù)的魯棒性，提高葉片圖像的平均正確識別率，比多層感知器（MLP）和支持向量機（SVM）分類器的準確率提高了12%左右，平均準確率達到85%。

關(guān)鍵詞： 方向梯度直方圖（HOG）; 卷積神經(jīng)網(wǎng)絡(luò)（CNN）; 多層感知器（MLP）; 支持向量機（SVM）; 圖像識別

中圖分類號：TP391? ? ? ? ? 文獻標志碼：A? ? ?文章編號：1006-8228（2019）09-53-04

High similarity blade image recognition method based on HOG-CNN

Lei Jicheng， Yang Xiaobin， Luo Daoxing， Shangguan Yixiang， Zeng Senling

（Ningde Vocational and Technical College， Fuan， Fujian 355000， China）

Abstract： The traditional image recognition technology relying on feature engineering is difficult to identify highly similar blade images. In this paper， an image recognition method based on histogram of oriented gradient （HOG） and convolutional neural network （CNN） is proposed. Firstly， the local texture features of the leaf image are extracted by the HOG operator， and then the feature vector is imported into the convolutional neural network to train， test and output the classification result. The results of combined comparison experiments show that the proposed method can effectively improve the robustness of data， improve the average correct recognition rate of blade images. Compared with MLP and SVM classifiers， the accuracy is improved by about 12%， and the average accuracy rate is 85%.

Key words： histogram of oriented gradient （HOG）; convolutional neural network（CNN）; multilayer perceptron（MLP）; support vector machine（SVM）; image recognition

0 引言

植物的葉、花和果實等器官特征，常被植物學(xué)專家用來鑒別植物的重要依據(jù)。由于這些器官的特征易于觀察和提取，特別是植物的葉片器官。國內(nèi)、外學(xué)者研究植物的葉片形狀、紋理和顏色等屬性，設(shè)計葉片圖像特征處理工程，采用機器學(xué)習算法，對植物葉片進行識別、分類，研究成果顯著。王曉峰等[1]提取葉片輪廓的幾何特征和Hu不變矩，采用移動中心超球分類器，對植物葉片的平均正確識別率達到92%;張善文等[2]利用等度規(guī)映射（Isomap）流形學(xué)習算法、加權(quán)主權(quán)成分分析（WPCA）和支持向量機（SVM）分類器，有效識別植物葉片;張寧等[3]提出克隆選擇法（SCA）和K近鄰法（KNN），驗證了葉片圖像識別中紋理特征的重要性;Monica G等[4]提出不同尺度的葉脈紋理分割算法，結(jié)合分類器對三種豆科植物進行分類;王斌等[5]提出了弦特征矩陣（CFM）形狀描述子，提取葉片輪廓的幾何特征;劉超等[6]利用局部二值模式（LBP）算子提取圖像局部紋理特征，結(jié)合SVM算法對手指靜脈進行識別?；陬I(lǐng)域?qū)＜业男螤钐卣鞴こ膛c傳統(tǒng)分類器的方法，具有訓(xùn)練樣本少、旋轉(zhuǎn)和平移不變性等優(yōu)點，但僅適用簡單背景的圖像識別，對于高度相似植物葉片的識別仍舊困難[7]。

隨著深度學(xué)習算法解決了深層結(jié)構(gòu)優(yōu)化問題，LeNet-5在手寫數(shù)字識別取得成功[8]，各類卷積神經(jīng)網(wǎng)絡(luò)開始快速發(fā)展，并在圖像識別上中取得良好效果。為此，文中提出一種基于HOG描述算子與卷積神經(jīng)網(wǎng)絡(luò)的高相似度茶樹葉片識別方法。

1 相關(guān)方法

1.1 局部二值模式（Local Binary Patterns，LBP）

LBP是一種提取圖像局部紋理信息的描述算子，具有旋轉(zhuǎn)與灰度不變性優(yōu)點。其特征提取步驟：首先將圖像檢測窗口（256*256）劃分為16*16的小區(qū)域（cell），然后計算每個cell的中心像素點LBP值（見式⑴）及其統(tǒng)計直方圖，最后將每個cell的統(tǒng)計直方圖連接成一幅圖的LBP紋理特征向量。

[LBPxc，yc=i=072is（pi-pc）]? ? ? ? ⑴

其中，[xc，yc]中心像素點，[pi]是周圍像素點的灰度值，[pc]是中心像素點的灰度值，[s]是一個符號函數(shù)見式⑵。

[sx=1，? x≥00，? x<0]? ? ? ? ?⑵

1.2 方向梯度直方圖（Histogram of Oriented Gradient，HOG）

HOG是一種用梯度的方向密度來描述圖像局部特征的算子，具有幾何和光學(xué)形變的不變性。首先進行圖像灰度化預(yù)處理，然后計算各個block的cell單元中像素的梯度強度（見式⑶）與方向（見式⑷）并歸一化，連接所有block的描述算子，構(gòu)建一幅圖像的HOG特征。

[Gx，y=Gxx，y2+Gyx，y2]? ? ? ?⑶

[θx，y=tan-1Gyx，yGxx，y]? ? ? ?⑷

1.3 支持向量機（Support Vector Machine，SVM）

SVM是一種對線性和非線性數(shù)據(jù)進行分類的算法，使用合適的非線性映射函數(shù)，將訓(xùn)練數(shù)據(jù)映射到高維上，并搜索最佳分離超平面。根據(jù)拉格朗日公式，可將最佳分離超平面改成決策邊界，見式⑸。

[dXT=i=1nyipiXiXT+q0]? ? ? ?⑸

其中，[XT]是檢驗元組，[yi]是支持向量[Xi]的類標號，[pi]和[q0]是最優(yōu)化的數(shù)值參數(shù)，n是支持向量個數(shù)。

1.4 多層感知器（Multilayer Perceptron，MLP）

MLP是由輸入層、隱藏層、輸出層及層間全連接組成的結(jié)構(gòu)， 可以包含多層隱藏層。隱藏層輸出Y是輸入層向量X與連接系數(shù)[W1]的乘積加上一個偏置量[b1]的函數(shù)，見式⑹。

[Y=ReLUW1X+b1]? ? ? ? ? ? ⑹

其中，函數(shù)ReLU是非線性激活函數(shù)。輸出層是隱藏層輸出Y的softmax函數(shù)分類，見式⑺。

[fx=GW2Y+b2]? ? ? ? ? ?⑺

其中，函數(shù)G是softmax函數(shù)，[W2]和[b2]是輸出層與隱藏層的連接系數(shù)和偏置量。

1.5 HOG與卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）算法

通過方向梯度直方圖（HOG）提取圖像局部特征，作為卷積神經(jīng)網(wǎng)絡(luò)的輸入層，再次由卷積層進行特征提取，最后由softmax函數(shù)分類輸出，算法如圖1所示。

2 試驗數(shù)據(jù)及分析

2.1 數(shù)據(jù)集描述

從寧德職業(yè)技術(shù)學(xué)院茶樹葉片數(shù)據(jù)集中，任選八類茶樹葉片樣本，每類50幅共400幅葉片圖像，樣本效果如圖2所示。從樣本數(shù)據(jù)集隨機選擇70%樣本為訓(xùn)練集，剩余的30%為測試集。

2.2 試驗數(shù)據(jù)

特征描述算子參數(shù)設(shè)置，局部二值模式（LBP）的半徑設(shè)置為24、點數(shù)設(shè)置為8，方向梯度直方圖（HOG）的方向梯度設(shè)為9、每塊cell單元數(shù)為2*2、每個cell單元像素為8*8。分類器參數(shù)設(shè)置，支持向量機（SVM）使用線性核函數(shù)、錯誤項的懲罰系數(shù)為100、偽隨機數(shù)發(fā)生器種子設(shè)置為42，多層感知器（MLP）的隱藏層設(shè)置（50，30）、使用lbfgs優(yōu)化器。卷積神經(jīng)網(wǎng)絡(luò)（CNN）由1個輸入層（256*256）、4組特征提取層和1個全連接層堆疊而成，特征提取層是一個批量歸一化層、ReLU激活函數(shù)、最大池化層和卷積層的連接結(jié)構(gòu)。

組合2種特征描述算子（LBP與HOG）、2種分類器（SVM與MLP），對比基于卷積神經(jīng)網(wǎng)絡(luò)模型試驗，試驗數(shù)據(jù)表1所示，各類召回率與精準率如表2和表3所示。

2.3 數(shù)據(jù)分析

2.3.1 描述算子對圖像識別的影響

由表1中試驗1-4對比可知，局部二值模式（LBP）略優(yōu)于方向梯度直方圖描述算子（HOG）。LBP與HOG算子都能很好提取圖像局部紋理特征，且對旋轉(zhuǎn)、平衡的不變性，可抑制光照的影響，但HOG特征描述子冗長，對噪點相當敏感。

由表2的召回率和表3的精準率，可以計算平均F度量值（精度和召回率的調(diào)和均值）評價各種模型，如表4所示，HOG+CNN模型優(yōu)于其它的模型。

2.3.2 HOG與CNN算法對圖像識別的影響

HOG+CNN算法能夠有效提高茶樹葉片的識別率，優(yōu)于獨立的CNN模式，損失值與準確率數(shù)據(jù)分析如圖3所示。

由圖3可知，CNN模式收斂速度比HOG+CNN模式更快，但兩種模式都能夠快速收斂。CNN模式快速收斂時，準確率快速趨于飽和，這是因為樣本較少，訓(xùn)練時容易出現(xiàn)過擬合現(xiàn)象。HOG+CNN模式，在訓(xùn)練中期出現(xiàn)了微小波動，這是因為HOG算子提取特征能夠有效提高數(shù)據(jù)魯棒性，一定程度上減輕了過擬合，試驗效果要比單獨CNN模式好。

3 結(jié)論

針對茶樹葉片圖像高度相似特點，提出一種融合HOG與卷積神經(jīng)網(wǎng)絡(luò)的圖像識別方法。首先通過方向梯度直方圖（HOG）提取葉片圖像的淺層特征，克服圖像的旋轉(zhuǎn)、平移和光照的影響，增加數(shù)據(jù)的魯棒性和圖像特征降維;然后將HOG描述算子提取的局部特征導(dǎo)入卷積神經(jīng)網(wǎng)絡(luò)模型進行深層特征提取，由softmax函數(shù)分類輸出。該方法有效提高了高相似葉片圖像識別的準確率，比較支持向量機和多層感知器分類器的平均準確率提高了12%左右，提高了數(shù)據(jù)的魯棒性。但是，在樣本訓(xùn)練中后期，依然存在數(shù)據(jù)過擬合現(xiàn)象和圖像正確識別率無法提升問題。今后應(yīng)該從數(shù)據(jù)增強技術(shù)方面深入研究，以提高樣本數(shù)據(jù)的魯棒性和泛化能力，從而提高圖像的準確率。

參考文獻（References）：

[1] 王曉峰，黃德雙，杜吉祥等.葉片圖像特征提取與識別技術(shù)的研究[J].計算機工程與應(yīng)用，2006.42（3）：190-193

[2] 張善文，黃德雙.一種魯棒的監(jiān)督流形學(xué)習算法及其在植物葉片分類中的應(yīng)用[J].模式識別與人工智能，2010.23（6）： 836-841

[3] 張寧，劉文萍.基于克隆選擇算法和K近鄰的植物葉片識別方法[J].計算機應(yīng)用，2013.33（7）：2009-2013

[4] Monica G. Larese，Ariel E. Baya，Roque M. Craviotto， et al.Multiscale recognition of legume varieties based on leaf venation images[J].Expert Systems with Application， 2014.41（10）：4638-4647

[5] 王斌，陳良宵，葉夢婕.弦特征矩陣：一種有效的用于植物葉片圖像分類和檢索的形狀描述子[J].計算機學(xué)報，2017.40（11）： 2559-2574

[6] 劉超，王容川，許曉偉等.基于改進LBP的手指靜脈識別算法[J].計算機仿真，2019.36（1）：381-386

[7] 曹鳳蓮.基于深度學(xué)習的植物葉片識別方法研究[D].重慶：重慶大學(xué)，2017.

[8] P.Haffner，L.Bottou，Y.Bengio，et al.Gradient-based learning applied to document recognition[J].Proceedings of the IEEE，1998.86（11）：2278-2324