劉栩廷,劉姣娣,王明明,許洪振,馬靜雯
(桂林理工大學機械與控制工程學院,廣西 桂林 541006)
甘蔗是我國糖料生產(chǎn)的重要原材料,生產(chǎn)出來的蔗糖作為多功能的食品添加劑[1]。蔗糖產(chǎn)業(yè)作為廣西壯族自治區(qū)實現(xiàn)農(nóng)民增收的主導(dǎo)產(chǎn)業(yè),甘蔗種植質(zhì)量直接影響農(nóng)戶收入和政府財政收入[2]。目前,國內(nèi)推廣并投入使用的甘蔗種植機主要有整桿式種植機、實時切種式種植機及預(yù)切種式種植機[3],整桿式種植機與實時切種式種植機在作業(yè)時不考慮蔗種蔗芽的活性,無法保證蔗種出苗率,蔗種出苗率僅為50%~60%,另外,預(yù)切種式種植機作業(yè)前需人工剔除帶病蟲害或因機械損傷的壞芽蔗種,工作效率低且誤判率高。
檢測識別壞芽蔗種并進行剔除是降低甘蔗種植成本,提高蔗種出苗率的重要途徑。目前國內(nèi)外學者針對甘蔗切種防傷芽這一要求,通過比較甘蔗莖節(jié)部位與莖稈區(qū)域的顏色、直徑最大值等特征差異,利用機器視覺技術(shù)識別莖節(jié),其中,MOSHASHAI K等[4]對甘蔗莖節(jié)的識別做了初步研究;陸尚平等[5]通過定義莖節(jié)特征指標,用支持向量機識別莖節(jié);張衛(wèi)正等[6]通過建立偏最小二乘法(PLS)分類模型,用高光譜成像和圖像處理技術(shù)識別定位莖節(jié);李尚平等[7]采用改進的YOLOv3網(wǎng)絡(luò),建立智能識別卷積神經(jīng)網(wǎng)絡(luò)模型,對整根甘蔗的莖節(jié)圖像特征進行實時定位與識別。上述研究主要是通過莖節(jié)識別以降低切種傷芽率,但均未對蔗種壞芽進行檢測識別。黃亦其等[8]將蔗芽區(qū)域圖像的明暗特征作為完好與破損蔗芽的區(qū)分特征,計算蔗芽區(qū)域圖像特征的分布區(qū)間占整個分布區(qū)間的百分比,利用貝葉斯決策模型檢測蔗種蔗芽完好性。
上述蔗芽完好性的研究主要是基于所搭建的檢測機構(gòu)在靜態(tài)環(huán)境下進行檢測,且被測蔗種樣品需要良好的光照環(huán)境,實驗條件較為嚴苛,難以適應(yīng)田間作業(yè)環(huán)境采集蔗種圖像光照不均勻、圖像模糊失真的蔗芽檢測識別。LBP算法[9-11]在描繪圖像局部紋理特征時具有很強魯棒性,對光照環(huán)境的要求較低,且由于蔗種壞芽具有特殊的顏色特征,而SVM算法[12-15]訓(xùn)練建模具有小樣本統(tǒng)計的最佳預(yù)測能力,為此,本文提出一種基于LBP與顏色特征融合的SVM蔗種壞芽識別算法,以適應(yīng)蔗種種植作業(yè)田間復(fù)雜光照環(huán)境,通過提取蔗種圖像的LBP特征和顏色特征,基于單特征和融合特征模型,設(shè)計SVM分類器,構(gòu)建蔗種壞芽識別模型,比較不同分類器對蔗種壞芽識別效果,優(yōu)選蔗種壞芽識別分類器,旨在為預(yù)切種式甘蔗種植機智能識別并剔除壞種提供研究基礎(chǔ)。
針對預(yù)切種式甘蔗種植機,以剔除壞芽蔗種為研究目標,進行蔗種壞芽識別。由于種箱堆放的蔗種蔗芽初始方位不同,所以在圖像讀取時不能保證采集到的每張蔗種圖像上都帶有蔗芽信息。為確保實驗的可靠性,設(shè)計蔗芽調(diào)向識別及剔除系統(tǒng),如圖1所示。
圖1 蔗芽識別及剔除原理
蔗芽調(diào)向識別及剔除系統(tǒng)由工業(yè)相機、圖像采集系統(tǒng)、計算機、PLC控制器、步進電機、夾持取種機構(gòu)和剔除推手組成。其工作流程如下:夾持取種機構(gòu)抓取蔗種,并將蔗種置于工業(yè)相機圖像采集位,以蔗種的軸線為基準,順時針勻速旋轉(zhuǎn)蔗種,以一定的速度采集各個方位的蔗種圖像;當相機采集到蔗芽圖像,蔗種停止旋轉(zhuǎn),計算機對蔗芽進行識別,若識別為壞芽,將此信號通過計算機反饋給PLC控制器,由步進電機2控制剔除推手將帶有壞芽的劣質(zhì)蔗種推離工作臺。
甘蔗樣本來源于廣西桂林市農(nóng)科院甘蔗種植基地,以最具有代表性的“桂糖44號”蔗種為研究對象。利用MV-HS510GC工業(yè)相機對蔗種圖像進行采集,鏡頭型號為BT-23C0814 MP5,C接口。計算機操作系統(tǒng)Windows 10,搭載Intel @ Core(TM)i5-8400 CPU @CPU 2.80 GHz處理器,內(nèi)存16 GB。拍攝環(huán)境為自然光照環(huán)境,圖像處理算法和分類器搭建在Matlab2018b環(huán)境下完成。
拍攝前先將甘蔗葉剝凈,人工切成含單個蔗芽的單芽段蔗種,選取帶壞芽的蔗種270個,蔗芽外部輪廓形態(tài)完整的蔗種430個,共700個蔗種樣本進行圖像采集。
蔗種壞芽主要是由兩類組成:機械破損蔗芽(剝?nèi)~、裝運等過程造成的機械損傷)和遭受病蟲害的爛芽,分別拍攝這兩類壞芽,在爛芽圖像與機械破損蔗芽圖像中各選出4張典型的樣本,并截取圖像樣本的蔗芽區(qū)域,與好芽區(qū)域進行對比,如圖2所示。
圖2 兩類壞芽與好芽特征對比
由圖2可見:遭受病蟲害的爛芽區(qū)域結(jié)構(gòu)特征呈凹陷狀態(tài),蔗芽中心區(qū)域為近似圓形的黑色凹槽且邊緣區(qū)域紋理特征較為粗糙;機械破損蔗芽區(qū)域受空氣氧化影響,表面顏色普遍較深,表面紋理特征也表現(xiàn)粗糙;好芽的結(jié)構(gòu)特征呈凸起狀態(tài),其紋理特征相對均勻,顏色較淺。表明爛芽與機械破損蔗芽有相似的特征,與好芽的區(qū)分特征明顯。因此,選定蔗芽圖像的LBP紋理特征與顏色特征作為好芽與壞芽的區(qū)分特征,并與SVM算法相結(jié)合進行蔗種壞芽識別,檢測識別流程見圖3,主要流程如下:
(1)圖像預(yù)處理。為避免圖像上冗余信息干擾識別,將圖像分割提取感興趣區(qū)域。
(2)提取LBP特征與顏色特征。壞芽的芽尖、芽尾區(qū)域的特征值具有顯著差異,為滿足壞芽識別精度要求,盡可能保留壞芽特征的細節(jié)信息。將圖像劃分網(wǎng)格成一定量塊區(qū)域,提取每個量塊區(qū)域內(nèi)的LBP特征并建立其子直方圖,將所有量塊區(qū)域的直方圖合并成能描述完整圖像的LBP特征直方圖。將圖像的RGB模型轉(zhuǎn)換為HSV模型,對比H、S、V三個分量,發(fā)現(xiàn)S分量的蔗種壞芽特征最為明顯,因此利用HSV色彩空間中的色飽和度S分量模型提取壞芽病斑的顏色特征。
(3)訓(xùn)練SVM分類器?;赟VM算法對圖像的LBP特征與顏色特征進行分析訓(xùn)練,SVM分類器的核函數(shù)采用線性核函數(shù)。
(4)壞芽檢測識別。將測試集圖像輸入SVM分類器處理,識別蔗種的壞芽區(qū)域。
圖3 蔗種壞芽檢測識別流程
圖像預(yù)處理是圖像處理過程中必不可少的一個環(huán)節(jié),經(jīng)過預(yù)處理后圖像質(zhì)量會得到提高,感興趣區(qū)域特征會更加明顯。對蔗種圖像進行預(yù)處理,提取蔗種圖像并刪除其他無關(guān)區(qū)域,將蔗種圖像由RGB顏色空間轉(zhuǎn)到HSV顏色空間可以直觀表現(xiàn)顏色的色調(diào)、飽和度和亮度,減少光照影響。H分量圖(圖4a)可以明顯區(qū)分蔗種輪廓與背景,其灰度直方圖(圖4b)呈雙峰特征,波谷段對應(yīng)的灰度級在0.3~0.4之間,實驗發(fā)現(xiàn)選擇合適的閾值可以實現(xiàn)對蔗種邊界輪廓與背景的分離,確定H分量的圖像分割閾值為0.35。
圖4 蔗種H分量圖和直方圖
對蔗種原圖像(圖5a、b)進行圖像分割處理,實驗發(fā)現(xiàn)經(jīng)H分量閾值分割結(jié)果存在噪聲現(xiàn)象。為更好保護圖像邊緣,根據(jù)中值濾波在降噪的同時引起模糊效應(yīng)較低這一特性,實驗選取9×9的中值濾波模板對蔗種圖像進行去噪,并通過形態(tài)學閉運算填平小孔,彌合小裂縫以消除噪聲,得到蔗種分割圖像(圖5c、d)。
圖5 H分量分割蔗種圖像
2.2.1 LBP特征提取原理
LBP是紋理描述算子,用于描述圖像的局部特征。基本的LBP算子是以3*3的模板逐行掃描圖像,以3*3窗口中心像素定為閾值,像素若小于閾值,則記為0,否則記1。如圖6所示,將二值化結(jié)果進行加權(quán)求和獲得窗口紋理特征均值為124。由于LBP是取決于特定區(qū)域的中心像素和相鄰像素值之間的相對差,光照增強或減弱,圖像局部區(qū)域的像素值也會隨之單調(diào)變化,改變光照強度對LBP值幾乎沒有影響,LBP算法具有良好的魯棒性。
圖6 LBP算法求解過程
LBP計算公式為:
(1)
(2)
上式中Ip表示窗口中除中心像素之外第p個像素的灰度值,Ic表示中心像素點的灰度值,sx為門限函數(shù)。
2.2.2 LBP頻譜結(jié)果分析
結(jié)果(圖7)顯示:壞芽頻譜幅值明顯高于好芽和莖稈頻譜幅值,壞芽區(qū)域頻譜分布密集。這滿足分類器的設(shè)計前提。
圖7 蔗種樣本表面的LBP特征
2.2.3 顏色特征提取
顏色特征是顏色分類的重要指標,顏色特征提取的質(zhì)量好壞決定了蔗種壞芽識別的準確性。對各色彩空間不同分量進行對比分析,結(jié)果(圖8)顯示:本研究HSV顏色空間的色飽和度S分量的能準確表達壞芽的獨有特征。在色飽和度三維圖中,壞芽區(qū)域呈凸狀,其S分量值最高。因此,本文提取HSV顏色空間下的S分量特征作為壞芽顏色特征。
圖8 RGB原始圖像與S分量三維圖
支持向量機SVM在小樣本統(tǒng)計上具有明顯優(yōu)勢,具有規(guī)避結(jié)構(gòu)化風險的能力,在追求大致正確分類的同時,一定程度上可以避免過擬合,同時具有最佳預(yù)測能力[16-17]。支持向量機分為線性可分和非線性可分,其基本原理是將低維空間的樣本訓(xùn)練數(shù)據(jù)映射到高維空間中,使得樣本訓(xùn)練數(shù)據(jù)線性可分,進而對邊界進行線性劃分。在線性可分情況下(圖9),實驗根據(jù)給定蔗種樣本數(shù)據(jù){(x1,y1),(x2,y2),…(xN,yN)},x是D維實數(shù)空間中的向量,x∈y∈{-1,+1},當y=+1時表示樣本x是壞芽,當y=-1時表示樣本x是好芽與莖稈。在樣本數(shù)據(jù)(xi,yi)中,若ai=0,此樣本點不是支持向量,對于訓(xùn)練模型沒有貢獻;若ai>0,此樣本點屬于支持向量。
圖9 SVM分類器設(shè)計
對兩類樣本分類,尋找區(qū)分兩類標簽的最優(yōu)分割超平面。超平面方程為
(3)
(4)
根據(jù)約束條件
(5)
在式(5)中引入拉格朗日算子ai構(gòu)建函數(shù):
(6)
(7)
(8)
確定SVM分類的決策函數(shù)為:
(9)
對采集的700幅蔗種圖像(其中含有壞芽圖像270幅,好芽圖像430幅)進行預(yù)處理,利用Photoshop將樣本人工裁剪為270幅壞芽圖像、580幅好芽和莖稈圖像,再選取150幅壞芽圖像與400幅好芽與莖稈圖像作為訓(xùn)練集,其余120幅壞芽圖像和180幅好芽與莖稈圖像作為測試集。
提取壞芽區(qū)域、好芽與莖稈區(qū)域的LBP特征和顏色特征,建立LBP、顏色和LBP+顏色3個特征模型,并進行特征模型比較。為更清晰地體現(xiàn)基于SVM分類器的不同特征模型分類性能,引入混淆矩陣[18]進行性能評估。混淆矩陣的列標簽表示預(yù)測的類別,其對應(yīng)的行數(shù)值總和為該類別的樣本總數(shù);混淆矩陣的行標簽表示預(yù)測圖像的真實類別。行列交叉處的數(shù)值表示該類別被預(yù)測為對應(yīng)列標簽的數(shù)量,對角線處的數(shù)值表示正確預(yù)測的標簽數(shù)量。
結(jié)果(圖10)顯示:基于SVM單一的LBP特征或顏色模型,其識別效果都較差,將其融合為LBP+顏色特征模型,識別效果有所提高,為此本實驗選用LBP+顏色特征融合的方式進行蔗種特征提取。
圖10 各特征模型對數(shù)據(jù)集分類的混淆矩陣
為了進一步證明SVM分類器對壞芽識別的優(yōu)越性,選取卷積神經(jīng)網(wǎng)絡(luò)進行對比實驗。卷積神經(jīng)網(wǎng)絡(luò)由輸入層、卷積層、歸一化層、池化層、全連接層各1層構(gòu)成,其中,歸一化層選用批量歸一化層,池化層選用最大池化層,激活函數(shù)選用Sigmoid函數(shù)。輸入層的輸入為經(jīng)預(yù)處理的LBP+顏色特征數(shù)據(jù)集,好芽和莖稈區(qū)特征數(shù)據(jù)集類別為1,壞芽特征數(shù)據(jù)集類別為2。使用準確率、查準率、召回率作為分類器的評價指標,準確率表示兩類預(yù)測正確的樣本數(shù)占總樣本數(shù)的比例,查準率表示壞芽正確分類的樣本數(shù)占預(yù)測分類為壞芽樣本數(shù)的比例,召回率表示壞芽正確分類的樣本數(shù)占實際為壞芽樣本數(shù)的比例。
不同分類器的訓(xùn)練所耗費的時間及效果見表1。由表1可知:SVM分類器的準確率、查準率、召回率均達90%以上,高于卷積神經(jīng)網(wǎng)絡(luò)?;贚BP+顏色融合特征的SVM平均耗時(0.714 s)小于卷積神經(jīng)網(wǎng)絡(luò)(1.63 s)。壞種剔除不僅要滿足較高的準確率,還需具有較高的識別效率。實驗結(jié)果表明,基于LBP+顏色融合特征的SVM分類模型較理想,其識別準確率94.33%、識別平均耗時為0.714 s。
表1 基于LBP+顏色特征的兩種分類器測試對比
(1)本研究基于H分量直方圖波谷設(shè)置閾值、分割目標圖像,該方法可以有效克服背景噪聲影響,滿足自動分割蔗種圖像要求。
(2)蔗種壞芽LBP頻譜幅值明顯高于好芽和莖稈的,且壞芽區(qū)域頻譜分布密集;壞芽的色飽和度S分量值高,能準確表達壞芽的獨有特征。表明LBP+顏色特征融合模型提取蔗種圖像特征的效果較好。
(3)基于LBP與顏色特征融合的SVM模型壞芽識別準確率達94.33%,平均耗時0.714 s,均優(yōu)于卷積神經(jīng)網(wǎng)絡(luò)識別模型。