基于優(yōu)化PSO-BP的多特征融合圖像識(shí)別算法研究

摘要： ?為提高水果種類識(shí)別的準(zhǔn)確性，本文提出一種基于優(yōu)化粒子群結(jié)合BP神經(jīng)網(wǎng)絡(luò)的識(shí)別算法。在算法初期，針對(duì)不同種類水果圖像樣本，借助K均值聚類分割算法，融合彩色信息和灰度信息，完成目標(biāo)圖像的準(zhǔn)確分割，提取目標(biāo)區(qū)域在HSV顏色空間下非均勻量化后的顏色特征，使用分塊局部二值模式和灰度共生矩陣，分別提取局部和全局紋理特征，并對(duì)與粒子群算法（particle swarm optimization，PSO）結(jié)合的BP神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化，以獲得最優(yōu)的BP神經(jīng)網(wǎng)絡(luò)權(quán)值和閾值，同時(shí)使用分塊的LBP算子和GLCM方法，采用Matlab 2017b軟件，對(duì)蘋果、草莓、檸檬3種水果圖像局部和整體紋理信息進(jìn)行提取，并與傳統(tǒng)的PSO-BP神經(jīng)網(wǎng)絡(luò)、IPSO-BP神經(jīng)網(wǎng)絡(luò)及單一BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練之后對(duì)測(cè)試樣本的識(shí)別相對(duì)誤差進(jìn)行比較。研究結(jié)果表明，雖然標(biāo)準(zhǔn)PSO-BP算法對(duì)圖形的分割效率和識(shí)別能力不能與深度學(xué)習(xí)結(jié)果相媲美，但在優(yōu)化后的PSO-BP中，將3種水果識(shí)別率與RCNN系列的優(yōu)化結(jié)果相比并不遜色，且與結(jié)合ResNet的SSD算法的結(jié)果對(duì)比中表現(xiàn)出優(yōu)異性。該算法保證了圖像分割目標(biāo)的完整性，有效控制了整體算法的時(shí)間性，提高了識(shí)別過程的精確性。該研究對(duì)水果識(shí)別精度的提高具有重要的應(yīng)用價(jià)值。

關(guān)鍵詞： ?水果識(shí)別; K均值算法; 粒子群算法; 圖像分割; 神經(jīng)網(wǎng)絡(luò)

中圖分類號(hào)： TP391.413 ?文獻(xiàn)標(biāo)識(shí)碼： A

在落實(shí)“互聯(lián)網(wǎng)+農(nóng)業(yè)”戰(zhàn)略和智慧農(nóng)業(yè)改革的背景下，傳統(tǒng)農(nóng)業(yè)與高新技術(shù)融合已成為發(fā)展趨勢(shì)。水果產(chǎn)業(yè)是農(nóng)業(yè)重要組成部分，對(duì)水果實(shí)現(xiàn)高效快捷的智能識(shí)別分類具有深遠(yuǎn)意義，融入圖像識(shí)別技術(shù)可減少勞動(dòng)力消耗，且高識(shí)別率和短周期有利于水果分類儲(chǔ)存與保鮮。通過模式識(shí)別技術(shù)進(jìn)行水果分類，多是依據(jù)水果圖像的顏色、局部紋理和形狀等特征屬性進(jìn)行定量，然后訓(xùn)練分類器區(qū)分判決，但在實(shí)際應(yīng)用中仍無法避免因紋理和形狀相似而造成較高的誤差。特征提取能力較強(qiáng)的機(jī)器學(xué)習(xí)，最初經(jīng)歷淺層機(jī)器學(xué)習(xí)階段，該階段主要采用支持向量機(jī)（support vector machine，SVM）、Boosting和最大熵方法等。近年來，一些學(xué)者對(duì)水果識(shí)別分類進(jìn)行研究，李大華等人[1]采用SVM分類器對(duì)果蔬紋理特征進(jìn)行分類;Kuang H L等人[2]利用全局顏色直方圖、局部二值模式（local binary patterns，LBP）、方向梯度直方圖（histogram of gradient，HOG）和基于Gabor小波（GaborLBP）的LBP多特征融合，提高水果識(shí)別。根據(jù)交叉驗(yàn)證精度選擇最優(yōu)塊，但也提升了計(jì)算的復(fù)雜難度。深度學(xué)習(xí)是建立類似大腦的神經(jīng)網(wǎng)絡(luò)，在大數(shù)據(jù)中自主提取特征，其中基于卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）模型和深度置信網(wǎng)絡(luò)（deep belief network，DBN）模型的水果識(shí)別算法取得很好的效果[34]。由于傳統(tǒng)的淺層學(xué)習(xí)在訓(xùn)練方面受經(jīng)驗(yàn)的限制，而深度學(xué)習(xí)模型的計(jì)算對(duì)硬件資源要求較高。因此，為避免對(duì)硬件資源較高的要求，同時(shí)追求高效、準(zhǔn)確的效果，本研究引入一種基于粒子群優(yōu)化算法優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)算法（improved particle swarm optimization-back propagation，IPSO-BP）的方法，實(shí)現(xiàn)水果識(shí)別中的評(píng)估。與傳統(tǒng)方法相比，PSO優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)算法，具有更高的識(shí)別精度和更快的識(shí)別速度。該研究在果品質(zhì)量、安全評(píng)估及消費(fèi)和儲(chǔ)藏中更具適用性。

1 K均值圖像分割

水果圖像在進(jìn)行目標(biāo)體分割和特征提取過程中，易受噪聲影響，進(jìn)而帶來誤差，因此在對(duì)水果圖像分割之前進(jìn)行預(yù)處理，最大程度的保留有效信息。

圖像分割是對(duì)整個(gè)圖像內(nèi)容中感興趣的區(qū)域?qū)崿F(xiàn)標(biāo)記的過程，標(biāo)記的完整性及準(zhǔn)確性直接影響目標(biāo)體的識(shí)別結(jié)果。K均值算法是基于距離相似性的聚類算法[5]，使用K均值算法的距離相似性原則，對(duì)圖像像素點(diǎn)實(shí)現(xiàn)同類別劃分，從而完成圖像分割任務(wù)。相較于顏色分量之間存在高度相關(guān)性[67]的RGB（red，green，blue）顏色空間，選擇HSV（hue，saturation，value）顏色空間作為圖像信息源，可更大程度得到目標(biāo)體的有效信息。HSV顏色分量直方圖分布如圖1所示。圖中，H和S包含圖像的彩色信息，V包含圖像的亮度信息。

在對(duì)BP神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化過程中，用粒子代表神經(jīng)網(wǎng)絡(luò)中的權(quán)值和閾值，以均方誤差，即粒子適應(yīng)度值最小作為尋優(yōu)目標(biāo)，在更新迭代中找到最優(yōu)解。

使用Griewank基準(zhǔn)測(cè)試函數(shù)，對(duì)標(biāo)準(zhǔn)的PSO和優(yōu)化的PSO在迭代600次過程中最佳適應(yīng)度值進(jìn)行比較，Griewank函數(shù)測(cè)試結(jié)果如圖8所示。由圖8可以看出，IPSO在迭代前期，收斂速度加快;迭代后期，平穩(wěn)度加強(qiáng)，說明全局尋優(yōu)能力和局部尋優(yōu)能力可以達(dá)到平衡狀態(tài)。在相同系統(tǒng)中，實(shí)驗(yàn)取相同的迭代訓(xùn)練次數(shù)，適應(yīng)度值的大小決定粒子質(zhì)量，適應(yīng)度值越小，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效果越好。IPSO-BP算法訓(xùn)練過程如下：

1） 根據(jù)提取到的特征信息，構(gòu)建a-b-c三層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

2） 初始化PSO算法，包括粒子數(shù)，粒子群的速度和位置，其中粒子群緯度S=ab+bc+b+c。

3） 計(jì)算粒子的適應(yīng)度，并與pid和pgd比較后做出更新。

4） 采用IPSO算法公式，對(duì)神經(jīng)網(wǎng)絡(luò)權(quán)值和閾值更新。

5） 判斷停止條件，得到最優(yōu)權(quán)值和閾值。

6） 以最優(yōu)權(quán)值和閾值進(jìn)行訓(xùn)練，直到網(wǎng)絡(luò)均方誤差滿足條件。

基于IPSO-BP神經(jīng)網(wǎng)絡(luò)的算法流程如圖9所示。

4 實(shí)驗(yàn)數(shù)據(jù)與結(jié)果

4.1 實(shí)驗(yàn)數(shù)據(jù)與結(jié)果

實(shí)驗(yàn)中對(duì)蘋果、草莓、檸檬3種水果進(jìn)行測(cè)試，使用分塊的LBP算子和GLCM方法對(duì)圖像的局部和整體紋理信息進(jìn)行提取。從中可以看出不同類別的水果具有不同的分布特征，而且LBP算子提取的紋理特征不受光照的影響。在十字鄰域LBP模式下不同水果頻率圖如圖10所示。

不同種類的水果圖像紋理信息都可被細(xì)致表征出來，現(xiàn)提取每類水果各30幅圖像GLCM特征的能量、對(duì)比度、相關(guān)性和熵參數(shù)信息，蘋果灰度共生矩陣參數(shù)值如圖11所示。由圖11可以看出，其紋理幅度波動(dòng)較大，相應(yīng)的對(duì)比度值也較大，含有較細(xì)的紋理組織，其熵值在3種水果中最大。統(tǒng)計(jì)各圖像灰度共生矩陣參數(shù)值的平均值和標(biāo)準(zhǔn)差，作為神經(jīng)網(wǎng)絡(luò)輸入端的特征向量進(jìn)行訓(xùn)練。

4.2 實(shí)驗(yàn)結(jié)果

整個(gè)實(shí)驗(yàn)過程是在Window10，Matlab 2017b下進(jìn)行。計(jì)算機(jī)的內(nèi)存6 GB，搭載Inter（R） Core（TM） i58265U CPU @ 1.60 GHz 1.80 GHz處理器。

實(shí)驗(yàn)中，為建立更有說服力的水果數(shù)據(jù)集，綜合考慮水果圖像采集過程中的光照、角度及遮擋等外界因素，將采集的圖像統(tǒng)一轉(zhuǎn)換成60×60，像素大小約為60 kB的圖像，每幅水果都包含RGB彩色圖像。數(shù)據(jù)集中包含3個(gè)類別的水果，共計(jì)1 200幅圖片。根據(jù)不同的干擾情況，每種類別的水果對(duì)應(yīng)選取226幅圖片作為訓(xùn)練樣本，其余為測(cè)試樣本。利用融合彩色與灰度像素的K均值聚類分割算法，對(duì)訓(xùn)練樣本中的水果圖像進(jìn)行預(yù)處理，處理后分別提取顏色特征和紋理特征，將收集到的數(shù)據(jù)集所有樣本數(shù)據(jù)，采用最大最小法在[-1，1]之間進(jìn)行向量歸一化。將融合后的特征向量輸入到BP神經(jīng)網(wǎng)絡(luò)分類器進(jìn)行學(xué)習(xí)和訓(xùn)練。標(biāo)準(zhǔn)的PSO參數(shù)設(shè)置為種群規(guī)模30，迭代次數(shù)400，慣性權(quán)重ω取0～1之間的隨機(jī)數(shù)，學(xué)習(xí)因子c1=c2=2;優(yōu)化后的PSO參數(shù)為種群規(guī)模30，迭代次數(shù)400，c10=2.5，c11=1.5，c20=0.5，c21=2.5。設(shè)置BP網(wǎng)絡(luò)的輸入層節(jié)點(diǎn)為92，輸出層有3個(gè)節(jié)點(diǎn)，[1 0 0]，[0 1 0]，[0 0 1]分別對(duì)應(yīng)3類不同的水果，隱含層節(jié)點(diǎn)受輸入層節(jié)點(diǎn)影響，隱含層節(jié)點(diǎn)數(shù)影響模型訓(xùn)練程度。隱含層的節(jié)點(diǎn)個(gè)數(shù)由經(jīng)驗(yàn)公式h=2n+1（h為隱含層節(jié)點(diǎn)，n為輸入層節(jié)點(diǎn)）確定為185個(gè)。隱含層激勵(lì)函數(shù)為tansig，輸出層激勵(lì)函數(shù)使用logsig，訓(xùn)練函數(shù)使用traingd，學(xué)習(xí)速率設(shè)為0.05，最大允許迭代次數(shù)400。

傳統(tǒng)PSO-BP神經(jīng)網(wǎng)絡(luò)、IPSO-BP神經(jīng)網(wǎng)絡(luò)及單一BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練之后，對(duì)測(cè)試樣本的識(shí)別相對(duì)誤差進(jìn)行比較，訓(xùn)練識(shí)別絕對(duì)誤差如圖12所示。由圖12可以看出，采用IPSO-BP神經(jīng)網(wǎng)絡(luò)識(shí)別比單一BP神經(jīng)網(wǎng)絡(luò)更加精確，絕對(duì)誤差極大縮小。而IPSO-BP神經(jīng)網(wǎng)絡(luò)絕對(duì)誤差都保持在0.4以內(nèi)，有更好的擬合能力，說明IPSO-BP神經(jīng)網(wǎng)絡(luò)對(duì)識(shí)別精度的提高具有重要的應(yīng)用價(jià)值。

在淺層學(xué)習(xí)和深度學(xué)習(xí)算法下，對(duì)水果種類進(jìn)行識(shí)別，不同算法下的識(shí)別結(jié)果如表1所示。其中，深度置信網(wǎng)絡(luò)（deep belief networks，DBN）采用單隱含層結(jié)構(gòu)。由表1可以看出，IPSO-BP神經(jīng)網(wǎng)絡(luò)識(shí)別率相對(duì)其他算法最高，平均識(shí)別率高于94%;淺層學(xué)習(xí)SVM識(shí)別率最差;BP人工神經(jīng)網(wǎng)絡(luò)雖然能夠做出識(shí)別，但滿足不了需求;單隱層的DBN模型對(duì)特征的吸收達(dá)到了很好的效果。本文對(duì)神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值使用PSO做優(yōu)化，提高了分類器的性能，效果較為優(yōu)異。

為了更好的展示算法的適用性，文中針對(duì)提取不同光照、角度、大小的水果顏色、紋理特征分別構(gòu)建不同的識(shí)別模型，不同影響因素下草莓識(shí)別率如表2所示。由表2中橫向數(shù)據(jù)可知，相同特征信息進(jìn)行訓(xùn)練檢測(cè)，優(yōu)化的PSO結(jié)合BP神經(jīng)網(wǎng)絡(luò)識(shí)別率不斷得到改善。融合色度分割更大程度保留了目標(biāo)體，十字型LBP紋理提取克服光線的影響。隨著提取特征信息詳細(xì)性增加，光線、角度等外界干擾因素的影響降低。

以同一測(cè)試集識(shí)別時(shí)間作為模型的識(shí)別運(yùn)行時(shí)間，不同特征不同算法下蘋果識(shí)別率和識(shí)別時(shí)間如表3所示。由表3可以看出，單一特征信息的DBN模型識(shí)別率普遍比較低，這是因?yàn)镈BN深度學(xué)習(xí)為挖掘數(shù)據(jù)分布式特征的網(wǎng)絡(luò)結(jié)構(gòu)，在特征維度較小的情況下不能充分發(fā)揮優(yōu)勢(shì)。而反觀優(yōu)化的PSO-BP模型識(shí)別率高于比SVM模型和BP神經(jīng)網(wǎng)絡(luò)，同時(shí)在高維度特征中，特征學(xué)習(xí)能力也得到極大的改善，緊逼深度學(xué)習(xí)模型;隨著特征信息提取維度數(shù)的增加，模型運(yùn)行結(jié)構(gòu)也會(huì)相應(yīng)改變，對(duì)測(cè)試集識(shí)別時(shí)間也相應(yīng)變長。IPSO-BP模型在識(shí)別時(shí)間不斷改善，并且與深度學(xué)習(xí)DBN模型識(shí)別耗時(shí)相差不大，可以滿足實(shí)時(shí)檢測(cè)的要求。

4.3 魯棒性與對(duì)比結(jié)果分析

為了更好地證明IPSO-BP算法的有效性，將其與其他文獻(xiàn)中運(yùn)用深度學(xué)習(xí)算法，且在水果識(shí)別中表現(xiàn)優(yōu)異的結(jié)果進(jìn)行比較分析，IPSO-BP與深度學(xué)習(xí)算法識(shí)別比較如表4所示。

由表4可以看出，雖然標(biāo)準(zhǔn)PSO-BP算法對(duì)圖形的分割效率和識(shí)別能力不能與深度學(xué)習(xí)結(jié)果相媲美，但在優(yōu)化之后的PSO-BP中，將三種水果識(shí)別率與RCNN系列的優(yōu)化結(jié)果相比毫不遜色，且與結(jié)合ResNet的SSD算法結(jié)果對(duì)比中表現(xiàn)出優(yōu)異性。

5 結(jié)束語

本文以優(yōu)化粒子群算法提高尋優(yōu)能力為基礎(chǔ)，結(jié)合BP神經(jīng)網(wǎng)絡(luò)為模型對(duì)閾值和權(quán)值進(jìn)行改善，既達(dá)到提高神經(jīng)網(wǎng)絡(luò)性能的目的，又避免了之前研究中出現(xiàn)的計(jì)算復(fù)雜難度高的問題，實(shí)現(xiàn)對(duì)水果種類的高質(zhì)量識(shí)別。實(shí)驗(yàn)中，借助全新的顏色分量融合聚類的分割方法，克服圖像顏色采集過程中的光線干擾，實(shí)現(xiàn)對(duì)十字型LBP特征的完整提取，對(duì)于水果產(chǎn)業(yè)的智能識(shí)別具有一定的應(yīng)用價(jià)值。但是在特征維數(shù)冗余、復(fù)雜背景圖像干擾以及訓(xùn)練樣本數(shù)量方面存在不足，在比較中發(fā)現(xiàn)，深度學(xué)習(xí)模型識(shí)別的應(yīng)用會(huì)是今后進(jìn)一步研究的重點(diǎn)。

參考文獻(xiàn)：

[1] 李大華， 趙相飛， 許亮， 等. 基于紋理特征與HIS空間的蘋果識(shí)別與標(biāo)定[J]. 圖學(xué)學(xué)報(bào)， 2016， 37（5）： 688693.

[2] Kuang H L， Chan L L H， Yan H. Multi-Class fruit detection based on multiple color channels [C]∥Proceedings of the 2015 International Conference on Wavelet Analysis and Pattern Recognition. IEEE： 2015： 1215.

[3] 孟欣欣， 呂情深， 周雷， 等. 基于遷移學(xué)習(xí)的自然環(huán)境下香梨目標(biāo)識(shí)別研究[J]. 新疆大學(xué)學(xué)報(bào)， 2019， 36（4）： 461467.

[4] 王前程. 基于深度學(xué)習(xí)的水果圖像識(shí)別算法研究[D]. 保定： 河北大學(xué)， 2016.

[5] Jia L， Li M， Zhang P， et al. SAR image change dectection based on multiple kernel k-means clustering with local-neighborhood information[J]. IEEE Geoscience Science and Remote Sensing Letters， 2016， 13（6）： 856860.

[6] 張經(jīng)緯， 貢亮， 黃亦翔， 等. 基于隨機(jī)森林算法的黃瓜種子腔圖像分割方法[J]. 農(nóng)機(jī)化研究， 2017， 39（10）： 163168.

[7] 吳煥麗， 崔可旺， 張馨， 等. 基于改進(jìn)K-means圖像分割算法的細(xì)葉作物覆蓋度提取[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2019， 50（1）： 4250.

[8] 鄧向武， 齊龍， 馬旭， 等. 基于多特征融合和深度置信網(wǎng)絡(luò)的稻田苗期雜草識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)， 2018， 34（14）： 165172.

[9] 張娟利， 宋朝陽， 韓文霆， 等. 基于RGB圖像處理的煙葉水分無損檢測(cè)方法研究[J]. 中國農(nóng)機(jī)化學(xué)報(bào)， 2019， 40（5）： 6268.

[10] 白靈鴿， 段先華. 改進(jìn)的LBP算法在圖像檢索中的應(yīng)用[J]. 計(jì)算機(jī)工程與設(shè)計(jì)， 2019， 40（6）： 16711675.

[11] Ojala T， Pietikainen M， Maenpaa T. Multiresolution gray scale and rotation invariant texture classification with local binary pattrerns[J]. IEEE Trans. On Pattern Analysis and Machine Intelligence， 2002， 24（7）： 971987.

[12] Houssem Lahiani， Mahmoud Neji. Hand gesture recognition method based on HOG-LBP features for mobile devices[J]. Procedia Computer Science， 2018， 126： 254263.

[13] Liu P Z， Guo J M， Chamnongthai K， et al. Fusion of color histogram and LBP-based features for texture image retrieval and classification[J]. Information Sciences， 2017， 390： 95111.

[14] 陳雪鑫， 孫玥， 苗圃， 等. 基于多級(jí)紋理特征的深度信念網(wǎng)絡(luò)人臉識(shí)別算法[J]. 計(jì)算機(jī)應(yīng)用與軟件， 2020， 37（4）： 156163.

[15] 李春利， 深魯娟. 基于改進(jìn)LBP算子的紋理圖像分類方法[J]. 計(jì)算機(jī)工程與設(shè)計(jì)， 2016， 37（1）： 232236.

[16] 吳慶濤， 曹再輝， 施進(jìn)發(fā). 基于改進(jìn)顏色直方圖和灰度共生矩陣的圖像檢索[J]. 圖學(xué)學(xué)報(bào)， 2017， 38（4）： 543548.

[17] Gu B， Hu H J， Huang H. Hybrid PSO-BP neural network approach for wind power forecasting[J]. International Energy Journal， 2017， 17（4）： 211222.

[18] 張德慧， 張德育， 劉清云. 基于粒子群算法的BP神經(jīng)網(wǎng)絡(luò)優(yōu)化技術(shù)[J]. 計(jì)算機(jī)工程與技術(shù)， 2015， 36（5）： 13211326.

[19] 孫衛(wèi)喜. 用于網(wǎng)絡(luò)安全態(tài)勢(shì)預(yù)測(cè)的粒子群與支持向量機(jī)算法研究[J]. 計(jì)算機(jī)應(yīng)用與軟件， 2019， 36（6）： 308316.

[20] Lal S， Behera S K， Sethy P K， et al. Identification and counting of mature apple fruit based on BP feed forward neural network[C]∥ 2017 IEEE 3rd International Conference on Sensing. Chennai India： Signal Processing and Security， 2017： 361368.

[21] 張曉莉， 王秦飛， 冀汶莉. 一種改進(jìn)的自適應(yīng)慣性權(quán)重的粒子群算法[J]. 微電子學(xué)與計(jì)算機(jī)， 2019， 36（3）： 6670.

[22] 仝秋娟， 趙豈， 李萌. 基于自適應(yīng)動(dòng)態(tài)改變的粒子群優(yōu)化算法[J]. 微電子學(xué)與計(jì)算機(jī)， 2019， 36（2）： 610， 15.

[23] 張繼榮， 張?zhí)? 基于改進(jìn)粒子群算法的PID控制參數(shù)優(yōu)化[J]. 計(jì)算機(jī)工程與設(shè)計(jì)， 2020， 41（4）： 10351040.

[24] 趙越， 吳瑩. 自適應(yīng)PSO-SVM上產(chǎn)期油氣操作成本預(yù)測(cè)模型[J]. 計(jì)算機(jī)仿真， 2019， 36（11）： 6974.

[25] 徐浩天， 季偉東， 孫小晴， 等. 基于正態(tài)分布衰減慣性權(quán)重的粒子群優(yōu)化算法[J]. 深圳大學(xué)學(xué)報(bào)， 2020， 37（2）： 208213.

[26] 張開生， 黃謙. 基于粒子群優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的脈象識(shí)別方法[J]. 現(xiàn)代電子技術(shù)， 2018， 41（3）： 96100， 106.