基于改進(jìn)深度置信網(wǎng)絡(luò)的水果分類識(shí)別方法

摘要：為了解決現(xiàn)有水果分類識(shí)別方法存在的識(shí)別精度低等問(wèn)題。基于水果分類識(shí)別系統(tǒng)，提出了一種用于不同水果分類識(shí)別的改進(jìn)深度置信網(wǎng)絡(luò)。通過(guò)2路深度置信網(wǎng)絡(luò)將不同特征圖像作為輸入，使用SoftMax對(duì)輸出分類。與常規(guī)分類識(shí)別方法相比，所提方法能較準(zhǔn)確地實(shí)現(xiàn)不同水果的分類識(shí)別，多特征融合識(shí)別準(zhǔn)確率最高，識(shí)別準(zhǔn)確率為98.75%，滿足水果分類識(shí)別的需要。通過(guò)優(yōu)化現(xiàn)有深度學(xué)習(xí)方法，可有效提高該方法的性能。

關(guān)鍵詞：水果識(shí)別；自動(dòng)檢測(cè)；深度置信網(wǎng)絡(luò)；多特征融合；SoftMax 分類器

中圖分類號(hào)：TS255.7；TP391.41" " " " "文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：0439-8114（2024）08-0035-04

DOI：10.14088/j.cnki.issn0439-8114.2024.08.007 開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

Fruit classification recognition methods based on improved deep confidence network

GUO Ying-di1， ZHAO Chao-yu2

（1. Intelligent Control Department， Yantai Vocational College， Yantai" 264670， Shandong， China；

2. College of Agriculture， Shandong Agricultural University， Tai’an" 271001，Shandong，China）

Abstract： In order to solve the problems of low recognition accuracy in existing fruit classification recognition methods， based on the fruit classification recognition system， an improved deep confidence network for different fruit classification recognition was proposed. Different feature images were taken as input through 2-channel deep confidence network， and the output was classified using SoftMax. Compared with the conventional classification recognition methods， the proposed method could more accurately achieve the classification recognition of different fruits， and the multi-feature fusion recognition accuracy was the highest， with the recognition accuracy of 98.75%， which met the needs of fruit classification recognition. By optimizing the existing deep learning method， the performance of this method could be effectively improved.

Key words： fruit recognition； automatic detection； deep confidence network； multi-feature fusion； SoftMax classifier

中國(guó)是水果種植大國(guó)，目前國(guó)內(nèi)產(chǎn)后處理技術(shù)仍以人工為主，但人工方法缺陷明顯，效率低和工作量大等［1］。隨著人工智能技術(shù)的不斷發(fā)展，基于計(jì)算機(jī)的識(shí)別技術(shù)逐漸代替了耗時(shí)的人工目視檢測(cè)，在水果識(shí)別、病蟲(chóng)害檢測(cè)等方面給生產(chǎn)生活帶來(lái)了極大的便利［2］。在智能生產(chǎn)領(lǐng)域的機(jī)器人分揀中，可以結(jié)合計(jì)算機(jī)識(shí)別技術(shù)對(duì)不同水果進(jìn)行更加高效和便捷的智能識(shí)別，為企業(yè)節(jié)省人工成本以及縮短運(yùn)輸?shù)绞袌?chǎng)的周期，提高企業(yè)綜合效益。因此，對(duì)基于深度學(xué)習(xí)的水果分類識(shí)別方法進(jìn)行研究具有重要的實(shí)際意義。

目前，國(guó)內(nèi)外已有不少學(xué)者對(duì)水果分類識(shí)別方法進(jìn)行了研究，并取得了一些優(yōu)異的成果，主要集中在深度學(xué)習(xí)方法上［3-5］。田有文等［6］提出了一種深入學(xué)習(xí)方法用于水果品質(zhì)檢測(cè)，結(jié)果表明，所提方法與常規(guī)方法相比，具有良好的適應(yīng)性和較高的精度。黃豪杰等［7］提出了一種改進(jìn)的SSD模型用于不同水果的檢測(cè)，結(jié)果表明，所提方法在數(shù)據(jù)增強(qiáng)后精度有所提高，適用于自然環(huán)境下水果的精確檢測(cè)，平均檢測(cè)精度在85%以上。徐清華等［3］提出了一種將深度殘差網(wǎng)絡(luò)模型與遷移學(xué)習(xí)相結(jié)合的水果圖像分類方法，結(jié)果表明，所提方法與常規(guī)方法相比，在不同水果的實(shí)時(shí)檢驗(yàn)中具有較好的識(shí)別精度。王輝等［8］提出了一種用于水果圖像識(shí)別的改進(jìn)YOLOv3模型，結(jié)果表明，與原模型相比，提取特征更為豐富，不依賴批量大小，精度達(dá)95.6%。Indira等［9］提出了一種卷積神經(jīng)網(wǎng)絡(luò)模型用于水果圖像分類方法，結(jié)果表明，所提方法在不同水果的識(shí)別中具有較好的識(shí)別效果。雖然上述方法對(duì)水果圖像分類識(shí)別進(jìn)行了深入研究，但存在識(shí)別精度低等問(wèn)題，需要進(jìn)一步提高適應(yīng)性。

在此基礎(chǔ)上，基于水果分類識(shí)別系統(tǒng)，提出了一種用于不同水果分類識(shí)別的改進(jìn)深度置信網(wǎng)絡(luò)。通過(guò)2路深度置信網(wǎng)絡(luò)將不同特征圖像作為輸入，使用SoftMax對(duì)輸出分類。通過(guò)試驗(yàn)驗(yàn)證該方法的可行性，旨在為不同水果分類識(shí)別技術(shù)的發(fā)展提供一定的參考。

1 系統(tǒng)結(jié)構(gòu)

水果分類識(shí)別系統(tǒng)對(duì)攝像機(jī)采集到的圖像進(jìn)行特征提取，以判斷目標(biāo)為何種水果［10］。結(jié)合圖像采集和處理技術(shù)，形成相對(duì)簡(jiǎn)單和強(qiáng)大的抗干擾能力，適合大規(guī)模檢測(cè)。水果分類識(shí)別系統(tǒng)如圖1所示。它由上位機(jī)和圖像采集系統(tǒng)兩部分組成［10］。在帶式輸送機(jī)的驅(qū)動(dòng)下，水果和帶式輸送機(jī)沿同一方向運(yùn)行，通過(guò)燈箱后，內(nèi)部視覺(jué)傳感器將拍攝水果照片傳輸?shù)接?jì)算機(jī)，再根據(jù)標(biāo)準(zhǔn)提取水果的特征參數(shù)，識(shí)別不同的水果。

2 識(shí)別檢測(cè)模型

2.1 深度置信網(wǎng)絡(luò)

DBN是一種基于概率結(jié)構(gòu)的深度學(xué)習(xí)方法，可以看成是受限玻耳茲曼機(jī)RBM疊加而成，RBM僅為兩層結(jié)構(gòu)，RBM網(wǎng)絡(luò)結(jié)構(gòu)［11］如圖2所示。

如圖2所示，RBM主要由可視層v、隱含層h以及兩者間的網(wǎng)絡(luò)權(quán)重[ω]構(gòu)成，神經(jīng)元為1時(shí)為激活狀態(tài)，為0時(shí)為抑制狀態(tài)［12］。

設(shè)可視層和隱含層節(jié)點(diǎn)數(shù)分別為[n]和[m]，表示為[（v1，v2，…，vn）]和[（h1，h2，…，hm）]。該RBM的能量函數(shù)式［13］如式（1）所示。

[E（v，h/θ）=-i=1naivi-j=1mbjhj-i=1nj=1mvihjωij] （1）

式中，[vi]與[hj]、[ωij]、[ai]與[bj]分別為可視層和隱含層之間的節(jié)點(diǎn)狀態(tài)、權(quán)重、偏差；參數(shù)[θ=（ω，a，b）]。已知[θ]通過(guò)式（2）可求（v，h）的聯(lián)合概率分布［14］。

[P（v，h/θ）=e-E（v，h/θ）Z（θ）] " " "（2）

式中，[Z（θ）=v，he-E（v，h/θ）]為歸一化因子。

求輸入數(shù)據(jù)分布[P（v/θ）]時(shí)，需要根據(jù)[P（v，h/θ）]的邊緣分布來(lái)確定［15］，如式（3）所示。

[P（v/θ）=he-E（v，h/θ）Z（θ）]" " " " " " " " " （3）

在求解式（3）時(shí)，[θ]確定后計(jì)算的工作量也非常大，難以得到[P（v/θ）]結(jié)果。則隱含層節(jié)點(diǎn)神經(jīng)元的激活概率［16］如式（4）所示。

[P（hj=1/v，θ）=σ（bj+iviωij）]" （4）

式中，[σ]為激活函數(shù)。

同理，求出可視層節(jié)點(diǎn)的激活概率［17］如式（5）所示。

[P（vi=1/h，θ）=σ（ai+jhjωij）]" " （5）

當(dāng)確定可視節(jié)點(diǎn)的輸入時(shí)，基于式（4）和（5）來(lái)計(jì)算[P（v/h）]，由此可以獲得隱含層h的狀態(tài)。根據(jù)隱含層h可以求出可視層狀態(tài)［18］。

RBM在大數(shù)據(jù)中很難提取有用特征，因此，引入深層網(wǎng)絡(luò)DBN。DBN網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

DBN的網(wǎng)絡(luò)從下到上訓(xùn)練，直到RBM訓(xùn)練完成。DBN構(gòu)成有輸入層、輸出層、若干層的隱含層［19］。

2.2 改進(jìn)深度置信網(wǎng)絡(luò)

為了完善訓(xùn)練學(xué)習(xí)的特征信息，對(duì)傳統(tǒng)深度置信網(wǎng)絡(luò)進(jìn)行了改進(jìn)，根據(jù)數(shù)據(jù)集的實(shí)際情況，通過(guò)2路深度置信網(wǎng)絡(luò)將不同特征圖像作為輸入，使用SoftMax對(duì)輸出分類，網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

深度置信網(wǎng)絡(luò)具有強(qiáng)大的特征學(xué)習(xí)能力，能夠深入挖掘潛在的特征信息。深度置信網(wǎng)絡(luò)可以對(duì)特征信息進(jìn)行深入挖掘，將顏色特征HSV作為一路深度置信網(wǎng)絡(luò)輸入，將局部紋理特征HOG和多層LBP特征進(jìn)行加權(quán)融合后作為一路深度置信網(wǎng)絡(luò)輸入，輸出通過(guò)Softmax進(jìn)行分類。

3 結(jié)果與分析

3.1 試驗(yàn)參數(shù)

本研究主要識(shí)別蘋(píng)果、檸檬、草莓、柑橘4種水果，數(shù)據(jù)總量4 000張，4種水果各1 000張，將數(shù)據(jù)集劃分為兩類，訓(xùn)練集和測(cè)試集，比值為8∶2。為了保證識(shí)別的準(zhǔn)確性，采用10次試驗(yàn)取平均值。系統(tǒng)參數(shù)如表1所示。圖像數(shù)據(jù)集組成如圖5所示。

訓(xùn)練好的模型應(yīng)選擇適當(dāng)?shù)脑u(píng)價(jià)指標(biāo)評(píng)價(jià)性能。本研究采用準(zhǔn)確率作為評(píng)價(jià)指標(biāo)。預(yù)測(cè)結(jié)果中實(shí)際含有的陽(yáng)性樣本數(shù)。只有2種可能的預(yù)測(cè)：正確預(yù)測(cè)的TP和錯(cuò)誤預(yù)測(cè)的FP，如式（6）所示。

[P=TPTP+FP×100%]" " " " " " " "（6）

式中，[P]為識(shí)別準(zhǔn)確率。

3.2 試驗(yàn)分析

為了驗(yàn)證方法的準(zhǔn)確性，采用本研究方法對(duì)蘋(píng)果、檸檬、草莓、柑橘進(jìn)行分類識(shí)別，識(shí)別結(jié)果如表2所示。

統(tǒng)計(jì)試驗(yàn)表明，蘋(píng)果、檸檬、草莓、柑橘的識(shí)別錯(cuò)誤數(shù)分別為3、3、2、2。本研究方法中的網(wǎng)絡(luò)模型的分類精度分別為98.50%、98.50%、99.00%、99.00%，對(duì)幾種水果的分類識(shí)別都具有較高的精度，總體分類精度為98.75%。

為了驗(yàn)證本研究多特征融合的優(yōu)勢(shì)，進(jìn)行單一特征、組合特征對(duì)比試驗(yàn)，不同特征融合的識(shí)別準(zhǔn)確率結(jié)果如表3所示。

從表3可以看出，單個(gè)特征識(shí)別的準(zhǔn)確率僅為80.25%，兩個(gè)特征組合的準(zhǔn)確率約為90.00%，本研究特征融合方法的準(zhǔn)確率為98.75%。結(jié)果表明，單個(gè)特征的DBN網(wǎng)絡(luò)模型識(shí)別效果并不理想，多特征融合的雙路DBN模型具有較高的分類識(shí)別準(zhǔn)確率，這是因?yàn)楸狙芯糠椒ǔ浞秩诤咸卣餍畔?，表征能力較強(qiáng)。

為了驗(yàn)證本研究分類識(shí)別方法的優(yōu)越性，將本研究分類識(shí)別方法與文獻(xiàn)［20］結(jié)合深度學(xué)習(xí)和遷移學(xué)習(xí)方法和文獻(xiàn)［21］支持向量機(jī)進(jìn)行對(duì)比分析，輸入均為本研究融合特征。不同模型的識(shí)別準(zhǔn)確率如表4所示。

從表4可以看出，文獻(xiàn)［21］中的常規(guī)SVM模型能夠?qū)崿F(xiàn)分類識(shí)別，但效果相對(duì)較差，這是因?yàn)樵撃Ｐ蛯?duì)特征學(xué)習(xí)較差。文獻(xiàn)［20］中的深度學(xué)習(xí)方法通過(guò)自動(dòng)提取和層次化地學(xué)習(xí)特征可以自動(dòng)訓(xùn)練學(xué)習(xí)圖像特征，與本研究中使用的算法結(jié)果相似。而本研究方法對(duì)特征的訓(xùn)練更加具體，特征互不干擾，最大限度地利用特征，提高模型分類識(shí)別的精度。

4 小結(jié)

將深度學(xué)習(xí)與水果識(shí)別系統(tǒng)相結(jié)合，提出了一種改進(jìn)的深度置信網(wǎng)絡(luò)用于水果分類識(shí)別。結(jié)果表明，本研究方法能夠充分吸收特征信息，特征表示能力強(qiáng)，提高了識(shí)別精度。與文獻(xiàn)［20］和文獻(xiàn)［21］相比，所提出的方法在蘋(píng)果、檸檬、草莓和柑橘的分類識(shí)別中具有較高的準(zhǔn)確率，識(shí)別準(zhǔn)確率為98.75%，該研究具有一定的應(yīng)用價(jià)值。但所作研究仍存在一些問(wèn)題，如運(yùn)算效率較低，后續(xù)應(yīng)進(jìn)一步提高該方法的性能。

參考文獻(xiàn)：

［1］ 李佳俊，朱子峰，劉洪鑫， 等. 基于改進(jìn)Faster R-CNN模型的草莓果實(shí)識(shí)別算法［J］. 湖北農(nóng)業(yè)科學(xué)， 2023，62（11）： 183-190.

［2］ 楊志銳， 鄭 宏， 郭中原， 等. 基于網(wǎng)中網(wǎng)卷積神經(jīng)網(wǎng)絡(luò)的紅棗缺陷檢測(cè)［J］. 食品與機(jī)械， 2020，36（2）： 140-145， 181.

［3］ 徐清華， 鄭譽(yù)煌， 戴冰燕. 基于深度殘差網(wǎng)絡(luò)的水果圖像分類算法研究［J］. 工業(yè)控制計(jì)算機(jī)， 2020， 33（12）：37-38，40.

［4］ 賈艷平，桑妍麗，李月茹. 基于改進(jìn)Faster R-CNN模型的水果分類識(shí)別［J］. 食品與機(jī)械， 2023，39（8）： 129-135.

［5］ 曾平平，李林升. 基于卷積神經(jīng)網(wǎng)絡(luò)的水果圖像分類識(shí)別研究［J］.機(jī)械設(shè)計(jì)與研究， 2019， 35（1）： 23-26， 34.

［6］ 田有文， 吳 偉， 盧時(shí)鉛， 等. 深度學(xué)習(xí)在水果品質(zhì)檢測(cè)與分級(jí)分類中的應(yīng)用［J］. 食品科學(xué)， 2021， 42（19）： 260-270.

［7］ 黃豪杰， 段先華， 黃欣辰.基于深度學(xué)習(xí)水果檢測(cè)的研究與改進(jìn)［J］.計(jì)算機(jī)工程與應(yīng)用， 2020， 56（3）： 127-133.

［8］ 王 輝， 張 帆， 劉曉鳳， 等. 基于DarkNet-53和YOLOv3的水果圖像識(shí)別［J］.東北師大學(xué)報(bào)（自然科學(xué)版）， 2020， 52（4）： 60-65.

［9］ INDIRA D， GODDU J， INDRAJA B，et al. A review on fruit recognition and feature evaluation using CNN［J］. Materials today： Proceedings， 2023， 80（3）：3438-3443.

［10］ 薛 勇， 王立揚(yáng)， 張 瑜， 等. 基于 GoogLeNet 深度遷移學(xué)習(xí)的蘋(píng)果缺陷檢測(cè)方法［J］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2020， 51（7）： 30-35.

［11］ 周靖宇，孫 銳，余 多，等 . 基于近紅外技術(shù)和偏最小二乘判別法對(duì)無(wú)花果成熟度的快速判別［J］. 食品與機(jī)械，2020，36（11）：107-111.

［12］ 張 錚， 熊盛輝， 王孫強(qiáng)， 等 . 基于機(jī)器視覺(jué)的香蕉果肉缺陷預(yù)測(cè)方法［J］. 食品與機(jī)械， 2020， 36（7）： 150-154.

［13］ 張義志， 王 瑞， 張偉峰， 等 . 高光譜技術(shù)檢測(cè)農(nóng)產(chǎn)品成熟度研究進(jìn)展［J］. 湖北農(nóng)業(yè)科學(xué)， 2020， 59（12）： 5-8， 12.

［14］ 楊晨昱，袁鴻飛，馬惠玲，等. 基于傅里葉近紅外光譜和電子鼻技術(shù)的蘋(píng)果霉心病無(wú)損檢測(cè)［J］. 食品與發(fā)酵工業(yè)，2021，47（7）：211-216.

［15］ 劉 芳，劉玉坤， 林 森， 等. 基于改進(jìn)型YOLO的復(fù)雜環(huán)境下番茄果實(shí)快速識(shí)別方法［J］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2020， 51（6）：229-237.

［16］ 趙利平， 吳德剛. 融合GA的三點(diǎn)定位夜間蘋(píng)果目標(biāo)的識(shí)別算法研究［J］. 中國(guó)農(nóng)機(jī)化學(xué)報(bào)， 2020， 41（5）： 134-138.

［17］ 宋海濤，何文浩，原 魁. 一種基于SIFT特征的機(jī)器人環(huán)境感知雙目立體視覺(jué)系統(tǒng)［J］. 控制與決策，2019，34（7）：1 545-1 552.

［18］ 馮 喆， 李衛(wèi)豪， 崔 笛. 基于高光譜成像和深度學(xué)習(xí)的山核桃內(nèi)源性異物檢測(cè)［J］.農(nóng)業(yè)機(jī)械學(xué)報(bào)，2021， 52（S1）： 466-471.

［19］ 王紅霞， 周家奇， 辜承昊， 等.用于圖像分類的卷積神經(jīng)網(wǎng)絡(luò)中激活函數(shù)的設(shè)計(jì)［J］. 浙江大學(xué)學(xué)報(bào)（工學(xué)版），2019，53（7）：1363-1373.

［20］ 廉小親， 成開(kāi)元， 安 颯， 等. 基于深度學(xué)習(xí)和遷移學(xué)習(xí)的水果圖像分類［J］. 測(cè)控技術(shù)， 2019， 38（6）： 15-18.

［21］ LI D H， SHEN M M，" LI D， et al. Green apple recognition method based on the combination of texture and shape features［A］. 2017" IEEE" international" conference" on" mechatronics" and" automation （ICMA）［C］. Takamatsu： IEEE， 2017.264-269.

基金項(xiàng)目：煙臺(tái)職業(yè)學(xué)院校本科研項(xiàng)目（2023XBZC035）；山東省教育廳教育課題項(xiàng)目（2014zcj081）

作者簡(jiǎn)介：郭迎娣（1979-），女，山東濰坊人，講師，主要從事電子信息等研究，（電話）13256987756（電子信箱）13256987756@163.com。