基于計(jì)算機(jī)視覺(jué)的沙糖橘果皮光滑指標(biāo)檢測(cè)

王士龍 朱景煥

摘要 ?使用計(jì)算機(jī)視覺(jué)系統(tǒng)提取沙糖橘果皮正面圖像，構(gòu)建有效的圖像采集方法、預(yù)處理方法、分割方法。從目標(biāo)區(qū)域圖像中提取6個(gè)與品質(zhì)密切相關(guān)的果皮紋理特征信息用來(lái)分類(lèi)識(shí)別果皮光滑，使用單一方差參數(shù)配合參數(shù)區(qū)間分類(lèi)的方式正確率較低，為76.3%；進(jìn)而以果皮6個(gè)灰度紋理特征開(kāi)展MLP模型設(shè)計(jì)和訓(xùn)練，使用訓(xùn)練后的模型進(jìn)行分類(lèi)檢測(cè)。在實(shí)測(cè)一定數(shù)量的果皮得出分類(lèi)檢測(cè)結(jié)果的基礎(chǔ)上，進(jìn)行系統(tǒng)設(shè)計(jì)的可行性驗(yàn)證。結(jié)果表明，基于3層的BP神經(jīng)網(wǎng)絡(luò)模型，設(shè)計(jì)6-8-2BP網(wǎng)絡(luò)結(jié)構(gòu)，分類(lèi)識(shí)別正確率達(dá)到97.5%。該設(shè)計(jì)方法可對(duì)果蔬果皮特征檢測(cè)提供參考和借鑒。

關(guān)鍵詞 ?果皮；計(jì)算機(jī)視覺(jué)；圖像處理；智能分級(jí)

中圖分類(lèi)號(hào) ?S 126 ??文獻(xiàn)標(biāo)識(shí)碼 ?A ??文章編號(hào) ?0517-6611（2023）05-0237-04

doi： 10.3969/j.issn.0517-6611.2023.05.054

開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

Detection of Shatangju Peels Smooth Index Based on Computer Vision

WANG Shi-long，ZHU Jing-huan

（Guangxi Science & Technology Normal University，Laibin，Guangxi 546199）

Abstract ?Extraction of frontal image of Shatangju peel by computer vision system， construction of effective image acquisition method， preprocessing method and segmentation method. Six peel texture features closely related to the quality were extracted from the image of target region to classify and identify whether the peel was smooth or not， the accuracy rate of single variance parameter combined with parameter interval classification was 76.3%， which was low. Then， the MLP model was designed and trained based on the six gray texture features of the peel， and the trained model was used for classification detection， the feasibility of the system design was verified on the basis of the classification test results of a certain number of peels. Results showed that based on the three-layer BP neural network model， the 6-8-2BP network structure was designed， and the accuracy of classification and recognition reached 97.5%.The design method could provide references for fruit and vegetable peel feature detection.

Key words ?Fruit peel;Computer vision;Image processing;Intelligent grading

計(jì)算機(jī)視覺(jué)技術(shù)（computer vision，CV），也稱(chēng)機(jī)器視覺(jué)技術(shù)（machine vision，MV）。計(jì)算機(jī)視覺(jué)技術(shù)涉及人工智能、模式識(shí)別、圖像處理、計(jì)算機(jī)軟硬件等領(lǐng)域［1-4］。計(jì)算機(jī)視覺(jué)比人工視覺(jué)的觀(guān)察速度和分辨度更高，識(shí)別結(jié)果有可重復(fù)性，廣泛應(yīng)用于批量化和標(biāo)準(zhǔn)化生產(chǎn)中，如產(chǎn)品質(zhì)量檢測(cè)、產(chǎn)品分級(jí)、醫(yī)學(xué)影像分析、智能分析處理系統(tǒng)等［5-9］。因此，可利用計(jì)算機(jī)視覺(jué)技術(shù)配合沙糖橘外觀(guān)品質(zhì)分類(lèi)標(biāo)準(zhǔn)進(jìn)行自動(dòng)分類(lèi)系統(tǒng)的開(kāi)發(fā)。

鑒于此，筆者以沙糖橘果皮特征為研究對(duì)象，采用計(jì)算機(jī)圖像技術(shù)為基礎(chǔ)集合模式識(shí)別技術(shù)，把通過(guò)依據(jù)國(guó)標(biāo)的人工感官評(píng)價(jià)結(jié)合利用機(jī)器視覺(jué)設(shè)備測(cè)量的結(jié)果作為綜合評(píng)價(jià)依據(jù)，選用常用的視覺(jué)圖像采集系統(tǒng)，對(duì)水果外部特征的有效提取方法進(jìn)行研究探討，設(shè)計(jì)建立準(zhǔn)確度高、穩(wěn)定性強(qiáng)的圖像分級(jí)評(píng)判模型，并搭建一套功能齊全的沙糖橘果皮品質(zhì)分類(lèi)硬軟件系統(tǒng)。

1 計(jì)算機(jī)視覺(jué)檢測(cè)系統(tǒng)設(shè)計(jì)

使用CCD硬件系統(tǒng)采集高品質(zhì)的果皮圖像，重點(diǎn)實(shí)現(xiàn)果皮圖像特征數(shù)據(jù)的有效完整提取，核心工作在于建立果皮光滑與否與圖像特征因子兩者間的映射關(guān)系判別模型，并利用優(yōu)化后的模型來(lái)實(shí)現(xiàn)果皮光滑檢測(cè)。首先在試驗(yàn)過(guò)程中建立果皮光滑與否的判別分類(lèi)模型，然后使用分類(lèi)判別結(jié)果修正模型，最后使用部分預(yù)測(cè)樣品數(shù)據(jù)進(jìn)行模型驗(yàn)證，并對(duì)模型進(jìn)行性能評(píng)價(jià)。

視覺(jué)采集系統(tǒng)采用單CCD和環(huán)形LED白光源，使用黑色載物背景，調(diào)整光圈到合適位置并鎖定，同時(shí)固定采集系統(tǒng)在同一環(huán)境的光源下，可以達(dá)到理想的圖像采集狀況。

計(jì)算機(jī)操作系統(tǒng)采用64位Windows 7，開(kāi)發(fā)軟件主要為學(xué)生版MATLAB R2015a和OpenCV3以及Halcon，使用千兆網(wǎng)卡連接CCD。整體系統(tǒng)軟件采用模塊化結(jié)構(gòu)設(shè)計(jì)，主要包括用戶(hù)交互模塊、原始圖像獲取、圖像處理特征信息提取和分類(lèi)檢測(cè)模型訓(xùn)練建立以及試用分類(lèi)模型進(jìn)行分類(lèi)預(yù)測(cè)［10-11］。

2 圖像處理算法

2.1 原始圖像獲取和圖像預(yù)處理

使用CCD相機(jī)以靜態(tài)方式進(jìn)行圖像的采集，采集到的原始圖像如圖1所示。圖像預(yù)處理是圖像分割和特征提取的基礎(chǔ)步驟，視覺(jué)系統(tǒng)采集到的原始圖像往往容易受到光照和機(jī)械噪聲等因素的影響，因此必須通過(guò)對(duì)圖像的預(yù)處理去除噪聲污染，同時(shí)提高圖像質(zhì)量，或者進(jìn)行格式轉(zhuǎn)換和區(qū)域獲取等。通?？稍诳臻g濾波和頻域?yàn)V波2個(gè)方向?qū)D像噪聲進(jìn)行去除，如圖2所示，常用的濾波方法有中值濾波、選擇平均、小波變換、拉普拉斯濾波等。用中值濾波使用3×3奇數(shù)窗口處理的效果如圖3所示。該中值濾波法不但去除了椒鹽噪聲，同時(shí)圖像的邊緣和細(xì)節(jié)信息也得到了很好的保留，濾波效果如圖4所示［12-13］。

大津法或最大類(lèi)間方差法Otsu算法被廣泛用于圖像分割。在沙糖橘的6個(gè)分量（GRB和HSI）中，B分量圖中沙糖橘果體和背景灰度差最顯著，對(duì)沙糖橘的背景分割最有利，因此進(jìn)行閾值分割時(shí)采用沙糖橘B通道圖像進(jìn)行。從圖5

可看出，在進(jìn)行沙糖橘閾值處理灰度圖像時(shí)，圖像B通道使用自適應(yīng)迭代選擇閾值法與大津法（Otsu算法）都能把沙糖橘與背景完成分割［14-15］。

2.2 果皮紋理特征提取

圖6為沙糖橘果面的光滑特征圖，果皮紋理特征與顏色特征不同，紋理特征需要統(tǒng)計(jì)和計(jì)算多個(gè)像素區(qū)域，而不是僅基于像素點(diǎn)。紋理特征具有局部抗噪能力和旋轉(zhuǎn)不變性的特性，其優(yōu)點(diǎn)就來(lái)自具有統(tǒng)計(jì)特征，可基于此來(lái)描述反映果面的光滑程度［16］。模型、幾何、結(jié)構(gòu)、統(tǒng)計(jì)和信號(hào)處理等是現(xiàn)實(shí)操作中常采用的提取紋理特征的方法。參照代表基于灰度共生矩陣（gray level co-occurrence matrix，縮寫(xiě)GLCM）的最典型的特征提取法［17］，經(jīng)圖像灰度級(jí)計(jì)算得到共生矩陣，紋理特征由反差、自相關(guān)、能量、均值、逆差距和方差6個(gè)參數(shù)值來(lái)表示。由表1可知，實(shí)際測(cè)試得到的部分?jǐn)?shù)據(jù)值可以看出，表面相對(duì)不光滑的沙糖橘方差集中在37.310 0～38.810 0，表面相對(duì)光滑的沙糖橘方差集中在35.970 0～43.870 0。

使用紋理特征方差數(shù)據(jù)的范圍區(qū)間來(lái)判定果皮表面是否光滑的驗(yàn)證結(jié)果如表2所示，使用該方差來(lái)判定果皮是否光滑的平均正確率為76.3%，正確率較低，這些紋理特征的參數(shù)為非線(xiàn)性，使用一個(gè)參數(shù)范圍來(lái)進(jìn)行判定正確率不能得到保證，需要使用多層神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)一個(gè)更合理的分類(lèi)器。

2.3 BP神經(jīng)網(wǎng)絡(luò)的配置

由于沙糖橘果皮紋理特征是個(gè)一維數(shù)組，不適于線(xiàn)性分類(lèi)，根據(jù)所提取的沙糖橘紋理特征，??通過(guò)分析試驗(yàn)篩選沙糖橘紋理特征分類(lèi)的合理學(xué)習(xí)算法和BP神經(jīng)網(wǎng)絡(luò)模型，設(shè)計(jì)BP神經(jīng)網(wǎng)絡(luò)分類(lèi)器應(yīng)用于沙糖橘紋理特征的智能分類(lèi)算法。

3 試驗(yàn)分析

不光滑沙糖橘的網(wǎng)絡(luò)期望輸出結(jié)果為0，光滑沙糖橘的網(wǎng)絡(luò)期望輸出結(jié)果為1。依據(jù)沙糖橘外觀(guān)國(guó)標(biāo)人工精心分級(jí)獲得光滑和不光滑沙糖橘共120個(gè)，提取各個(gè)沙糖橘果皮的灰度紋理特征，部分紋理特征數(shù)據(jù)如表3所示。

表4為使用參數(shù)區(qū)間和BP神經(jīng)網(wǎng)絡(luò)分類(lèi)正確率對(duì)比，歸一化處理120個(gè)沙糖橘樣本數(shù)據(jù)，然后隨機(jī)共抽取80組沙糖橘的特征值作為訓(xùn)練樣本（果皮光滑為50個(gè)，果皮不光滑為30個(gè)），使用這80個(gè)樣本數(shù)據(jù)完成一個(gè)BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，再把剩下的樣本數(shù)據(jù)輸入網(wǎng)絡(luò)模型對(duì)網(wǎng)絡(luò)模型進(jìn)行驗(yàn)證測(cè)試，并對(duì)BP神經(jīng)網(wǎng)絡(luò)的分類(lèi)性能進(jìn)行測(cè)評(píng)。利用神經(jīng)網(wǎng)絡(luò)識(shí)別方法得到的沙糖橘類(lèi)別與實(shí)際分類(lèi)結(jié)果相一致，僅有個(gè)別誤判現(xiàn)象（把光滑果判定成不光滑果），40個(gè)沙糖橘測(cè)試樣本中有39個(gè)判斷正確，正確率為97.5%，表明該研究設(shè)計(jì)的BP神經(jīng)網(wǎng)絡(luò)能滿(mǎn)足沙糖橘的分級(jí)要求。

4 結(jié)論與討論

用沙糖橘紋理特征表示果皮光滑與否，使用單一方差參數(shù)配合參數(shù)區(qū)間分類(lèi)的方式正確率為76.3%，正確率較低。而基于3層的BP神經(jīng)網(wǎng)絡(luò)模型，設(shè)計(jì)6-8-2BP網(wǎng)絡(luò)結(jié)構(gòu)，綜合使用6個(gè)特征參數(shù)經(jīng)過(guò)訓(xùn)練模型和使用模型進(jìn)行測(cè)試并分析，得出該網(wǎng)絡(luò)模型可以實(shí)現(xiàn)依據(jù)灰度圖下果皮紋理特征對(duì)沙糖橘光滑與否進(jìn)行分類(lèi)，使用此特征分類(lèi)結(jié)果和人工分類(lèi)結(jié)果對(duì)比可達(dá)到97.5%的正確率。對(duì)比人工感官分類(lèi)，該系統(tǒng)具有可重復(fù)性高、可靠性好和快速的優(yōu)勢(shì)。因此設(shè)計(jì)該系統(tǒng)具有較好的實(shí)用價(jià)值，研究方法對(duì)于其他果蔬果皮光滑分類(lèi)具有較好的借鑒和參考價(jià)值［18-21］。

參考文獻(xiàn)

［1］ ?陳靜，梁俊毅.基于機(jī)器視覺(jué)的禽蛋外觀(guān)品質(zhì)在線(xiàn)檢測(cè)系統(tǒng)設(shè)計(jì)［J］.食品工業(yè)，2020，41（5）：232-234.

［2］ 馬佳佳，王克強(qiáng)，鄭奕雄，等.基于機(jī)器視覺(jué)的花生種子外觀(guān)品質(zhì)檢測(cè)與分類(lèi)方法研究［J］.安徽農(nóng)業(yè)科學(xué)，2021，49（10）：225-227，231.

［3］ 閆朋濤，王昆倫，孫家亮，等.基于機(jī)器視覺(jué)的淡水魚(yú)去鱗損傷無(wú)損檢測(cè)識(shí)別方法［J］.食品工業(yè)，2020，41（3）：184-187.

［4］ 何東健，張庭鋒，李邦國(guó)，等.除草機(jī)器人機(jī)器視覺(jué)自動(dòng)導(dǎo)航技術(shù)研究［J］.安徽農(nóng)業(yè)科學(xué)，2020，48（18）：201-205.

［5］ 王哲祿，程向嬌，尤文生.基于機(jī)器視覺(jué)的蔬菜嫁接機(jī)自動(dòng)上苗控制系統(tǒng)設(shè)計(jì)［J］.安徽農(nóng)業(yè)科學(xué)，2019，47（7）：218-220.

［6］ 安叢姝.關(guān)于圖像處理技術(shù)現(xiàn)狀及發(fā)展的分析［J］.科技資訊，2018，16（25）：72-73.

［7］ PU Y Y，F(xiàn)ENG Y Z，SUN D W.Recent progress of hyperspectral imaging on quality and safety inspection of fruits and vegetables：A review［J］.Comprehensive reviews in food science and food safety，2015，14（2）：176-188.

［8］ 應(yīng)義斌，饒秀勤，趙勻，等.機(jī)器視覺(jué)技術(shù)在農(nóng)產(chǎn)品品質(zhì)自動(dòng)識(shí)別中的應(yīng)用（I）［J］.農(nóng)業(yè)工程學(xué)報(bào)，2000，16（3）：103-108.

［9］ SUN D W.Computer vision technology for food quality evaluation［M］.2nd ed.Amsterdam：Elsevier/Academic Press，2016.

［10］ ?BAIGVAND M，BANAKAR A，MINAEI S，et al.Machine vision system for grading of dried figs［J］.Computers and electronics in agriculture，2015，119：158-165.

［11］ 劉峻，孫美艷，焦中元，等.基于全局閾值迭代的蘋(píng)果圖像分割計(jì)數(shù)方法［J］.安徽農(nóng)業(yè)科學(xué)，2018，46（29）：180-182，186.

［12］ 余洪.基于計(jì)算機(jī)視覺(jué)技術(shù)的茶葉品質(zhì)分級(jí)研究［D］.南昌：江西農(nóng)業(yè)大學(xué)，2017.

［13］ SATORRES MARTNEZ S，MARTNEZ GILA D，BEYAZ A，et al.A computer vision approach based on endocarp features for the identification of olive cultivars［J］.Computers and electronics in agriculture，2018，154：341-346.

［14］ 羅楓，魯曉翔，張鵬，等.冷藏櫻桃內(nèi)部品質(zhì)的近紅外漫反射光譜檢測(cè)［J］.食品與發(fā)酵工業(yè)，2015，41（3）：219-224.

［15］ 孫旭東，劉燕德，李軼凡，等.鴨梨黑心病和可溶性固形物含量同時(shí)在線(xiàn)檢測(cè)研究［J］.農(nóng)業(yè)機(jī)械學(xué)報(bào)，2016，47（1）：227-233.

［16］ 常英.基于機(jī)器視覺(jué)的櫻桃番茄在線(xiàn)分級(jí)檢測(cè)研究［D］.蘭州：蘭州理工大學(xué)，2019：22.

［17］ GONZALEZ R C，WOODS R E，EDDINS S L.Digital image processing using MATLAB［M］.Upper Saddle River，N.J.：Pearson Prentice Hall，2004：42-45.

［18］ 張玉華，孟一，張明崗，等.基于近紅外、機(jī)器視覺(jué)及信息融合的水果綜合品質(zhì)檢測(cè)［J］.食品工業(yè)，2018，39（11）：247-250.

［19］ 裴悅琨，葉家敏，姜艷超，等.基于機(jī)器視覺(jué)的櫻桃形狀及大小檢測(cè)技術(shù)［J］.食品工業(yè)，2020，41（8）：199-202.

［20］ 張世慶，戴其俊，孫力，等.禽蛋裂紋檢測(cè)敲擊裝置力學(xué)分析與結(jié)構(gòu)優(yōu)化［J］.農(nóng)業(yè)機(jī)械學(xué)報(bào)，2017，48（5）：363-368.

［21］ ZHU Q B，HE C L，LU R F，et al.Ripeness evaluation of“Sun Bright”tomato using optical absorption and scattering properties［J］.Postharvest biology and technology，2015，103：27-34.