基于圖像多指標融合的柑橘分級方法與裝備設計

楊 濤，馬京晶

（1.成都農(nóng)業(yè)科技職業(yè)學院機電信息學院，成都 611130；2.四川財經(jīng)職業(yè)學院信息學院，成都 610101）

機器視覺技術因其低成本與高效率的特點在現(xiàn)代農(nóng)業(yè)生產(chǎn)中有著較廣泛的應用［6］。機器視覺技術在芒果［7］、桃［8］、葡萄［9］、獼猴桃［10］、蘋果［11］等水果品質(zhì)無損檢測中有一定的應用。本研究以川渝地區(qū)主產(chǎn)水果柑橘為對象，運用機器視覺技術探討柑橘自動分級方法并設計了柑橘全自動分級裝備，以期降低水果分級成本，進而促進水果生產(chǎn)全程機械化發(fā)展。

1 柑橘分級策略與技術路線

根據(jù)柑橘分級國家標準《GB/T 12947—2008 鮮柑橘》與行業(yè)標準《NY/T 1190—2006 柑橘等級規(guī)格》，柑橘分級主要依據(jù)果實的外觀、大小與內(nèi)在品質(zhì)。水果品質(zhì)無損檢測主要包括外觀（形狀、顏色、大小、組織缺陷、病蟲害等）與內(nèi)在（成熟度、可溶性糖、糖酸比、農(nóng)藥殘留等）品質(zhì)，水果品質(zhì)無損檢測技術主要有高光譜成像［12］（Hyperspectral image，HSI）、近紅外光譜［13］（Near infrared spectrum，NIRS）、機器視覺［6］（Machine vision，MV）、拉曼光譜［14］（Raman spectra）和深度學習［15］等高新信息技術。其中，機器視覺技術成本最低，較適合川渝地區(qū)小規(guī)模農(nóng)戶使用。因此，本研究以柑橘圖像為研究對象，研究了其分級方法，柑橘自動分級技術路線見圖1。

2 柑橘圖像采集與預處理

為保證采集到的圖像包含全部的柑橘表面缺陷信息，圖像采集裝置（圖2）連續(xù)采集6 張柑橘圖像，再對圖像進行編組，以確保連續(xù)6 張圖像來自同一個柑橘。進一步采用圖像裁剪、去噪和Otsu 閾值分割等圖像處理技術對采集到的柑橘圖像進行預處理，以消除圖像背景對后續(xù)圖像分析的影響。預處理后圖像見圖3，本研究中未特別說明的情況下提取的特征值均是以采集到的6 張圖像的特征值平均值來表征。

圖2 柑橘圖像采集裝置

圖3 同一個水果采集到的6 張預處理后圖像

3 柑橘圖像特征提取與分級標準

3.1 果形與果重的判定

3.1.1 幾何形狀 柑橘形狀與大小是重要的品質(zhì)分級指標，反映了柑橘的幾何特征。通常使用似圓度（Ro）、矩形度（Re）、最小外接矩形長寬比（Ra）、最小外接圓面積與目標區(qū)域面積比（Rc）描述目標區(qū)域的幾何形狀特征［16］。定義二值圖像似圓度為目標區(qū)域面積（A）的4π 倍與其周長（L）的平方之比；矩形度則為目標區(qū)域的面積與其最小外接矩形圍成區(qū)域的面積之比，反映了目標區(qū)域最小外接矩形充滿程度；長寬比則為目標區(qū)域最小外接矩形長寬比，反映了該區(qū)域是細而長還是短而粗，而且還不受區(qū)域方向與采集圖像焦距的影響，也是較重要的幾何特征；同時，目標區(qū)域面積與其最小外接圓面積之比更能反映球形水果與圓形的相似度，也是較重要的幾何參數(shù)［16］。由此，即可得到描述目標對象幾何形狀的關鍵技術指標，具體計算式如下。

式中，L為二值圖像目標區(qū)域周長，即邊緣像素個數(shù)；A為二值圖像目標區(qū)域的面積，即區(qū)域像素個數(shù)；l、w分別為最小外接矩形的長邊、短邊的像素個數(shù)；r為最小外接圓的半徑。

顯然，矩形的矩形度為1，圓的矩形度為π/4，正三角形的矩形度為0.5，而其他不規(guī)則形狀的矩形度在0～1。而且球形的長寬比、面積比均趨近于1，橢球形的長寬比、面積比較大，分別計算各樣本的幾何特征參數(shù)即可判斷其形狀。將樣本圖像轉(zhuǎn)換為二值圖像后分別計算其幾何特征，并將其最小外接矩形、最小外接圓和最大內(nèi)切圓繪制成圖（圖4）。

語文教師要應用合適的方法提高學生的寫作興趣，讓學生自己感覺到寫作是一個有趣且有意義的事情，引導他們學會用自己的語言去描繪生活、表達感情、書寫認知。生活和學習中，學生遇到的每一件事，都可以激起他們的寫作興趣，引起他們的寫作欲望，進而達到寫作目的。

選取100 個柑橘果實獲得600 張樣本圖像，計算其幾何特征值，每個果實取6 張圖像結(jié)果值的平均值繪制成折線圖（圖5）。由圖5可知，樣本圖像的矩形度（Re）穩(wěn)定在π/4 處，說明樣本幾何形狀為類圓形。而且大部分樣本的長寬比（Ra）、面積比（Rc）趨近于1，即球形柑橘的Re→π/4、Ra→1、Rc→1，進一步說明樣本圖像為正圓形，其余的離散點說明其幾何形狀為橢圓形。可憑借樣本的Ra、Rc篩選出橢球狀、球狀以及其他形狀的柑橘。由此，即可實現(xiàn)柑橘幾何形狀的判定。

圖5 樣本幾何特征值

3.1.2 單果重 柑橘的單果重或果實橫徑（赤道直徑）同樣是分級的重要指標。一般采用果實二值圖像或輪廓的最小外接矩形長短軸來描述果實的橫徑，進而依據(jù)果實橫徑或投影面積建立預測模型以預估果實的質(zhì)量［17］。考慮到柑橘形狀以球形或橢球形為主，采用果實二值圖像最小外接圓與最大內(nèi)切圓直徑的平均值來表征其大小，再以此為基礎預測果實的體積，進而構(gòu)建了柑橘果實質(zhì)量預測模型，以搭建柑橘果實樣本圖像與其真實質(zhì)量之間的函數(shù)關系，具體計算式如下。

式中，λ為修正系數(shù)，經(jīng)試驗取λ=1.85；ρ為目標對象密度，取ρ=1.36 g/cm3；rˉ為樣本二值圖像最小外接圓與最大內(nèi)切圓半徑的平均值。

選取大、中、小共100 個柑橘為試驗樣本，編號后逐一稱得其實際質(zhì)量（m），再借助柑橘果實質(zhì)量預測模型得到預估質(zhì)量（me）。對比實際質(zhì)量與預測質(zhì)量（圖6）發(fā)現(xiàn)，該柑橘果實質(zhì)量預測模型能夠適應大、中、小類果實，尤其對球形水果適應性較好，預估質(zhì)量誤差范圍在±5 g 之內(nèi)，滿足柑橘按大小分類的要求。

圖6 樣本實際質(zhì)量與預估質(zhì)量對比

3.2 色澤與成熟度

大部分柑橘在成熟過程中果皮顏色會由綠色逐漸轉(zhuǎn)變?yōu)槌赛S色再到成熟期的橙紅色，該過程稱為轉(zhuǎn)色現(xiàn)象。圖像顏色信息對圖像本身的方向、尺寸和視角的依賴性較小，具有較強的魯棒性。可據(jù)此現(xiàn)象建立果實成熟度預測模型以判別果實成熟與否。傳統(tǒng)描述圖像顏色信息的方法主要有顏色矩、顏色直方圖、顏色相關圖、顏色集與顏色聚合向量等，其中，顏色矩能較好地反映顏色分布情況，是最常見的描述顏色信息的特征值，其計算式如下［18］。

式中，μi、σi、ζi分別為樣本圖像的一階矩、二階矩、三階矩，Pij為彩色圖像第j個像素的第i個顏色分量，N為圖像中的像素個數(shù)。

計算樣本圖像的顏色矩信息得到圖7。在RGB顏色模式下，各顏色分量矩特征值均有較明顯的分界線，但還不足以區(qū)分出樣本的成熟度。為此，根據(jù)柑橘顏色越鮮艷、成熟度越高的特點，進一步建立了計算特定顏色的占比而描述樣本成熟度的數(shù)學模型，將樣本圖像中各顏色分量的像素點中大于試驗樣本平均值的像素點設置為0。即將樣本圖像中的深色部分用黑色背景覆蓋或替換，得到樣本圖像中的淺色部分，具體計算式如下。

式中，δr、δg、δb分別為樣本圖像各顏色分量分割閾值，分別取其試驗樣本的平均值。

隨機抽取的樣本試驗效果見圖8，樣本圖像中深色部分均與背景融合，只顯現(xiàn)出淺色部分。樣本圖像深色部分的面積與整個樣本圖像面積的比值即可描述樣本的成熟度（ε），具體計算式如下。

圖8 樣本圖像中的淺色區(qū)域

式中，A0為樣本淺色區(qū)域二值圖像面積；A為樣本二值圖像總面積。

柑橘成熟度還反映出樣本的甜度，柑橘越成熟則表現(xiàn)出較高的甜度，反之則表現(xiàn)出低甜度或高酸度。經(jīng)試驗，選擇100 個柑橘樣本計算其成熟度，結(jié)果見圖9。當ε＜10%時，說明樣本為未成熟或果皮表面存在較大瑕疵（如病斑等）；當10%≤ε＜35%時，說明樣本成熟度小于其平均值，表現(xiàn)出低甜度；當35%≤ε＜50%時，說明樣本成熟度較為正常，表現(xiàn)出中等甜度；當50%≤ε＜80%時，說明樣本成熟度較高，全部大于樣本的平均值，表現(xiàn)出高甜度；當ε≥80%時，說明樣本顏色過深，果皮可能產(chǎn)生了病變，存在較大的褐色病斑。由此，構(gòu)建了由樣本顏色判斷樣本甜度的數(shù)學模型，且據(jù)此能夠區(qū)分出樣本中有較大表面缺陷的水果。

圖9 樣本成熟度

3.3 缺陷類型及識別方法

柑橘果皮常見缺陷表現(xiàn)為機械損傷、病斑、腐爛日灼和裂果等，這些缺陷通常表現(xiàn)出較大的顏色差異，是柑橘品質(zhì)分級的重要指標［19］。RGB 顏色模式下，圖像容易受到亮度的影響，Otsu 分割難以得到較好的缺陷圖像。Lab 顏色模型由1 個亮度通道和2個顏色通道構(gòu)成，能夠較好地消除亮度的影響。為得到較好的缺陷分割效果，將樣本圖像轉(zhuǎn)換到Lab顏色模式再運用K-means 聚類算法分割出缺陷區(qū)域。K-means 聚類算法是尋找K個聚類中心，將所有的數(shù)據(jù)分配到距離最近的聚類中心，使每個點與其相應的聚類中心距離的平方和最小，具體計算式如下［20］。

K-means 聚類分割算法流程見圖10，該算法需要人為設定聚類個數(shù)和隨機選擇初始聚類中心。試驗結(jié)果見圖11，可知，當K=3 時，柑橘樣本圖像缺陷分割效果較好，能夠滿足后續(xù)的圖像處理要求，且穩(wěn)定性較好。

圖10 K-means 聚類分割算法流程

圖11 K=3 時柑橘樣本圖像缺陷分割效果

K-means 聚類分割算法在分割柑橘表面缺陷有一定優(yōu)勢，但也存在將正常果圖像錯誤地分割出缺陷區(qū)域。進一步分析聚類分割結(jié)果發(fā)現(xiàn)，當K=3 時，聚類圖像中面積（像素個數(shù)）占比最大的區(qū)域為水果圖像中的正常區(qū)域，最小的區(qū)域則為黑色背景，而缺陷區(qū)域則始終位于較大的區(qū)域。由此，剔除聚類圖像中面積占比最大與最小的區(qū)域，即可得到圖像中可能存在的缺陷區(qū)域。計算出該區(qū)域在該水果圖像投影面積的占比（ξ），再據(jù)此進一步通過設置閾值（T）的方法判斷該區(qū)域是否為圖像缺陷，具體計算式如下。

式中，De為樣本中缺陷區(qū)域的圖像面積。

若ξ≥T，則說明該區(qū)域為非缺陷區(qū)域，可能在顏色上有一定的差異；若ξ＜T，則判定該區(qū)域為缺陷區(qū)域。試驗發(fā)現(xiàn)，水果綠色果梗以及果皮存在較小而不影響銷售的缺陷也會被篩選出來。為此，增加一個閾值（T0），剔除果梗圖像對判別結(jié)果的影響。即T0＜ξ＜T時，判定該區(qū)域為柑橘表面缺陷。

隨機選取一定數(shù)量帶缺陷的柑橘，將其混合在沒有缺陷的柑橘中完成編號后逐一采集圖像計算其缺陷占比，結(jié)果見圖12。經(jīng)試驗，取T=20%缺陷識別效果較好，T0=2%能夠較好地篩選出果梗區(qū)域。

圖12 樣本缺陷占比

3.4 柑橘圖像自動分級標準與判別模型

柑橘品種較多，不同品種的分級標準存在差異。為了提高系統(tǒng)的適應性，要求系統(tǒng)預設多種分級標準并能根據(jù)果農(nóng)實際需要實時動態(tài)調(diào)整。由此，結(jié)合果農(nóng)實際需要，依據(jù)柑橘果實大小、形狀、成熟度（甜度）以及外觀品質(zhì)將柑橘分為多個等級。為便于柑橘自動分級系統(tǒng)自動化處理，結(jié)合對樣本圖像的幾何形狀、單果重、顏色矩、成熟度、外觀缺陷等信息的分析，篩選出最能表征柑橘品質(zhì)的參數(shù)構(gòu)成柑橘特征向量（X）。由此，建立了樣本圖像自動分級標準（表1）。柑橘特征向量如下。

設f（x）為柑橘圖像等級判定函數(shù)，根據(jù)f（x）返回值判定柑橘等級，見式（9），柑橘等級判別過程見圖13。首先，令f（x）初始值為0，再判定X中的缺陷面積占比（ξ）是否符合缺陷果等級要求。即T0＜ξ＜T時，f（x）=－1，判定該柑橘為缺陷果；接著，將X逐一與柑橘相應等級Class_j比對。若Xi∈Class_1，f（x）=1，則判定該柑橘為一等果；依次類推，f（x）=2、f（x）=3 時，則判定柑橘分別為二等果、三等果。但是，若比對結(jié)果不屬于任何一個等級，則判定該柑橘為等外果。此時，令f（x）=－1，即將等外果歸為缺陷果。由此，即可完成基于柑橘圖像多指標融合的全自動分類。

圖13 柑橘等級判別過程

式中，Class_j為相應等級的柑橘圖像技術指標，j=1，2，3。

4 柑橘自動分級系統(tǒng)與裝備設計

4.1 分級系統(tǒng)實現(xiàn)

為便于觀察柑橘檢測過程，開發(fā)了UI 交互界面（圖14），以便及時了解系統(tǒng)狀態(tài)與發(fā)現(xiàn)異常分級情況。采用Microsoft Visual Studio 與MATLAB 混合編程，將MATLAB 中的圖像處理函數(shù)封裝成“.dll”文件再調(diào)用。系統(tǒng)標題欄顯示各類圖像操作命令；左側(cè)區(qū)域顯示圖像處理過程，以便用戶觀察系統(tǒng)運行狀態(tài)；右側(cè)區(qū)域為必要的參數(shù)設置與分級結(jié)果顯示區(qū)。此外，為便于用戶操作，特意設置了一鍵啟動與停止按鈕，簡化了系統(tǒng)操作流程。為了提高系統(tǒng)的適應性，以滿足不同類別與批次的柑橘分類要求，將系統(tǒng)分級判別關鍵指標設置為動態(tài)調(diào)整模式，用戶在正式分級前可選擇一批柑橘進行試分級以獲取自動分級關鍵技術指標，進而提高系統(tǒng)的適應能力。

圖14 柑橘自動分級系統(tǒng)界面

為進一步驗證系統(tǒng)的分級效果，選擇樂山沃柑為試驗對象，在當?shù)亟?jīng)驗豐富的果農(nóng)指導下人工分選出各類等級水果200 個，編號后逐一放進圖像采集系統(tǒng)中采集圖像，對其預處理后系統(tǒng)自動分級，最后用人工校核系統(tǒng)分類正確的個數(shù)（只統(tǒng)計該類別中分類正確的個數(shù)）計算出系統(tǒng)識別率（表2）。由表2 可知，系統(tǒng)對柑橘分級效果較好，對顏色差異較大的果皮缺陷識別效果較好（如病斑、機械損傷等），而對色澤差異較小的腐爛果識別效果稍差，但基本不影響系統(tǒng)的使用，系統(tǒng)綜合識別率大于90.0%。

表2 柑橘分級系統(tǒng)識別率

4.2 柑橘自動分級裝備設計

柑橘全自動分級裝備由上料架、圖像采集系統(tǒng)、水果傳送系統(tǒng)、分級執(zhí)行機構(gòu)與控制系統(tǒng)組成，見圖15。將待分級柑橘倒入上料架中會自動被分為2行，再通過傳送帶逐一將柑橘送到圖像采集裝置內(nèi)，采集原始圖像并自動傳輸給分級系統(tǒng)完成柑橘分級，將分級結(jié)果以電信號的形式傳遞給控制系統(tǒng)，以控制執(zhí)行機構(gòu)將該柑橘引入相應等級的筐中，完成柑橘的自動分級。

圖15 柑橘全自動分級裝備

柑橘全自動分級裝備基本解決了人工分級效率低、成本高的問題，有效降低了果農(nóng)的生產(chǎn)成本，進而增加了果農(nóng)的經(jīng)濟收入。同時，也為低成本、高效率、好體驗的水果全自動分級裝備研制提供了參考。

5 結(jié)論

水果分級銷售是提升果農(nóng)經(jīng)濟收入的重要手段，為滿足果農(nóng)低成本、高效率、好體驗的全自動水果分級需要，基于圖像多指標融合的方法設計了柑橘自動分級系統(tǒng)。①提出了多視角圖像采集方案，避免了因未采集到水果表面缺陷而導致的分類，并且在一定程度上能夠提高系統(tǒng)識別率；②基于目標圖像最小外接圓與最大內(nèi)切圓構(gòu)建了球類水果質(zhì)量預測模型，提出了基于深色區(qū)域占比的成熟度預測模型；③基于K-means 聚類算法設計了柑橘表面缺陷識別模型，為研制全自動水果分級裝備奠定了理論基礎，該系統(tǒng)擴展性較強，可通過調(diào)整相應參數(shù)實現(xiàn)色選、水果分類識別等，同時也為系統(tǒng)的迭代升級做好了鋪墊；④適應性強，除對柑橘有較好的識別效果外，微調(diào)相應參數(shù)即可使系統(tǒng)滿足硬質(zhì)球類水果（獼猴桃、蘋果、梨、桃等）的分級要求，對提高果農(nóng)經(jīng)濟收入、促進水果產(chǎn)業(yè)全程機械化有一定的意義。