基于數(shù)字圖像及隨機最小二乘的紅提串果粒尺寸檢測分級方法

肖 壯，王巧華*，王 彬，許 鋒，楊 朋，李 理

（華中農(nóng)業(yè)大學工學院，湖北 武漢 430070）

目前，機器視覺技術被廣泛應用于工業(yè)、醫(yī)學、農(nóng)業(yè)等領域[1-5]，在對農(nóng)產(chǎn)品的尺寸檢測方面，國內(nèi)外學者做了不少的研究：周竹等[6]設計了一種V型平面鏡馬鈴薯分級系統(tǒng)，提出了一種最小外接柱體體積法來計算馬鈴薯的尺寸大小，并按照大小分級準則將馬鈴薯分為大、中、小3 個等級，實驗最終分級正確率為91.0%。Marchant等[7]設計了一套基于機器視覺的對土豆大小和形狀分級的系統(tǒng)，其處理速度基本滿足了在線的要求。鄧海霞等[8]應用圖像處理技術對群體雞蛋進行單個識別，并通過一元線性回歸的方法分析了雞蛋圖像面積與實際質量、實際長短軸與圖像中的長短軸的線性關系，模型的相關系數(shù)分別達到了0.92、0.91和0.94。

葡萄作為世界第二大栽培水果，深受人們的喜愛，我國對葡萄的尺寸分級仍然采用人工分級的方法，其對柔軟的果粒具有較大損傷，且分級效率極低；因此，應用機器視覺技術對葡萄進行無損尺寸分級具有廣闊的應用前景。由于紅提葡萄為穗狀結構，且果粒之間相互堆疊，多數(shù)果粒遮擋嚴重，因此應用機器視覺技術對葡萄果粒識別并進行尺寸分級有較大的難度。曾慶兵等[9]通過形態(tài)學處理的方法，實現(xiàn)了對葡萄果粒的精確定位，從而為觀測葡萄的生長狀況提供了參考；Li Min等[10]通過檢測葡萄輪廓的角點將輪廓邊緣的葡萄果粒識別出來，并通過計算單粒葡萄的平均曲率作為判定標準，將葡萄按照大小分級，最終分級準確率為90%；陳英等[11]通過判定和識別輪廓線上的凹點，并將凹點之間的弧段作為葡萄果粒的輪廓，從而擬合出葡萄輪廓邊緣上的葡萄果粒，該算法對整串葡萄的識別率為35%，大小分級正確率為72.7%；Roscher等[12]通過采集自然環(huán)境下的葡萄穗圖像，采用Hough檢測圓的方法檢測所有可能的近球葡萄，通過顏色、紋理等信息設計分類器，檢測出葡萄的果徑大小，其相關系數(shù)為0.88；李敏[13]提出了一種紅提果粒的檢測算法，通過在輪廓邊緣上選取距離一定的3點，采用最小二乘橢圓擬合的方法獲得果粒尺寸，其正確率為85.14%。

由上述研究可以看出，國內(nèi)外對農(nóng)產(chǎn)品的尺寸研究并不鮮見，但是像葡萄這樣的具有穗狀結構且果粒密集的水果尺寸研究卻存在難度。上述關于整串葡萄的研究也只通過提取邊緣輪廓上的果粒，而邊緣果粒不能代表整串果粒，隨機性太大，正確率不高，這也是目前葡萄尺寸大小檢測面臨的瓶頸問題，亟待解決。本研究以葡萄的一個品種——新疆紅提為研究對象，采用了基于形態(tài)學重構和局部極大值的方法，通過紅提表面的亮度信息，識別和定位紅提串整個外表面的果粒，通過梯度分割的方法，獲得準確的紅提輪廓，再采用隨機最小二乘橢圓檢測的方法對果粒進行擬合，并提取尺寸參數(shù)，以期實現(xiàn)對整串紅提的尺寸分級。

1 材料與方法

1.1 材料

新鮮新疆紅提購自華中農(nóng)業(yè)大學水果超市。

1.2 儀器與設備

本實驗圖像采集系統(tǒng)如圖1所示，光室為尺寸為600 mm×450 mm×450 mm的箱體，在暗箱頂部設置有滑道，葡萄懸掛于滑道下端的掛鉤上，通過手動控制葡萄與相機間距離，以采集到最清晰的圖像；AD-080GE的雙通道工業(yè)相機（分辨率為1 024×768，幀率為30 fps，能同時采集紅-綠-藍（Red-Green-Blue，RGB）圖像和近紅外（near infrared，NIR）圖像） 丹麥JAI公司；LM6NC鏡頭 日本Kowa公司。

圖 1 圖像采集裝置Fig. 1 Schematic illustration of the image acquisition device

1.3 方法

圖 2 原始圖像Fig. 2 Original images

1.3.1 圖像處理采集到某串紅提RGB圖像和NIR圖像如圖2所示，由原始圖像可以看出，RGB圖像中紅提與背景顏色都呈現(xiàn)深藍色，相鄰果粒之間顏色差距不大，邊緣輪廓不明顯，但果粒與果梗間有明顯的顏色區(qū)分；NIR圖像中紅提與背景顏色差距很大，果粒的輪廓明顯，但其果粒與果梗顏色相近。故本研究在RGB圖像中進行果梗的去除，在NIR圖像中進行果粒的輪廓提取。

1.3.1.1 果梗的去除

圖 3 去除果梗Fig. 3 Images without stalks

紅提串中存在大量的綠色果梗，由Sobel算子獲得的紅提輪廓圖像（圖3a）可以看出，果梗的輪廓會嚴重干擾到周圍紅提果粒的檢測，屬于干擾信息，故必須刪除。果梗的顏色為綠色，常見的綠色信息圖像分割的方法為HSV（Hue-Saturation-Value）彩色圖像分割法[14-16]，由于HSV色彩空間相比于其他色彩空間是最接近人眼的，通過統(tǒng)計HSV圖像中的H色調(diào)值選取合適的閾值，可以大致分割出綠色像素點，但該方法對閾值的選取要求高，且H色調(diào)值是根據(jù)統(tǒng)計獲得的，綠色的色調(diào)值位于HSV空間中的60°～180°之間，對應于HSV模型中的0.16～0.50之間，取值范圍較大，且紅提表面的紋理及斑點會嚴重影響到其顏色的折射率，故這種方法去除紅提果梗的效果較差，選取不同的閾值范圍，采用HSV彩色圖像分割的方法去除果梗的效果如圖3i～k所示?；诠Ｔ赗GB彩色空間中G分量所占比例較大，通過實驗對比了G-B、2G-R-B、2g-r-b的轉換效果圖[17]，如圖3l～n所示，發(fā)現(xiàn)歸一化超綠法[18-19]的效果最好，其中r、g、b的計算如公式（1）～（3）所示。

式中：R、G、B分別為紅色圖像基于RGB色彩空間的紅色、綠色、藍色分量；r、g、b分別為歸一化后的紅色、綠色、藍色分量。

歸一化超綠法去除綠色果梗：分別提取紅提RGB圖像的R、G、B 3 個分量值并將其轉換為r、g、b，如圖3b、c、d所示，通過2g-r-b的色差計算，提取出果梗的灰度圖，通過Otsu閾值法選取出最佳閾值，并將灰度圖轉為二值圖，再通過膨脹處理擴大果梗區(qū)域。對果梗的二值圖像進行取反處理后，將其與圖3a進行圖像的乘法運算，處理過程如圖3b～h所示。

由圖3i～n的去除果梗效果及處理的過程可以看出，歸一化超綠法相比于其他去除果梗的方法來說，不需要人為設定閾值，算法簡單可靠，能有效去除無用的綠色果梗信息。

1.3.1.2 紅提果粒的定位

圖 4 果粒的定位Fig. 4 Location of grapes

由圖4a可以看出，紅提串表面的果粒在光源的照射下產(chǎn)生了細小的亮點，且其大致在果粒的中心位置，故本研究將其作為紅提定位的依據(jù)。若直接對NIR圖像進行亮度局部極大值運算，得到的亮點效果圖如圖4b所示，其明顯不能滿足定位的要求，主要是因為果粒表面存在大量的果粉、細小的臟污點，并且在光源的照射下，果肉中的細小紋理都顯露出。為解決這些問題，本研究采用了基于形態(tài)學的開閉重構算法[20-21]，假設J和I分別為紅提的參考圖像和原始圖像，I≤J，以參考圖像J為變換的起點，通過原始圖像I來規(guī)范不斷變換的過程，直到紅提灰度圖像像素值保持穩(wěn)定為止。膨脹重構和腐蝕重構[22]分別由公式（4）～（5）表示。

本研究使用了基于形態(tài)學的開閉重構運算，通過先開重構后閉重構的兩次重構，參照膨脹和腐蝕重構的迭代方法，將混合開閉重構算法表示為式（6）。

1.3.1.3 邊緣擬合

通過以上幾個步驟處理后，已經(jīng)初步獲得了紅提串表面的顆粒位置及圖像輪廓，要想得到單粒紅提的輪廓尺寸，需要對識別到的果粒進行檢測。由于成熟紅提果粒為非標準橢球形、果粒之間相互堆疊、紅提表面存在光斑等干擾因素影響，若直接進行多橢圓檢測，將會產(chǎn)生大量的無效計算且效果不佳；因此本研究采用基于梯度分割的隨機最小二乘橢圓擬合的方法對紅提進行擬合，即通過梯度分割的方法截取每粒果粒輪廓，再通過隨機最小二乘橢圓擬合對果粒進行逐一擬合。

梯度分割：通過大量的統(tǒng)計紅提圖片，發(fā)現(xiàn)紅提的外形處于半徑范圍在Rmin和Rmax的圓環(huán)內(nèi)，故截取每粒紅提在圓環(huán)范圍內(nèi)的像素點，其中一串中第8粒果粒及其處理結果如圖5所示。

圖 5 第8粒紅提Fig. 5 The 8th grape

由圖5可以看出，紅提果粒相互堆疊，相鄰果粒輪廓之間互相干擾，其嚴重影響到單粒紅提的橢圓識別。經(jīng)觀察發(fā)現(xiàn)，屬于不同果粒的輪廓線上的點的梯度方向差距很大，故引用了梯度法[24-26]。

梯度對應的是一階微分，函數(shù)圖像在某一點的梯度是一個向量，其方向與最大的方向導數(shù)相同，與邊緣點方向垂直。在二維圖像中，設f（x，y）為連續(xù)圖像函數(shù)，其在點（x，y）處的梯度是一個矢量，其方向角按公式（7）計算。

在數(shù)字圖像中，用差分來代替偏導數(shù)，由于邊緣檢測采用的是Sobel邊緣檢測的方法，故采用Sobel梯度差分法，圖6a中顯示3×3大小的區(qū)域灰度值，其中Z1～Z9分別表示3×3區(qū)域內(nèi)的灰度值，圖6b為兩個偏導數(shù)的相應模版，每個數(shù)字對應Z1～Z9的卷積因子，計算邊緣輪廓點偏導數(shù)Gx和Gy的公式如式（8）、（9）。

圖 6 Sobel算子模型Fig. 6 Model of Sobel operator

將紅提果粒近似看作球形，利用極坐標的形式來近似表示出紅提果粒中心坐標（式（12）、（13））。

式中：rm為果粒半徑的估計值；x、y為輪廓像素點的坐標值；a、b為邊緣輪廓像素點所計算的圓心坐標值，將式（10）、（11）中的正弦、余弦值代入（12）、（13）即可計算圓心坐標值。

理論上，若像素點（x，y）為該圓輪廓的一部分，則a、b值必為圓心的坐標值，但由于大部分果粒輪廓為橢球形，且只知道定位圓心的估計值O（ai，bi），故可選取合適閾值δ，若由梯度計算而來的圓心坐標（a，b）與O（ai，bi）的距離平方的誤差范圍在[0，δ]內(nèi)，可將像素點f（x，y）作為該粒紅提的輪廓，否則去掉該干擾點，計算公式如式（14）所示。

式中：A（x，y）為該粒紅提的真實輪廓。紅提串中任意4 粒處理的效果如圖7所示。

圖 7 梯度分割后的果粒Fig. 7 Grapes after gradient segmentation

隨機最小二乘橢圓擬合：最小二乘橢圓擬合是一種通過最小化誤差的平方尋找橢圓點的最優(yōu)估計技術[27-28]。通過梯度法去除干擾弧段之后，仍然存在有果粒輪廓重疊嚴重的現(xiàn)象，若直接使用最小二乘橢圓擬合的方法擬合果粒會出現(xiàn)較大誤差，本研究采用隨機最小二乘橢圓擬合的方法[29-30]，具體的步驟如下。

1）將取得的第m粒果粒的輪廓邊緣坐標存入坐標點集An中，設置最大迭代次數(shù)N，覆蓋率閾值Pr，將可能的果粒邊緣點集L0、L1設置為空集。

2）在邊緣點集An中隨機選取5 點坐標，若所取的5 點滿足不共線，且任意兩點之間相隔一定距離，則將5 點存入邊緣點集Am中，若不滿足條件，則重新選取5 點。

3）將邊緣點集Am中的5 點進行最小二乘橢圓擬合，并得到可能的橢圓方程（公式（15））。

遍歷邊緣點集An中剩下的點帶入公式（16）中。

式中：d代表第n粒果粒的邊緣點集到可能橢圓的代數(shù)距離集合。統(tǒng)計集合d中距離小于閾值Ts的對應的像素點坐標并保存于L1中，若L1點集的個數(shù)占邊緣點集An個數(shù)的比例大于覆蓋率閾值Pr，則執(zhí)行4），否則執(zhí)行2）。

4）若點集L1的個數(shù)大于點集L0的個數(shù)，則將L1賦值于L0，否則，則將L1置空。

5）重復循環(huán)步驟2）～4），若循環(huán)次數(shù)n＞N，則程序結束，獲取輪廓邊緣點集L0，并將其進行最小二乘橢圓擬合。

在圖8中，分別用直接最小二乘法和隨機最小二乘法對果粒1（圖8a）和2（圖8c）進行橢圓擬合，圖8b和圖8d為對應的擬合效果，紅線為直接最小二乘擬合線，綠線為隨機最小二乘擬合線。

圖 8 兩種算法的擬合效果比較Fig. 8 Comparison of fitting effects of two algorithms

由擬合效果可知，隨機最小二乘法更能容忍樣本點的差異，有較強的抗干擾能力。采用隨機最小二乘的方法對整串紅提進行擬合，其擬合效果如圖9所示。

圖 9 整串紅提的擬合效果Fig. 9 Fitting effect of a bunch of grapes

2 結果與分析

2.1 紅提尺寸參數(shù)轉換

由于紅提串表面果粒不在同一個平面上，其近似為一個球面，故不同位置的果粒距離鏡頭的距離也不一樣，因此本研究采取分層轉換的方法將紅提的像素尺寸轉換為實際尺寸，并根據(jù)紅提的外層和內(nèi)層分別計算。

如圖10所示，遍歷紅提粒的中心，若其距離x或y方向上的紅提串邊界輪廓的最小值小于設定的閾值Dmin，則將其判定為外層果粒，否則為內(nèi)層果粒。內(nèi)外層果粒通過小孔成像的原理將像素尺寸乘以不同的系數(shù)轉換為實際尺寸。

2.2 分級標準及方法驗證

在實際生產(chǎn)中，紅提人工分級方法是在紅提串表面靠近底部隨機選取10 顆紅提果粒，用不同直徑套圈來檢測，出現(xiàn)次數(shù)最多的等級即為該串紅提的等級。參照DB 65/T 2832—2007《紅地球葡萄分級標準》（表1），其中后兩行是對應的像素值分級標準。

本研究選取42 串成熟的新疆紅提來驗證本研究方法，再將實際尺寸分級標準轉換為像素尺寸分級標準，并將其分級。在分級的過程中，采用15%幅度的降級原則，即被檢測出的一級果偏多，但二級果占比超過15%，那么該串紅提為二級果，依次類推。參照人工分級結果，使用本研究方法正確分級38 串紅提，分級正確率達到了90.48%。其中第8串紅提實驗結果如表2所示。

表 1 紅提大小分級標準Table 1 Criteria for grape size grading

表 2 第8串紅提實驗數(shù)據(jù)Table 2 Results of the detection of the 8th grape

3 討 論

本研究采用基于圖像處理的方法對整串紅提進行大小尺寸的分級，正確率達到了90.48%。出現(xiàn)錯判的原因可能有：在果粒的定位方法中，依據(jù)果粒的反光特性，運用基于形態(tài)學的開閉重構運算獲得果粒中心的大致位置，但由于不同的紅提串果粒的緊密度不同，有的果粒可能被遮擋較為嚴重，此時應用該算法檢測不到反光點，故無法定位到該果粒，導致提取到的該串有效果粒樣本數(shù)量減少，這可能造成分級錯誤。此外，在擬合果粒的方法中，采用隨機最小二乘的方法能有效地擬合出圖像中的果粒，相比與其他算法效果更好，但在實際實驗中，果粒的形狀并非標準的橢圓，且少量為畸形，連人工測量也無法準確獲得其尺寸，這也使實際結果與測量結果有差異，從而導致分級錯誤。

采用歸一化超綠法能有效地去除紅提串中綠色果梗信息，相比于其他方法，其更簡單，且具有魯棒性和準確性。

基于形態(tài)學的開閉重構算法不僅能使果粒表面細密紋理和部分噪聲引起的偽局部極小值被去除，并保留重要的亮度極值信息，根據(jù)亮度極值區(qū)域能有效地定位紅提串表面的果粒。

在提取單粒果粒時，采用梯度分割法的方法能去除大部分目標果粒以外的干擾弧段，縮短后續(xù)橢圓檢測的運算時間。由于紅提的形狀為非標準橢圓，且存在少量覆蓋嚴重的干擾弧線，若直接進行最小二乘橢圓擬合將產(chǎn)生較大偏差，本研究采用隨機最小二乘橢圓檢測的方法，通過約束點與橢圓的代數(shù)距離，獲取有效的邊緣點，使紅提輪廓精準擬合，實現(xiàn)了整串紅提的正確分級，分級準確率為90.48%。