果實圖像質量無損檢測方法研究

羅超群 王錚 王蕾

（東華理工大學信息工程學院，南昌，330013）

0 引言

中國是世界上最大的水果出產(chǎn)國，其水果年產(chǎn)量超過1000萬t，而且世界上大部分的熱帶水果均是中國大宗的品種。目前，水果產(chǎn)業(yè)已成為僅次于糧食和蔬菜的第三大農(nóng)業(yè)種植產(chǎn)業(yè)，未來中國水果的銷量還將持續(xù)增長。不過，水果會因為生長、收貨或運輸?shù)冗^程中受到不同程度的損害，提前對水果進行檢測可以提高水果的平均質量，但人工檢測成本高，而且效率低下，故本文基于圖像處理技術，設計出一種果實圖像表面質量檢測系統(tǒng)。

該系統(tǒng)使用VC++6.0軟件，通過對果實圖像的灰度化和濾波算法處理，實現(xiàn)對水果的高效率、高精度的篩選。

1 研究現(xiàn)狀與發(fā)展

1.1 我國水果生產(chǎn)現(xiàn)狀與發(fā)展

近年來，為了滿足消費者對水果的需求，我國的水果產(chǎn)量在不斷增加。根據(jù)世界糧農(nóng)組織的統(tǒng)計數(shù)據(jù)，全球的蘋果產(chǎn)量在不斷提升，由2000年的5913萬t增長至2016年的8868萬t[1]。我國是世界上最大的水果生產(chǎn)國之一，其水果產(chǎn)量超過全世界的10%。雖然中國的水果產(chǎn)量很大，但是在國際市場上的價格卻被壓得很低[2]。其主要原因是我國沒有完整的水果分級制度，水果的商品化程度較低，導致在國際市場上的競爭力下降，自然得不到一個滿意的價格。市場現(xiàn)狀說明，水果的分類和后加工是提高產(chǎn)品價值的重要因素。近幾年，我國的水果分類和后加工處理行業(yè)發(fā)展迅速，特別是基于圖像處理技術的使用，能快速實現(xiàn)水果分類。

1.2 基于數(shù)字圖像處理的水果商品化研究現(xiàn)狀

在早期，國外利用計算機技術對水果進行分級的研究，以蘋果為研究對象，研究者利用CCD相機采集蘋果的外部品質信息，再使用計算機進行數(shù)據(jù)分析，之后根據(jù)制定的標準對每一個蘋果進行逐一初步分析和判別，最后得到較為準確的數(shù)據(jù)。后來，人工神經(jīng)網(wǎng)絡技術的誕生為數(shù)字圖像處理和現(xiàn)實世界提供了更加便利的條件，它可以將模仿生物大腦結構和功能得到的信息轉化為計算機能夠處理的圖像信息，極大地提高了果實圖像品質檢測的準確性和智能性。

高精度的圖像是機器視覺系統(tǒng)提取數(shù)據(jù)的必要條件之一，為了更好地取得能提供足夠有效的外觀品質特征信息的圖像，發(fā)達國家的研究者通過對水果的傳輸、水果定向和傳感器設計等方面進行大量的研究，取得了很多的研究成果。實驗研究表明，可以采用高光譜和多光譜的技術方法快速得到高精度的圖像，其中，高光譜圖像具有光譜分辨率高的特點，能夠精確獲得水果外觀特征光譜段，可清楚地分辨水果品質的缺陷、污點等，但是該方法也會造成水果識別的誤判，比如，將果梗和花萼的成像誤判為蘋果的損壞區(qū)域。經(jīng)過Throop等人對高光譜圖像方法的完善，設計出對果梗和花萼不可見的傳送機器，其解決方法是讓水果傾斜45°并旋轉以減少誤判問題對圖像精度的影響。

中國農(nóng)業(yè)大學籍保平教授的項目組也研發(fā)了一套機器視覺水果分級系統(tǒng)，該系統(tǒng)利用簡單算法可以對水果的外部缺陷、色澤、尺寸和形狀進行全面檢測，在此基礎上，再對水果進行分級，其缺陷檢測采用界面合成技術和近紅外技術，可保證檢測的精度和速度[3]。

色彩是衡量水果品質好壞的重要指標之一，已經(jīng)有大量的國內(nèi)外學者通過數(shù)字圖像處理技術手段，對水果顏色進行研究，并取得了很大的進展?；跀?shù)字圖像處理技術原理是使用機器視覺取代人眼對水果顏色進行判斷，更加客觀地采集水果的顏色信息，再將其顏色信息送到檢測系統(tǒng)，由該系統(tǒng)對接受的特征信息進行運算和處理，進而判斷出水果的品質[4]。通過機器視覺系統(tǒng)可以極大程度地消除人工處理帶來的不良影響，避免不同的人工判別，使檢測精確度和效率大大提高。

2 果實圖像表面質量檢測系統(tǒng)

本文設計的果實圖像表面質量檢測系統(tǒng)以蘋果作為研究對象，該系統(tǒng)的功能是對蘋果的損壞處進行識別并標出，實現(xiàn)了對蘋果圖片的背景消除、灰度化、3×3卷積的濾波（一種濾波器的卷積核模板）等處理，最終對圖片中蘋果的損壞區(qū)域進行定位。

圖像處理是蘋果樣本圖像表面質量檢測系統(tǒng)的重要組成部分之一。在該系統(tǒng)中，蘋果的表面檢測分為預處理、顏色參數(shù)提取、定位損壞區(qū)域等部分。其中，預處理包括蘋果樣本圖分割、灰度化和中值濾波等。果實圖像表面質量檢測預處理流程如圖1所示。

圖1 果實圖像表面質量檢測預處理流程圖

果實圖像表面質量檢測系統(tǒng)在采集信息時，不僅會采集到蘋果本身的信息，還有其背景信息。所以需要把蘋果從背景中分離出來，并對采集到的蘋果圖像信息進行初步研究，進而實現(xiàn)圖像的預處理。

在圖像輸入后，該檢測系統(tǒng)處理的第一步便是預處理，這是蘋果表面質量檢測的基礎。通過圖像預處理，可提高圖像質量和顏色信息，有利于后續(xù)的操作處理工作。

2.1 顏色表達

顏色是光作用到某些物體上經(jīng)過反射后，由人眼接收的視覺特性。人們用肉眼能夠看到的光線，只是一段波長范圍很窄的電磁波所產(chǎn)生的效果。在顏色的定義中，不同波長的電磁波可作為不同的顏色的能量體現(xiàn)。

2.2 顏色系統(tǒng)

按照標準的顏色劃分，顏色系統(tǒng)大致可分為三種：顯色系、色光混色系、顏料混色系。其中，以視覺等距為標準，常見的顯色系包括蒙賽爾、NCS等。

2.3 顏色模型

在顏色模型的定義中，能見到的所有的顏色模型都是所處空間的所有可見光的子集，不同的模型表示不同區(qū)域的色彩。常見的顏色模型有HSV、HSI、RGB、CMYK、HSL、HSB等。本文采用HSV和RGB這兩種模型進行研究。

3 實驗結果分析

3.1 數(shù)據(jù)來源及開發(fā)工具

在數(shù)字圖像處理研究實驗中，研究者通常將實驗器材搭建在固定的環(huán)境中，以減少環(huán)境對實驗造成的影響。本文的實驗數(shù)據(jù)是從百度圖庫（http://image.baidu.com/）中選取的若干張所需的BMP圖像，如圖2所示。BMP圖像是指BMP格式的一種位圖文件，即24位真彩圖，適用于圖像處理方面。本文采用的開發(fā)工具為Microsoft Visual C++（簡稱Visual C++、MSVC、VC++或VC），類庫為微軟基礎類庫（Microsoft Foundation Classes，簡稱MFC）。

圖2 蘋果BMP圖像

3.2 樣本分割

本系統(tǒng)獲得的圖像信息包括背景和蘋果兩個部分。為了對圖像信息進行更準確的處理，消除背景產(chǎn)生的影響，首先需要將蘋果從背景中分割出來，對其進行單獨研究。

圖像分割是將一副圖像中性質不同的區(qū)域分開。因為蘋果樣本圖像分割會直接影響最終結果，故圖像分割是圖像處理中最基礎和最重要的過程之一。本系統(tǒng)采用閾值分割技術，經(jīng)過試驗發(fā)現(xiàn)，作為分割的數(shù)值有兩個：圖像顏色飽和度和R-G（或R-B）數(shù)值之差。

RGB色彩模式是工業(yè)界的一種顏色標準，是通過對紅(R)、綠(G)、藍(B)3個顏色通道的變化以及它們相互之間的疊加來得到各式各樣的顏色。R、G、B分別代表紅、綠、藍3個通道的顏色，這一標準幾乎包括了人類視力所能感知的所有顏色，是運用最廣的顏色系統(tǒng)之一。

圖像顏色飽和度是通過將BMP位圖中的RGB數(shù)值，轉化為HSV數(shù)值中的S值。HSV（Hue, Saturation, Value）是根據(jù)顏色的直觀特性創(chuàng)建的一種顏色空間,其中，H表示色調(diào)、S表示飽和度、V表示明度。

RGB轉為HSV的公式如下：

色調(diào)計算：

飽和度計算：

明度計算：

該方法可判斷圖像中每一個像素的飽和度，并以平均飽和度為閾值。由于蘋果的飽和度遠大于背景的飽和度，故將每一個小于該閾值的像素RGB賦值為0，即變?yōu)楹谏?，這樣可將大部分背景和樣本圖像分開。

R-G閾值法是將R-G的閾值T定為10，若當前像素點R-G數(shù)值小于10，則判斷該像素在背景區(qū)域中，并賦值為0。該方法可以將蘋果在飽和度較高的背景中分割開來，適用于更加復雜的背景情況。

圖3 去除背景

3.3 灰度化

當彩色圖像中的R、G、B三個表示色彩信息分量的值相等時，即為灰度圖像。所以通常的灰度圖像只存在一個灰度值。為了后續(xù)的蘋果樣本圖像信息處理可以更加方便，通常對要研究的蘋果圖像進行灰度化處理[5]?；叶然幚碇饕?種方法，具體如下。

1）最大值法。

最大值法是取用蘋果圖像中R、G、B三個色彩信息分量的最大值作為灰度圖的灰度值f，即：

由于該方法是取最大值，得到的蘋果灰度化圖像顯示效果較為明亮，所以該方法只適合偏暗的蘋果圖像。

2）平均值法。

平均值法是以R、G、B三個分量數(shù)值的平均值作為灰度值f。

利用平均值算法處理，可以使得蘋果灰度化圖像較為柔和，但并不能突出表面蘋果腐爛區(qū)域。

3）極差法。

極差法是通過計算R、G、B的最大值和最小值的差作為灰度值f，即：

該算法可以減少圖像因為亮度不同所產(chǎn)生的影響，適合亮度差異較大的圖像。

4）加權平均法。

根據(jù)R、G、B三個分量的重要性等指標賦予不同的權值然后加權平均化，即：

由于本文主要研究以紅色為主的蘋果樣本，所以可以將上式簡化為：

圖4為上述4種方法得到的灰度圖像，經(jīng)過比較，本文選擇加權平均法對圖像進行處理。

圖4 蘋果灰度化圖像

3.4 平滑空間濾波器

空間濾波可以到達去除高頻噪點，圖像邊緣增強、線性增強以及去模糊等的效果，同時可以增強當前蘋果灰度化圖像，改善圖像質量，在處理圖像領域起著舉足輕重的作用。

空間濾波器由一個鄰域和對該鄰域包圍的像素執(zhí)行的預定義操作組成。為了減少干擾信息，可以利用平滑空間濾波器對蘋果灰度化圖像進行平滑處理。常見的處理方法有以下兩種：1）3×3均值濾波器是通過對當前點和周圍8個點的灰度值平均計算，可消除突變點對圖像信息的影響，但缺點是會模糊當前的圖像；2）中值濾波器是將以圖像中一個點及其周圍8個點的灰度值進行排序，并將中值作為該點的灰度值[6]。

圖5 圖像空間濾波

從以上兩種方法得出的結果可以看出，雖然采用中值濾波器處理得到的濾波效果不如均值濾波好，但是中值濾波方法不僅能去除噪點，還能夠保持圖像邊界，所以本文的果實圖像表面質量檢測系統(tǒng)采用中值濾波方法。

3.5 蘋果圖像腐爛區(qū)域定位

通過實驗觀察發(fā)現(xiàn)，從蘋果的外觀來看，健康的蘋果區(qū)域顏色飽和度較高，且R分量值遠高于G分量值和B分量值，而腐爛的蘋果區(qū)域顏色的飽和度會降低，直到病變?yōu)楹谏Ｉ鲜龅幕叶然幚聿捎肦值灰度化，由于蘋果腐爛時R值會變化，因此可以利用平均閾值分割的方法，將低于平均一定比例的定位出來，實現(xiàn)蘋果腐爛區(qū)域的定位。

閾值分割算法通過將圖像分為若干個小區(qū)域并計算該區(qū)域的平均灰度值，如果該區(qū)域平均灰度值小于閾值，則定位出該區(qū)域，說明該區(qū)域為腐爛區(qū)域。

3.5.1 圖像的分割

本文采用圖像分割的方法最終定位出水果的腐爛區(qū)域，具體步驟是：將若干個腐爛的區(qū)域與健康的區(qū)域分開，然后分別對這些小區(qū)域進行判別，確認是否為所研究的腐爛區(qū)域，最后將每一個符合要求區(qū)域的彩色圖像進行輸出[7]。

首先計算出整個蘋果區(qū)域的平均灰度值T和每個小區(qū)域的灰度值t，以及整個蘋果區(qū)域的平均方差值F和每個小區(qū)域的方差值f，由于蘋果的健康區(qū)域的灰度值比腐爛區(qū)域的要高，所以通過比較T與t的大小，可以有效區(qū)分蘋果的健康區(qū)域與腐爛區(qū)域。另外，蘋果樣本圖像受場景亮度影響，所以本文采用通過給平均灰度值T加權的方法區(qū)分圖像的區(qū)域。

根據(jù)預處理圖像產(chǎn)生的結果，可以將灰度值為0的像素判斷位于背景區(qū)域，即只需要計算非0區(qū)域的灰度值就可以得到蘋果樣本的平均灰度值T，再根據(jù)方差的定義，得出若干數(shù)據(jù)的變化幅度。由于預處理圖像后仍然可能會存在噪聲影響腐爛區(qū)域的判斷，所以需要根據(jù)方差算法去掉灰度值變化較大的誤判區(qū)域。具體方法是：將圖像分為寬、高同時為10像素的若干個小區(qū)域，分別計算出這些小區(qū)域的平均灰度值t和方差f。

通過上述計算可以分別求出T、t、F、f的數(shù)值，經(jīng)過比較，最后輸出彩色的腐爛區(qū)域圖像。當t＜T×0.6且f＜F時，判斷該區(qū)域為腐爛區(qū)域，反之區(qū)域涂成白色，則可以輸出消除背景后腐爛區(qū)域的彩色圖像，如圖6所示。

圖6 腐爛區(qū)域圖像

3.5.2 圖像噪聲消除

從圖6中可以看出，圖像中存在著不同大小的噪點，它們會影響蘋果腐爛程度的信息，這噪點信息往往是不必要或多余的，即是圖像噪聲。這些噪聲的存在嚴重影響了后續(xù)系統(tǒng)對蘋果腐爛信息的判斷，因此對圖像進行腐爛區(qū)域定位處理之前，需采取一些方法來消除圖像噪聲。

1）腐蝕。

在形態(tài)學中，圖像腐蝕不僅具有去除圖像某些部分的作用，還可以將圖像中兩個物體分開。圖像中目標X用結構元素S腐蝕的結果是：使S在X中平移（x,y）后S（x,y）仍在X中的(x,y)的集合。

2）膨脹。

膨脹是指圖像的某些部分按照規(guī)律向外擴張，圖像膨脹可以將分開的物體連接成一個。

X用S膨脹的結果是：使S平移(x,y)后S（x,y）與X的交集不為空的(x,y)的集合。

3）開閉運算。

開運算：先對圖像進行腐蝕，然后膨脹其結果。

閉運算：先對圖像進行膨脹，然后腐蝕其結果。

將開運算和閉運算相結合（先開后閉、先閉后開）可當成是一個噪聲濾波器。

試驗結果對比圖如圖7所示，可以看出非腐爛區(qū)域的噪聲去除了。

圖7 去噪后腐爛區(qū)域圖像

4 總結

對蘋果外觀圖像信息的研究，尤其是對腐爛的蘋果區(qū)域進行定位，是蘋果表面檢測重要的內(nèi)容，本文對蘋果進行區(qū)域分割研究，重點研究蘋果腐爛區(qū)域的定位的算法過程。