基于機(jī)器視覺的育秧盤裂縫缺陷檢測(cè)方法研究

馬 旭，袁志成，王宇唯，季傳棟，溫志成，鄧向武

（華南農(nóng)業(yè)大學(xué) 工程學(xué)院，廣州 510642）

0 引言

水稻是我國主要糧食作物之一，水稻生產(chǎn)機(jī)械化是水稻生產(chǎn)發(fā)展的主要方向，提高水稻生產(chǎn)全程機(jī)械化水平是保障國家糧食安全、增強(qiáng)農(nóng)業(yè)綜合生產(chǎn)能力、增加農(nóng)業(yè)收入和推進(jìn)農(nóng)業(yè)現(xiàn)代化的重要舉措之一[1-3]。長期以來，水稻種植機(jī)械化是我國水稻生產(chǎn)機(jī)械化的薄弱環(huán)節(jié)[4-6]，水稻機(jī)械化種植方式主要有移栽和直播[7-11]，其中機(jī)移栽的主要環(huán)節(jié)是育秧，本文主要從育秧的角度來研究育秧機(jī)上的育秧盤。隨著水稻工廠化育秧技術(shù)日趨成熟，育秧盤是水稻育秧的載體，更是播種育秧生產(chǎn)線不可缺少的一部分，但因育秧盤長期使用或運(yùn)輸不當(dāng)易出現(xiàn)破損，所以嚴(yán)重地影響高效自動(dòng)化精密播種育秧生產(chǎn)線在自動(dòng)供盤與疊盤的成功率[12]。為了減少誤操作，目前主要采用人工挑選育秧盤作業(yè)，但由于選擇標(biāo)準(zhǔn)差異大、工作強(qiáng)度高，誤判多，因而嚴(yán)重地影響了育秧質(zhì)量，以及育秧生產(chǎn)線的生產(chǎn)效率。育秧盤破損的主要形式有斷裂和翹曲，其中以斷裂為主，而斷裂主要由裂縫產(chǎn)生，如果裂縫過大，會(huì)使種子和土外灑，影響自動(dòng)供盤與疊盤作業(yè)。因此，進(jìn)行育秧盤裂縫缺陷的分析研究，及時(shí)發(fā)現(xiàn)破損的育秧盤，并對(duì)其進(jìn)行動(dòng)態(tài)、實(shí)時(shí)監(jiān)控，對(duì)工廠化自動(dòng)育秧生產(chǎn)線的應(yīng)用具有重要的意義。

目前，裂縫缺陷的檢測(cè)方法主要包括射線檢測(cè)、超聲波檢測(cè)及漏磁檢測(cè)等[13]。近年來，國內(nèi)外許多學(xué)者將機(jī)器視覺技術(shù)運(yùn)用到物體表面缺陷檢測(cè)中，并取得了一定的成效。徐歡等[14]在路面裂縫檢測(cè)中，利用CCD攝像機(jī)采集視頻圖像，提出一種基于OpenCV開源平臺(tái)及改進(jìn)canny算子的路面裂縫檢測(cè)技術(shù)，通過對(duì)canny算子的分析與研究，找到其存在的缺陷，利用形態(tài)學(xué)濾波對(duì)原有的濾波方式進(jìn)行改進(jìn)，使用ostu算法實(shí)現(xiàn)雙閾值的自適應(yīng)獲取。許志文等[15]利用中值濾波，基于二維類間方差多門限分割等算法，實(shí)時(shí)自動(dòng)檢測(cè)出工業(yè)自動(dòng)化生產(chǎn)線過程中的常見布匹破損，能夠顯示出布匹破損的位置、面積等信息，并能對(duì)破損圖像數(shù)據(jù)存儲(chǔ)管理，同時(shí)發(fā)出報(bào)警信息。A.Cubero-Fernandez等[16]通過對(duì)大量道路的裂縫圖片進(jìn)行對(duì)數(shù)變換、雙邊濾波、canny邊緣檢測(cè)和形態(tài)學(xué)濾波等預(yù)處理，然后再應(yīng)用分類決策樹算法對(duì)圖像進(jìn)行分類，使得公路維護(hù)設(shè)備能夠更好更快更準(zhǔn)確地對(duì)公路進(jìn)行維護(hù)和修補(bǔ)。Pejman Mehran等[17]利用機(jī)器視覺自動(dòng)檢測(cè)方法，快速準(zhǔn)確地檢測(cè)了澆鑄成形水管機(jī)械加工表面的破損邊緣，具體采用模糊C均值聚類算法，提出了一種模糊破損邊緣檢測(cè)模型，能夠?qū)λ鼙砻嫫茡p邊緣進(jìn)行分類?？梢钥闯?，機(jī)器視覺檢測(cè)技術(shù)是一種成本低、非接觸、抗干擾能力強(qiáng)及高效率的檢測(cè)方法，具有良好的可行性。

本研究以育秧盤裂縫缺陷為研究對(duì)象，結(jié)合灰度化處理、自適應(yīng)閾值處理、形態(tài)學(xué)運(yùn)算、中值濾波和最小外接矩形等方法，對(duì)育秧盤的裂縫進(jìn)行處理并標(biāo)記出來，為育秧盤裂縫的檢測(cè)和判定奠定基礎(chǔ)。

1 實(shí)驗(yàn)平臺(tái)搭建與圖像采集

實(shí)驗(yàn)在華南農(nóng)業(yè)大學(xué)工程學(xué)院國家水稻產(chǎn)業(yè)技術(shù)體系設(shè)施與設(shè)備教研室進(jìn)行，實(shí)驗(yàn)平臺(tái)如圖1所示。育秧盤的尺寸為600 mm×300 mm×30 mm，在光箱內(nèi)利用羅技C270高清攝像頭采集育秧盤的裂縫圖像。試驗(yàn)采集了育秧盤裂縫缺陷圖像信息，且成像清晰。計(jì)算機(jī)硬件配置為：Intel（R）Core（TM）i7-4790 CPU @ 3.6 GHz，4.00 GB 內(nèi)，Intel（R）HD Graphics 4600顯卡。計(jì)算機(jī)軟件環(huán)境為功能強(qiáng)大的圖像處理軟件Visual Studio 2013，結(jié)合OpenCV開源跨平臺(tái)視覺庫，使得圖像處理開發(fā)變得更加方便、快捷。

圖1 實(shí)驗(yàn)平臺(tái)示意圖Fig.1 The schematic diagram of experimental platform

2 育秧盤裂縫檢測(cè)方法

2.1 圖像灰度化

彩色圖像的灰度化就是使彩色圖像的R、G、B分量值相等的過程。圖像灰度化的方法有如下幾種：

1）最大值法：使灰度值等于原始圖像像素R、G、B三個(gè)值中最大的一個(gè)，即

2）平均值法：使灰度值等于原始圖像像素R、G、B的均值，即

3）加權(quán)平均值法：根據(jù)重要性或其他指標(biāo)給R、G、B賦予不同的權(quán)值，并使灰度值等于原始圖像像素R、G、B值得加權(quán)平均，即

式中 Q1、Q2、Q3分別為R、G、B的權(quán)值，取不同的Q1、Q2、Q3，將形成不同的灰度圖像。

本實(shí)驗(yàn)選取的是平均值法，灰度化結(jié)果如圖2所示：

圖2 灰度化結(jié)果Fig.2 The gray image of defective seedling tray

2.2 自適應(yīng)閾值處理

在對(duì)各種圖形進(jìn)行處理操作的過程中，常常需要對(duì)圖像中的像素做出取舍與決策，直接剔除一些低于或者高于一定值的像素。

閾值可以被視作最簡(jiǎn)單的圖像分割方法。比如，從一幅圖像中利用閾值分割出我們需要的物體部分（當(dāng)然這里的物體可以是一部分或者整體）。這樣的圖像分割方法基于圖像中物體與背景之間的灰度差異，而且此分割屬于像素級(jí)的分割。為了從一幅圖像中提取出我們需要的部分，應(yīng)該用圖像中的每一個(gè)像素點(diǎn)的灰度值與選取的閾值進(jìn)行比較，并作出相應(yīng)的判斷。但閾值的選取依賴于具體的問題，即物體在不同的圖像中有可能會(huì)有不同的灰度值。

根據(jù)每個(gè)育秧盤不同的裂縫信息，需要用到自適應(yīng)閾值處理。由圖3可知，在通過自適應(yīng)閾值處理之后，得到育秧盤裂縫的基本信息。

圖3 自適應(yīng)閾值處理Fig.3 The result of adaptive threshold

2.3 形態(tài)學(xué)處理

形態(tài)學(xué)一詞通常表示生物學(xué)的一個(gè)分支，該分支主要研究動(dòng)植物的形態(tài)和結(jié)構(gòu)。而圖像處理中的形態(tài)學(xué)，往往指的是數(shù)學(xué)形態(tài)學(xué)[18]。數(shù)學(xué)形態(tài)學(xué)是一門建立在格論和拓?fù)鋵W(xué)基礎(chǔ)之上的圖像分析學(xué)科，是數(shù)學(xué)形態(tài)學(xué)圖像處理的基本理論，其基本的運(yùn)算包括腐蝕和膨脹。

簡(jiǎn)單來講，形態(tài)學(xué)操作就是基于形狀的一系列圖像處理操作。OpenCV為進(jìn)行圖像的形態(tài)學(xué)變換提供了快捷、方便的函數(shù)。最基本的形態(tài)學(xué)操作有兩種，分別是：膨脹與腐蝕。而腐蝕和膨脹是對(duì)白色部分（高亮部分）而言，不是黑色部分。膨脹是圖像中的高亮部分進(jìn)行膨脹，類似于“領(lǐng)域擴(kuò)張”，效果圖擁有比原圖更大的高亮區(qū)域；腐蝕是原圖中的高亮部分被腐蝕，類似于“領(lǐng)域被蠶食”，效果圖擁有比原圖更小的高亮區(qū)域。

從數(shù)學(xué)角度來說，膨脹或者腐蝕操作就是將圖像（或圖像的一部分區(qū)域，稱之為A）與核（稱之為B）進(jìn)行卷積。核可以是任何形狀和大小，它擁有一個(gè)單獨(dú)定義出來的參考點(diǎn)，我們稱其為錨點(diǎn)。多數(shù)情況下，核是一個(gè)小的，中間帶有參考點(diǎn)和實(shí)心正方形或者圓盤。而膨脹就是求局部最大值的操作。核B與圖形卷積，即計(jì)算核B覆蓋的區(qū)域的像素點(diǎn)的最大值，并把這個(gè)最大值賦給參考點(diǎn)指定的像素。這樣就會(huì)使圖像中的高亮區(qū)域逐漸增長，如圖4所示，這就是膨脹的初衷。

圖4 膨脹操作原理Fig.4 The theory of morphological dilation

由上一步處理過后的圖片可以知道，有些裂縫的區(qū)域未連通，這里采用膨脹對(duì)其進(jìn)行操作，使裂縫區(qū)域能夠連通并擴(kuò)大，有利于下一步識(shí)別過程，如圖5所示。

圖5 膨脹效果圖Fig.5 The image after dilating

2.4 中值濾波

圖像濾波，旨在盡量保留圖像細(xì)節(jié)特征的條件下對(duì)目標(biāo)圖像的噪聲進(jìn)行抑制，是圖像預(yù)處理中不可缺少的操作，其處理效果的好壞將直接影響到后續(xù)圖像處理和分析的有效性和可靠性。圖像濾波的目的有兩個(gè)：一個(gè)是抽出對(duì)象的特征作為圖像識(shí)別的特征模式；另一個(gè)是為適應(yīng)圖像處理的要求，消除圖像數(shù)字化時(shí)所混入的噪聲。而對(duì)濾波處理的要求也有兩條：一是不能損壞圖像的輪廓及邊緣等重要信息；二是使圖像清晰視覺效果好。

常用的圖像濾波器主要有線性濾波操作的方框?yàn)V波、均值濾波、高斯濾波，非線性濾波操作的中值濾波和雙邊濾波。本實(shí)驗(yàn)采用的是非線性濾波操作的中值濾波，主要是因?yàn)橹兄禐V波在一定的條件下可以克服常見線性濾波器，如最小均方濾波、方框?yàn)V波、均值濾波等帶來的圖像細(xì)節(jié)模糊，而且對(duì)濾波脈沖干擾及圖像掃描噪聲非常有效，也常用于保護(hù)邊緣信息。

它的基本思想是用像素點(diǎn)鄰域灰度值的中值來代替該像素點(diǎn)的灰度值，該方法在去除脈沖噪聲、椒鹽噪聲的同時(shí)又能保留圖像的邊緣細(xì)節(jié)。具體步驟如下：

1）取3×3的函數(shù)窗，計(jì)算以點(diǎn)[i, j]為中心的函數(shù)窗像素中值。

2）按強(qiáng)度值大小排列像素點(diǎn)。

3）選擇排序像素集的中間值作為點(diǎn)[i, j]的新值。

一般采用奇數(shù)點(diǎn)的鄰域來計(jì)算中值，但像素點(diǎn)數(shù)為偶數(shù)時(shí)，中值就取排序像素中間兩點(diǎn)的平均值。如圖6所示，是中值濾波過后的效果圖，可以看出噪聲點(diǎn)很好地被去除了。

圖6 中值濾波效果圖Fig.6 The image after median filtering

2.5 區(qū)域標(biāo)記

濾波過后的圖像，沒有了噪聲點(diǎn)，但是要進(jìn)行裂縫的區(qū)域標(biāo)記，需要只保留裂縫的連通區(qū)域，于是采用一個(gè)面積濾波，即半徑小于等于3個(gè)像素的連通區(qū)域都將其置0（黑），結(jié)果如圖7所示。

圖7 面積濾波效果圖Fig.7 The result of area filtering

剩下的裂縫連通區(qū)域采用遍歷圖像矩陣法，查找最大連通區(qū)域，并將最大連通區(qū)域用最小外接矩形標(biāo)記出來。如圖8所示，圖像中物體的外接矩形計(jì)算方法通常有兩種：

圖8 外接矩形Fig.8 The enclosing rectangle

1）直接計(jì)算方法和等間隔旋轉(zhuǎn)搜索方法。直接計(jì)算方法通過計(jì)算圖像中物體分布坐標(biāo)的最大、最小值所得，顯然該矩形通常不能準(zhǔn)確描述區(qū)域的分布。

2）等間隔旋轉(zhuǎn)搜索方法將圖像物體在90°范圍內(nèi)等間隔地旋轉(zhuǎn)，每次記錄其輪廓在坐標(biāo)系方向上的外接矩形參數(shù)，通過計(jì)算外接矩形面積求取最小外接矩形。

第1步：按照直接計(jì)算方法計(jì)算某個(gè)輪廓區(qū)域的外接矩形，并記錄外接矩形長度、寬度和面積，獲取最小外接矩形RectMin，并得到其面積值賦給變量AreaMin，設(shè)置旋轉(zhuǎn)角度α=0°；

第2步：對(duì)輪廓區(qū)域進(jìn)行旋轉(zhuǎn)一個(gè)角度θ，按照第1步求取旋轉(zhuǎn)后的最小外接矩形RectTmp，獲得其面積值賦給變量AreaTmp；

第3步：設(shè)置旋轉(zhuǎn)角α=α+θ，比較AreaTmp和AreamMin的大小，將小面積值賦給AreaMin，并將此時(shí)的旋轉(zhuǎn)角賦值給β=α，矩形信息賦給RectMin=RectTmp；

第4步：循環(huán)執(zhí)行第2、3步的過程，最終獲取一個(gè)最小的外接矩形RectMin以及與之相對(duì)應(yīng)的旋轉(zhuǎn)角度α；

第5步：將計(jì)算出的矩形RectMin反旋轉(zhuǎn)一個(gè)β角度，獲得最小外接矩形。

由最小外接矩形可以將裂縫的區(qū)域給標(biāo)記出來，結(jié)果如圖9所示。

圖9 裂縫的區(qū)域標(biāo)記Fig.9 The marked crack

3 秧盤試驗(yàn)結(jié)果與分析

在試驗(yàn)之前需要進(jìn)行育秧盤合格與不合格的標(biāo)定，通過種子和土壤的外灑率和裂縫長寬的關(guān)系來標(biāo)定育秧盤是否合格，如果裂縫過長或者寬度過大，育秧盤里面的種子和土壤就會(huì)外灑，嚴(yán)重影響育秧質(zhì)量，這樣的育秧盤應(yīng)該判定其為不合格。為此，采集了多組育秧盤的裂縫長度和寬度數(shù)據(jù)進(jìn)行試驗(yàn)分析，如表1所示。

表1 育秧盤的判定準(zhǔn)則Tab.1 The calibration of seedling tray

根據(jù)表1的數(shù)據(jù)，我們可以判定育秧盤是否合格，然后再把判斷好的合格與不合格的育秧盤拿去檢測(cè)，對(duì)比試驗(yàn)驗(yàn)證識(shí)別正確率。

試驗(yàn)時(shí)，采集了267幅合格與不合格育秧盤圖像，并對(duì)其進(jìn)行檢測(cè)。試驗(yàn)結(jié)果如表2所示。

通過試驗(yàn)數(shù)據(jù)分析可知 ，合格秧盤的正確識(shí)別率還是很高的，而不合格秧盤的正確識(shí)別率比較低。

由于每個(gè)育秧盤的裂縫的長寬和位置都不相同，以及上面的泥土信息復(fù)雜沒有規(guī)律，色差相差也不大。尤其是當(dāng)裂縫的長度或?qū)挾缺容^小，不合格育秧盤容易在圖像處理過程中出現(xiàn)圖像數(shù)據(jù)丟失或者圖像數(shù)據(jù)冗余，以至于出現(xiàn)誤判，將不合格的育秧盤判定為合格的育秧盤，造成識(shí)別正確率下降。

表2 秧盤試驗(yàn)結(jié)果Tab.2 The result of seedling tray test

4 結(jié)論

1）以水稻育秧盤裂縫RGB圖像為研究對(duì)象，進(jìn)行平均值灰度化法取得灰度圖像后，采用自適應(yīng)閾值處理算法將得到的灰度圖像進(jìn)行二值化，較好地分割和保留了裂縫信息。

2）通過對(duì)二值化的圖像進(jìn)行形態(tài)學(xué)膨脹，使得斷裂處的裂縫能夠連通，并通過中值濾波使噪聲能夠得到較好的去除，最后通過最小外接矩形進(jìn)行區(qū)域標(biāo)記，能夠使裂縫信息標(biāo)記出來。試驗(yàn)結(jié)果表明，該方法對(duì)育秧盤裂縫的正確識(shí)別率為94.38%。