基于圖像處理技術(shù)的扇貝尺寸及位置自動(dòng)識別

郭常有，曹廣斌，韓世成，蔣樹義

(中國水產(chǎn)科學(xué)研究院黑龍江水產(chǎn)研究所，黑龍江哈爾濱150070)

隨著中國水產(chǎn)養(yǎng)殖業(yè)的快速發(fā)展，貝類養(yǎng)殖已形成一定規(guī)模，僅遼寧省蝦夷扇貝增養(yǎng)殖面積就已達(dá)4萬 hm2，年產(chǎn)量10余萬 t，產(chǎn)值15億元以上［1］。貝類水產(chǎn)品在生產(chǎn)銷售過程中，需要將其按大小和品質(zhì)進(jìn)行分級，傳統(tǒng)的分揀方法以手工操作為主，屬于勞動(dòng)密集型工作，生產(chǎn)條件惡劣，勞動(dòng)強(qiáng)度高，效率低，易導(dǎo)致貝類新鮮程度下降，甚至?xí)霈F(xiàn)大量死亡的情況，直接影響經(jīng)濟(jì)效益;而機(jī)械分揀當(dāng)前采用的主要是滾筒式分級設(shè)備，其原理是通過滾筒的翻滾，將不同大小的貝類從相應(yīng)的篩孔中篩出，實(shí)現(xiàn)分級［2］，這種設(shè)備極易使貝類受到撞擊、震動(dòng)或因殼體邊緣互插而致死。大連某漁業(yè)集團(tuán)曾花費(fèi)巨資從日本引進(jìn)了一套滾筒式扇貝分選設(shè)備，但由于損傷率太大而不得不將其閑置。

水產(chǎn)養(yǎng)殖企業(yè)急需一種無損分揀的自動(dòng)化裝備，而視覺伺服控制技術(shù)是實(shí)現(xiàn)貝類自動(dòng)化無損分揀的關(guān)鍵技術(shù)。在國外，Mikami［3］于1981年研究了櫛孔扇貝的外部形態(tài)后，開發(fā)了機(jī)械化分級技術(shù)，并在此基礎(chǔ)上，于2006年實(shí)現(xiàn)了依據(jù)圖像處理的無接觸櫛孔扇貝分揀技術(shù);戸田勝善等［4］應(yīng)用圖像處理和自動(dòng)控制技術(shù)，實(shí)現(xiàn)了櫛孔扇貝翻轉(zhuǎn)的有效控制。國內(nèi)的相關(guān)研究起步較晚，2006年尹建軍等［5］利用計(jì)算機(jī)視覺技術(shù)研究了不同生長狀態(tài)下多目標(biāo)番茄圖像的自動(dòng)分割方法，實(shí)現(xiàn)了對多目標(biāo)番茄圖像的有效分割，但實(shí)際效果并不理想;2008年蔡健榮等［6］采用2R-G-B色差分量，通過Ostu自適應(yīng)閾值算法完成了自然場景下成熟柑橘的識別，然而由于處理過程較繁瑣，降低了系統(tǒng)的處理速度，實(shí)時(shí)性較差;2009年馬先英等［7］利用圖像識別技術(shù)設(shè)計(jì)了一套自動(dòng)分級與計(jì)數(shù)系統(tǒng)，通過海參在傳送帶上投影面積大小實(shí)現(xiàn)其等級分選與計(jì)數(shù)，但該系統(tǒng)僅限于對單體海參進(jìn)行操作，實(shí)際應(yīng)用受限;2010年鐘取發(fā)等［8］為了定量評估農(nóng)作物的蟲害程度，提出基于典型葉片模板自動(dòng)匹配的葉片蟲損面積的測量方法，但由于模板選取的不確定性以及葉片本身形狀的復(fù)雜度，實(shí)際應(yīng)用受到較大限制;2012年郭顯久等［9］采用最大類間方差法和形態(tài)學(xué)的開運(yùn)算對微藻圖像進(jìn)行分割，實(shí)現(xiàn)了海洋微藻數(shù)量的自動(dòng)統(tǒng)計(jì)，但是由于微藻自身的半透明性、個(gè)體重疊以及圖像某部分過細(xì)導(dǎo)致統(tǒng)計(jì)結(jié)果出現(xiàn)誤差。

研究蝦夷扇貝的圖像處理方法，是實(shí)現(xiàn)其自動(dòng)化識別與分揀的核心技術(shù)。本研究中，作者采用改進(jìn)的OPTA算法提取扇貝的邊界，避免了特征提取過程中毛刺的出現(xiàn)，提高了系統(tǒng)運(yùn)行速度，最后通過中點(diǎn)法確定扇貝的精確坐標(biāo)，解決蝦夷扇貝自動(dòng)分揀設(shè)備研究的圖像處理技術(shù)問題，旨在為開發(fā)蝦夷扇貝自動(dòng)分揀設(shè)備奠定技術(shù)基礎(chǔ)。

1 圖像處理方案

本研究中對固定放置的3個(gè)不同大小的扇貝進(jìn)行圖像處理，圖像處理流程如圖1所示。首先用圖像采集設(shè)備獲得目標(biāo)圖像，通過對圖像灰度化處理得到扇貝的灰度圖像，然后進(jìn)行閾值選取對圖像進(jìn)行二值化處理，并對獲得的二值圖像進(jìn)行黑白噪聲點(diǎn)濾波，消除干擾點(diǎn)，最后通過改進(jìn)的OPTA算法確定扇貝的邊界，利用目標(biāo)圖像長度作為條件計(jì)算扇貝的大小，并運(yùn)用中點(diǎn)法輸出扇貝的二維坐標(biāo)。

2 圖像的灰度化處理和二值化

通過視頻采集技術(shù)得到的圖像通常為彩色圖像，為了減少計(jì)算機(jī)處理的信息量，加快其處理速度，需要把彩色圖像轉(zhuǎn)化為灰度圖。灰度化處理是把含有亮度和色彩的彩色圖像變換成灰度圖像的過程［10-11］。要表示灰度圖就需要把亮度值進(jìn)行量化，通常劃分為0～255共256個(gè)級別，其中0最暗(全黑)，255最亮(全白)。所以在灰度化處理中，系統(tǒng)先讀取調(diào)色板中的R、G、B，然后根據(jù)下式計(jì)算出亮度值:

扇貝圖像灰度化處理結(jié)果如圖2所示。

圖1 圖像處理流程圖Fig.1 Flowing chart of image processing procedure

圖2 灰度化處理前后的扇貝圖像Fig.2 Scallop images before and after grayscale processing

將獲得的灰度化圖像進(jìn)行二值化處理，其中分割閾值的選取是圖像二值化的重要環(huán)節(jié)。本研究中采用最大類間方差法，該方法由Otsu［12］于1979年提出，即基于整幅圖像的統(tǒng)計(jì)特性實(shí)現(xiàn)閾值的自動(dòng)選取，是全局二值化最杰出的代表。Otsu算法的基本思想是用某一假定的灰度值將圖像的灰度分成兩組 (或者兩類)，當(dāng)兩組的類間方差最大時(shí)，此灰度值就是圖像二值化的最佳閾值。

利用該算法得到的扇貝圖像二值化前后結(jié)果對比如圖3所示。

圖3 二值化處理前后扇貝圖像的對比Fig.3 Comparison of scallop images before and after binary contrast

3 二值圖像的黑白點(diǎn)噪聲濾波

假設(shè)原始圖像為f(x，y)，為了消去二值圖像f(a，b)上的黑白噪聲點(diǎn)，當(dāng)圖像f(a，b)周圍的8個(gè)像素的平均值為α?xí)r，若的值大于127.5時(shí)，則對f(a，b)的黑白進(jìn)行反轉(zhuǎn);若差值小于127.5時(shí)，則f(a，b)不變［9］。實(shí)現(xiàn)步驟如下:

1)取得圖像大小、數(shù)據(jù)區(qū)，并把數(shù)據(jù)區(qū)復(fù)制到緩沖區(qū)中;

2)循環(huán)取得各點(diǎn)像素值;

3)取得該點(diǎn)周圍8像素值的平均值;

4)將平均值與該點(diǎn)像素值相比，若差值大于127.5時(shí)，則把該點(diǎn)顏色反轉(zhuǎn);

5)把緩沖區(qū)中改動(dòng)的數(shù)據(jù)復(fù)制到原數(shù)據(jù)區(qū)中。

4 扇貝邊界的確定

4.1 扇貝邊界線的提取

改進(jìn)的OPTA算法統(tǒng)一模板如圖4所示，其中P5為中心像素點(diǎn)，該算法要考慮P5是否由1變?yōu)?，左上角的3×3方形窗口 (即P1，P2，…，P9)為消除模板區(qū)域，×表示該點(diǎn)的像素值可以為黑色或白色像素點(diǎn)，對結(jié)果不產(chǎn)生影響。

圖4 改進(jìn)的OPTA算法統(tǒng)一模板Fig.4 Uniform template of the improved OPTA algorithm

本算法中采用圖5所示的8個(gè)模板作為消除模板，圖5(a)～(d)4個(gè)模板能有效去除邊緣上的凸出物，避免出現(xiàn)毛刺，其中值1對應(yīng)于二值化圖像中的黑色像素點(diǎn)，值0對應(yīng)于二值化圖像中的白色像素點(diǎn)，?表示該點(diǎn)的像素值可以為黑色或白色像素點(diǎn)。

對閾值分割后的二值化圖像采用改進(jìn)的OPTA算法處理后，再采用3×3模板進(jìn)行逐點(diǎn)掃描，如圖6所示，如果點(diǎn)P1的8領(lǐng)域內(nèi)的點(diǎn) (P2～P9)全是黑點(diǎn)，即像素值為0，則認(rèn)為當(dāng)前點(diǎn)P1為非邊界點(diǎn)，并進(jìn)行記錄，逐點(diǎn)掃描圖像完畢后，將記錄的非邊界點(diǎn)全部轉(zhuǎn)化為白點(diǎn)，即像素值為255，利用該方法處理完畢后的圖像僅剩下目標(biāo)物體邊界線，如圖7所示。

圖5 對應(yīng)的8個(gè)消除模板Fig.5 Eight corresponding delete templates

圖6 3×3模板Fig.6 3×3 templates

4.2 邊界點(diǎn)的追蹤

對扇貝邊界線提取后的圖像進(jìn)行逐點(diǎn)搜索，如果發(fā)現(xiàn)某點(diǎn)是黑點(diǎn)，例如，假設(shè)圖6中P1是黑點(diǎn)，則P1點(diǎn)很可能是邊界點(diǎn)，在其8領(lǐng)域內(nèi)搜索另外的黑點(diǎn)，如果搜索到P2是黑點(diǎn)，則將模板中心轉(zhuǎn)移到P2，并將黑點(diǎn)P1的像素值改為10，標(biāo)記其為已被追蹤過的點(diǎn)，然后從P2點(diǎn)開始繼續(xù)追蹤下一邊界點(diǎn)，直到重新到達(dá)起點(diǎn)P1為止，得到一條閉合的曲線。如果追蹤到的邊界點(diǎn)不閉合，或總長度小于300，則認(rèn)為這些邊界點(diǎn)不是扇貝圖像的邊界，予以刪除。將追蹤到的有效扇貝邊界點(diǎn)坐標(biāo)記錄到數(shù)組中，對于圖7中的3個(gè)扇貝可以利用該方法得到對應(yīng)3個(gè)邊界點(diǎn)數(shù)組。

圖7 扇貝邊界線提取前后圖像的對比Fig.7 Comparison of the boundary scallop images between before and after extraction

5 目標(biāo)物體的提取及其坐標(biāo)的計(jì)算

本研究中采用目標(biāo)圖像長度作為條件，通過計(jì)算數(shù)組中每兩個(gè)坐標(biāo)點(diǎn)之間的距離，提取出最長的距離來判斷目標(biāo)物體的大小，從而實(shí)現(xiàn)目標(biāo)物體的識別。設(shè)數(shù)組中距離最遠(yuǎn)的兩個(gè)點(diǎn)分別為A(x1，y1)和 B(x2，y2)，則 AB的長度為

對于提取出來的目標(biāo)長度，采用中點(diǎn)法通過下式計(jì)算出目標(biāo)坐標(biāo):

其中:x、y為計(jì)算出來的X和Y方向上的中點(diǎn)坐標(biāo)，即目標(biāo)物體的坐標(biāo)。

6 分級抓取實(shí)驗(yàn)的結(jié)果與分析

本實(shí)驗(yàn)所需的硬件包括六伺服機(jī)器手臂、Atmega168 MCU控制器、東日盈-KC-740型攝像機(jī)、DC power supply PS-305D直流電源、PC機(jī)和大小不同的3個(gè)扇貝。實(shí)驗(yàn)圖像采集裝置為單目固定位置攝像機(jī)，攝像機(jī)固定在機(jī)械手與扇貝的正上方，可觀測到全局的目標(biāo)物體特征，把采集的圖像進(jìn)行圖像處理，并將得到的數(shù)組和坐標(biāo)作為控制器的輸入信息，通過上位機(jī)與控制器的串口實(shí)現(xiàn)實(shí)時(shí)通信，進(jìn)而控制六伺服機(jī)械手對不同扇貝按照大小依次進(jìn)行抓取。實(shí)驗(yàn)結(jié)果表明，分揀順序正確，大小區(qū)分精準(zhǔn)，應(yīng)用效果很好。抓取過程如圖8所示。

圖8 扇貝抓取過程圖 (從左至右)Fig.8 The process of scallop crawling(from the left to the right)

7 結(jié)語

筆者在研制蝦夷扇貝自動(dòng)分揀設(shè)備的過程中，利用圖像處理技術(shù)，采用可靠的二值化算法，確定出最佳閾值，并通過改進(jìn)的OPTA算法確定目標(biāo)圖像的邊界，利用目標(biāo)圖像長度作為條件判斷扇貝的大小，最后采用中點(diǎn)法得到扇貝的具體坐標(biāo)，將該坐標(biāo)信息作為控制機(jī)械手的控制量，完成了扇貝的分級抓取，實(shí)驗(yàn)結(jié)果較為理想。本研究結(jié)果表明，應(yīng)用該圖像處理技術(shù)，可以得到簡單、精確的控制量，進(jìn)而控制分揀機(jī)構(gòu)的動(dòng)作，達(dá)到了分揀順序正確、大小區(qū)分精準(zhǔn)的要求，從而在降低成本的同時(shí)，保證了控制系統(tǒng)的實(shí)時(shí)性，具有很好的應(yīng)用前景。

［1］徐皓，張建化.我國水產(chǎn)養(yǎng)殖工程學(xué)科發(fā)展報(bào)告［J］.漁業(yè)現(xiàn)代化，2009，36(3):1-6.

［2］沈建，鄭曉偉，林蔚.文蛤分級試驗(yàn)研究與分級設(shè)備設(shè)計(jì)［J］.漁業(yè)現(xiàn)代化，2007，34(6):39-42.

［3］Mikami T.Studies on the mechanization of the scallop culture［J］.北海道大學(xué)水產(chǎn)學(xué)報(bào)，1981，32(3):242-249.

［4］戸田勝善，林艾光，矢田貞美.動(dòng)力學(xué)モデルに基づいた養(yǎng)殖用ホタテ稚貝の左殻上向き運(yùn)動(dòng)の解析［J］.農(nóng)業(yè)機(jī)械學(xué)會(huì)誌，2002，64(3)，70-78.

［5］尹建軍，毛罕平，王新忠，等.不同生長狀態(tài)下多目標(biāo)番茄圖像的自動(dòng)分割方法［J］.農(nóng)業(yè)工程學(xué)報(bào)，2006，22(10):149-153.

［6］蔡健榮，周小軍，李玉良，等.基于機(jī)器視覺自然場景下成熟柑橘識別［J］.農(nóng)業(yè)工程學(xué)報(bào)，2008，24(1):175-178.

［7］馬先英，李明，熊文超，等.基于圖像識別技術(shù)的海參分級與計(jì)數(shù)設(shè)備的設(shè)計(jì)［J］.大連水產(chǎn)學(xué)院學(xué)報(bào)，2009，24(6):549-552.

［8］鐘取發(fā)，周平，付斌斌，等.基于典型葉片模板自動(dòng)匹配的蟲損葉面積測量［J］.農(nóng)業(yè)工程學(xué)報(bào)，2010，26(3):216-220.

［9］郭顯久，張國勝，耿春云.基于圖像處理技術(shù)的海洋微藻數(shù)量統(tǒng)計(jì)方法［J］.大連海洋大學(xué)學(xué)報(bào)，2012，27(4):368-372.

［10］劉小力.機(jī)器人視覺伺服系統(tǒng)的圖像處理和標(biāo)定技術(shù)研究［D］.南京:東南大學(xué)，2006.

［11］馬強(qiáng).基于嵌入式Linux的視頻采集系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)［D］.西安:西安電子科技大學(xué)，2011.

［12］Otsu N.A threshold selection method from gray-level histograms［J］.IEEE Trans，1979，9(1):62-66.