基于機(jī)器視覺(jué)的餐盤檢測(cè)定位系統(tǒng)的研究

汪 聰，胡國(guó)清,

（1.華南理工大學(xué) 機(jī)械與汽車工程學(xué)院，廣州 510641；2.廣東肇慶市科華食品機(jī)械實(shí)業(yè)有限公司，肇慶 526000）

0 引言

隨著我國(guó)高等教育事業(yè)的迅猛發(fā)展，截止2017年6月，全國(guó)普通高等學(xué)校已達(dá)2914所，高校食堂總數(shù)過(guò)萬(wàn)，每天約有2800萬(wàn)人就餐。從而導(dǎo)致食堂等候時(shí)間過(guò)長(zhǎng)、人工打菜分量缺少標(biāo)準(zhǔn)等弊端一一暴露出來(lái)，為了解決人工售飯存在的問(wèn)題，設(shè)計(jì)了一套基于機(jī)器視覺(jué)的機(jī)器人自動(dòng)打菜系統(tǒng)來(lái)代替人工打菜。該系統(tǒng)的關(guān)鍵在于餐盤位置的識(shí)別，并通過(guò)機(jī)械手爪將菜品放入合適的區(qū)域。晏祖根[1]等基于并聯(lián)機(jī)器人、機(jī)器人視覺(jué)等技術(shù)，構(gòu)建了用于食品包裝的高速機(jī)器人分揀系統(tǒng)。浙江大學(xué)的楊皋[2]基于視覺(jué)處理軟件HALCON開(kāi)發(fā)了一套基于機(jī)器視覺(jué)的餐盤缺陷檢測(cè)系統(tǒng)，檢測(cè)速度可達(dá)4000個(gè)/時(shí)，缺陷檢測(cè)準(zhǔn)確率在95%以上。

1 系統(tǒng)總體方案設(shè)計(jì)

系統(tǒng)主要由視覺(jué)模塊、執(zhí)行模塊以及控制模塊三部分組成，如圖1所示。其中視覺(jué)模塊負(fù)責(zé)圖像處理部分，當(dāng)餐盤經(jīng)流水線運(yùn)動(dòng)到相機(jī)位置，觸發(fā)光電開(kāi)關(guān)，相機(jī)開(kāi)始拍照，機(jī)器人控制器接收經(jīng)過(guò)圖像處理定位后的坐標(biāo)，將菜品放入指定區(qū)域。圖2展示了系統(tǒng)的工作流程。

2 餐盤圖像處理

2.1 圖像預(yù)處理

圖1 系統(tǒng)總體方案設(shè)計(jì)

圖2 系統(tǒng)工作流程圖

在相機(jī)圖像采集及傳輸過(guò)程中，可能會(huì)由于信號(hào)干擾引入噪聲，嚴(yán)重影響后續(xù)圖像處理效果，因此需要對(duì)采集的圖像進(jìn)行預(yù)處理。對(duì)于空間圖像濾波而言，通常會(huì)選定由一個(gè)鄰域以及對(duì)該鄰域包圍的圖像像素執(zhí)行的預(yù)定義操作組成的空間濾波器。在圖像中的任意一點(diǎn)(x,y)，濾波器的響應(yīng)g(x,y)如式(1)所示。

式中w(s,t)為濾波器在(s,t)處的像素值，f(x,y)為原圖像在(x,y)處的像素值。

高斯濾波是一種線性平滑濾波，對(duì)于抑制服從正態(tài)分布的噪聲十分有效，廣泛應(yīng)用于圖像處理的減噪過(guò)程。一維零均值高斯函數(shù)如式(2)所示。

式中，高斯分布參數(shù)σ決定了高斯函數(shù)的寬度。對(duì)于二維圖像處理，常用二維高斯函數(shù)來(lái)生成高斯濾波器，二維高斯函數(shù)如式(3)所示。

雖然高斯濾波可以去除圖片中的噪聲，但同時(shí)也會(huì)模糊圖像的邊緣信息，對(duì)高頻細(xì)節(jié)的保護(hù)并不明顯。

小波變換在時(shí)域和頻域都具有良好的局部化特性，被廣泛應(yīng)用于眾多的學(xué)科和領(lǐng)域，包括信號(hào)分析的濾波、去噪、壓縮，圖像處理的圖像壓縮、圖像去噪、邊緣提取等方面。

由于數(shù)字圖像是二維信號(hào)，將小波變換應(yīng)用到圖像處理中時(shí)，需要將一維小波變換推廣到二維。給定尺度函數(shù)和平移基函數(shù)：

其中i指出圖像中的不同方向的小波，則大小為M×N的圖像f(x,y)的離散小波變換為：

式中，j0是一個(gè)任意開(kāi)始的尺度，系數(shù)定義了f(x,y)在尺度J0處的近似，而系數(shù)對(duì)尺度j≥j0附加了水平、垂直和對(duì)角方向的細(xì)節(jié)。

數(shù)字圖像的二維離散小波變換可通過(guò)數(shù)字濾波器向下采樣實(shí)現(xiàn)：先對(duì)行方向與低通小波濾波器進(jìn)行卷積處理，再對(duì)它的列向下取樣，得到兩幅子圖像。然后，沿列的方向?qū)煞訄D像進(jìn)行濾波并向下取樣，將圖像分解成四個(gè)子圖像分別反映了水平和垂直方向的低頻成分、水平方向的低頻成分和垂直方向的高頻成分、水平方向的高頻成分和垂直方向的低頻成分、水平方向的高頻成分和垂直方向的高頻成分。對(duì)圖W?重復(fù)進(jìn)行小波變換分解就可得到n級(jí)分解圖。圖3給出了基于Haar小波的餐盤圖像二級(jí)分解效果圖。

圖3 小波變換效果圖

將含有噪聲的圖像經(jīng)過(guò)小波變換多尺度分解后，需要在各尺度進(jìn)行降噪處理。由于經(jīng)過(guò)小波變換后，有效信號(hào)的小波系數(shù)的模值較大，而噪聲對(duì)應(yīng)的小波系數(shù)的模值較小。對(duì)經(jīng)過(guò)小波變換后的信號(hào)設(shè)定一個(gè)閾值，當(dāng)小波系數(shù)小于該閾值時(shí)，則認(rèn)為這時(shí)的小波系數(shù)是由噪聲引起的，當(dāng)小波系數(shù)大于該閾值時(shí)，則認(rèn)為這時(shí)的小波系數(shù)是由信號(hào)引起的。設(shè)定小波變換的閾值系數(shù)，將低于其閾值的小波系數(shù)設(shè)為零，可以有效抑制噪聲干擾并保留邊緣細(xì)節(jié)。

將經(jīng)過(guò)閾值處理后的圖像通過(guò)離散小波反變換（如式(8)所示）后，可得到去噪后的圖像處理結(jié)果。

圖4從左到右依次為經(jīng)過(guò)灰度變換的餐盤灰度圖，經(jīng)過(guò)高斯濾波后的圖像以及經(jīng)過(guò)小波變換濾波后的圖像，可以看出高斯濾波已經(jīng)模糊了圖像細(xì)節(jié)，而基于小波變換的濾波在濾波的同時(shí)仍能很好地保留圖像的邊緣信息。

2.2 邊緣提取

邊緣檢測(cè)是基于灰度突變來(lái)進(jìn)行圖像分割的最常用的方法，圖像的邊緣連接處會(huì)發(fā)生明顯灰度變化，而圖像的梯度則反映了邊緣處的強(qiáng)度和方向。要得到圖像的梯度，首先要在圖像的每個(gè)像素位置(x,y)處計(jì)算偏導(dǎo)數(shù)?f/?x和?f/?y，如式(9)、式(10)所示：

圖4 濾波效果圖

梯度用?f來(lái)表示，并使用向量來(lái)定義：

傳統(tǒng)的Canny算法是一種簡(jiǎn)單有效地邊緣檢測(cè)算法，具有信噪比大，檢測(cè)精度高等優(yōu)點(diǎn)。但也存在不足之處。

1）Canny算法使用高斯濾波器進(jìn)行去噪處理，但在去除噪聲的同時(shí)也模糊了邊緣信息。

2）在圖像的梯度幅值計(jì)算上，傳統(tǒng)Canny算法對(duì)噪聲比較敏感，容易檢測(cè)出一些假邊緣或者丟失一些真實(shí)的邊緣信息。

3）由于需要使用高低閾值來(lái)檢測(cè)邊緣，而且對(duì)于不同的圖像，設(shè)定的閾值也不同，需要多次人工實(shí)驗(yàn)來(lái)確定閾值。

針對(duì)以上問(wèn)題，本文采用以下方法對(duì)傳統(tǒng)Canny算法進(jìn)行改進(jìn)，作為餐盤區(qū)域的邊緣檢測(cè)算法。

1）使用上文提到的雙邊濾波器代替高斯濾波器進(jìn)行圖像的濾波處理，在去除噪聲的同時(shí)保留圖像的邊緣細(xì)節(jié)。

2）使用模板大小為3×3的Sobel算子計(jì)算圖像的梯度，降低對(duì)噪聲的敏感程度。

3）在閾值的選擇上，采用Otsu提出的基于最大類間方差的法的最佳全局閾值處理。假定閾值為k，定義類間方差：

2.3 餐盤特征提取

經(jīng)過(guò)邊緣檢測(cè)之后圖像的邊緣輪廓已經(jīng)被正確檢測(cè)出來(lái)，但由于非線性光照、餐盤本身的雕刻花紋以及餐盤油污等因素，會(huì)導(dǎo)致部分噪聲邊緣也同時(shí)被檢測(cè)出來(lái)，因此，我們需要對(duì)邊緣檢測(cè)結(jié)果作進(jìn)一步處理。

通過(guò)餐盤的外形特征，餐盤的尺寸為350×260mm，長(zhǎng)寬比約為1:1.35，餐盤面積約為910cm2，同時(shí)考慮到不同的餐盤之間的尺寸誤差，設(shè)置誤差范圍為±2，依次尋找邊緣中所有的包圍輪廓，然后根據(jù)尋找到的包圍輪廓面積，長(zhǎng)寬比等條件進(jìn)行篩選，剔除面積過(guò)大或者過(guò)小，長(zhǎng)寬比不符合要求的噪聲邊緣輪廓，最后可得到餐盤的邊緣輪廓如圖5所示，中心點(diǎn)為根據(jù)圖像矩計(jì)算出的餐盤中心點(diǎn)。

圖5 輪廓篩選結(jié)果

同時(shí)，令?Dij表示第i塊餐盤在第j次定位時(shí)的定位誤差?D，根據(jù)式(14)所示，統(tǒng)計(jì)所有的餐盤定位精度σ=3.7025pixel，轉(zhuǎn)化為實(shí)際距離精度δ=0.798mm，式中：

3 結(jié)束語(yǔ)

本文基于機(jī)器視覺(jué)搭建的餐盤檢測(cè)定位系統(tǒng)，比較了高斯濾波和基于小波變換的閾值濾波的效果，并選用基于小波變換的閾值濾波進(jìn)行圖像的去噪處理。通過(guò)改進(jìn)的Canny算法提取餐盤的邊緣輪廓，并利用餐盤特征篩選出正確的邊緣輪廓信息，通過(guò)實(shí)驗(yàn)證明，餐盤定位精度可達(dá)0.798mm，滿足實(shí)際生產(chǎn)需求。

表1 餐盤定位提取結(jié)果