顆粒物包裝袋智能識別與擺正方法研究

廖 飄 宋京偉

（華東交通大學(xué)機(jī)電與車輛工程學(xué)院，江西南昌330013）

0 引言

機(jī)器視覺技術(shù)在現(xiàn)代工業(yè)自動化生產(chǎn)中被廣泛應(yīng)用于各種事物的檢查、測量和識別。比如，李萌等人[1]針對目前鋁塑泡罩藥品包裝檢測系統(tǒng)存在漏檢、誤檢等問題，提出了利用機(jī)器視覺技術(shù)對鋁塑泡罩藥品包裝是否達(dá)標(biāo)進(jìn)行檢測；陳慧麗等人[2]采用機(jī)器視覺技術(shù)代替人眼，對方便面包裝內(nèi)是否有調(diào)料進(jìn)行檢測；張樹君等人[3]針對產(chǎn)品標(biāo)簽是否存在誤貼、漏貼、貼歪等問題，研發(fā)了一款以機(jī)器視覺技術(shù)為基礎(chǔ)的產(chǎn)品標(biāo)簽檢測設(shè)備；在藥品裝盒或者裝罐生產(chǎn)中，由于藥片尺寸較小，嚴(yán)重影響人員的計(jì)數(shù)準(zhǔn)確性，為此，賈雄[4]利用圖像處理技術(shù)來解決藥片計(jì)數(shù)難的問題；黃丹平等人[5]研發(fā)了一套基于機(jī)器視覺技術(shù)的瓦楞紙板自動計(jì)數(shù)設(shè)備，從而解決了瓦楞紙板數(shù)量難以統(tǒng)計(jì)的問題；夏天煜等人[6]利用智能相機(jī)及配套的視頻軟件In-Sight4.1.0，解決了在線生產(chǎn)的食鹽包裝袋容易折疊的問題。

顆粒物包裝袋在流水線生產(chǎn)中，容易出現(xiàn)折疊、歪斜等問題，嚴(yán)重影響包裝袋的計(jì)數(shù)以及包裝袋的后續(xù)裝箱。然而，目前相關(guān)研究大多側(cè)重于盒裝、罐裝等包裝的識別與裝箱。因此，本文在上述研究背景下，針對顆粒物包裝袋的識別與擺正問題，將機(jī)器視覺技術(shù)與機(jī)械臂運(yùn)動原理相結(jié)合，先智能識別包裝袋的位姿信息，再利用機(jī)械臂進(jìn)行擺正操作，最后對實(shí)驗(yàn)樣機(jī)進(jìn)行研制，對顆粒物包裝袋進(jìn)行擺正實(shí)驗(yàn)。

1 顆粒物包裝袋的識別與擺正系統(tǒng)

顆粒物包裝袋的識別與擺正系統(tǒng)由電源模塊、光電檢測模塊、傳送帶裝置、上位機(jī)識別模塊、下位機(jī)控制器、機(jī)械臂擺正模塊等組成。其中，電源模塊由電源器（24 V、5 A）、降壓模塊、穩(wěn)壓模塊組成，為系統(tǒng)各個模塊提供合適、穩(wěn)定的電源。模擬的包裝袋流水線傳送帶裝置由皮帶、軸承、軸、滾筒、電機(jī)、電機(jī)驅(qū)動器等構(gòu)成。上位機(jī)識別模塊由CCD圖像傳感器和上位機(jī)組成，而機(jī)械臂擺正模塊主要由電機(jī)、真空管、驅(qū)動器、機(jī)械臂機(jī)械結(jié)構(gòu)等組成。其系統(tǒng)框圖如圖1所示。

圖1 系統(tǒng)框圖

該系統(tǒng)通過光電檢測模塊檢測包裝袋到達(dá)的指定位置信息，并利用該信息來控制上位機(jī)識別模塊對包裝袋圖像進(jìn)行識別，而上位機(jī)將識別的結(jié)果經(jīng)串口傳送給下位機(jī)控制系統(tǒng)。下位機(jī)讀取識別結(jié)果，并將其轉(zhuǎn)換為機(jī)械臂、傳送帶控制指令，以此實(shí)現(xiàn)顆粒物包裝袋的擺正操作。

2 包裝袋空間位置變換

顆粒物包裝袋經(jīng)過兩個光電傳感器下方時，下位機(jī)將控制機(jī)械臂抓取顆粒物包裝袋。機(jī)械臂對包裝袋進(jìn)行擺正的過程中，由于傳送帶仍以原定速度進(jìn)行傳輸操作，則機(jī)械臂通過旋轉(zhuǎn)操作將顆粒物包裝袋放至傳送帶原位置處。

由于顆粒物包裝袋以任意位置進(jìn)入到傳送帶，因此需對包裝袋空間位置進(jìn)行變換。該系統(tǒng)將其空間位置轉(zhuǎn)換為坐標(biāo)系空間，其處理思路為將原坐標(biāo)系平移至包裝袋所處位置，包裝袋在平移后的坐標(biāo)系下進(jìn)行旋轉(zhuǎn)，再將坐標(biāo)系平移回原始坐標(biāo)系，即將顆粒物包裝袋從標(biāo)準(zhǔn)位置變換到初始位置，再變換到標(biāo)準(zhǔn)位置。包裝袋平移、旋轉(zhuǎn)如圖2所示。

圖2 包裝袋平移、旋轉(zhuǎn)

該系統(tǒng)當(dāng)顆粒物包裝袋處于攝像頭正下方且無偏斜角度時建立坐標(biāo)系X3OY3，當(dāng)顆粒物包裝袋偏移，以任意位置進(jìn)入攝像頭正下方時，以該包裝袋的中心建立坐標(biāo)X4O′Y4。為了表示顆粒物包裝袋空間位置的變換關(guān)系，該系統(tǒng)取顆粒物包裝袋P點(diǎn)進(jìn)行表示。設(shè)P點(diǎn)在原坐標(biāo)（X3OY3）中的坐標(biāo)為（x，y），而顆粒物包裝袋處于任意位置時，則原P點(diǎn)平移至P′，則P′在坐標(biāo)系X4O′Y4中的坐標(biāo)為（x1，y1）。設(shè)P平移至P′點(diǎn)的距離可用兩坐標(biāo)系原點(diǎn)平移進(jìn)行表示，則O′相對O點(diǎn)的X軸偏移量為a，Y軸的偏移量為b，則：

以矩陣的形式表示：

因此，空間P點(diǎn)旋轉(zhuǎn)到P′，可以將其分成3個步驟來完成：

（1）將坐標(biāo)系X3OY3變成X4O′Y4；

（2）將點(diǎn)P順時針旋轉(zhuǎn)θ角（類似于顆粒物包裝袋旋轉(zhuǎn)）；

（3）將坐標(biāo)系X4O′Y4平移回原坐標(biāo)系X3OY3，該變換過程用如下變換矩陣表示。

式（3）變換后的結(jié)果為：

3 包裝袋圖像采集及算法處理

3.1 包裝袋圖像采集

常用的圖像傳感器有COMS攝像頭和CCD攝像頭。其中，COMS攝像頭成像質(zhì)量較差、分辨率低，易受外界環(huán)境干擾；而CCD攝像頭能夠保持信號在傳輸過程中不失真，不容易出現(xiàn)壞點(diǎn)現(xiàn)象。因此，該系統(tǒng)選用CCD圖像傳感器。上位機(jī)發(fā)送指令，操作CCD圖像傳感器拍攝包裝袋照片，再讀取CCD圖像傳感器所拍攝的圖片信息，之后保存顆粒物包裝袋圖片，最后發(fā)送關(guān)閉攝像頭的指令。

3.2 圖像處理與信息提取

圖像采集獲得了顆粒物包裝袋的全彩圖片，將其轉(zhuǎn)換為雙精度圖像，經(jīng)過灰圖化處理后，再采用小波除噪、中值濾波的方法提高圖像質(zhì)量，獲得包裝袋圖像的數(shù)字矩陣表示形式，再進(jìn)一步用雙三次插值及Sobel算子方法對圖像進(jìn)行邊緣提取，獲取顆粒物包裝袋的邊緣信息，即圖2所示A′、B′、C′、D′四個點(diǎn)的坐標(biāo)。

包裝袋在傳送帶運(yùn)輸中的位置是隨機(jī)放置的，因此必須獲取包裝袋偏斜角度及偏移距離。在獲得包裝袋邊緣信息后，提取包裝袋圖像的四個頂點(diǎn)坐標(biāo)，然后利用A′與B′、C′與D′的坐標(biāo)分別求出A′B′與C′D′兩條直線的方程，而兩條直線的交點(diǎn)為顆粒物包裝袋的幾何中心，再進(jìn)一步計(jì)算包裝袋偏斜角度及偏移距離，其具體算法思路如下：

（1）通過搜索找出二值圖像BW1數(shù)組中值為1的元素，并分別生成元素行、列下的數(shù)組row、col。原設(shè)定的坐標(biāo)系的原點(diǎn)坐標(biāo)為（row/2，col/2）。

（2）利用最大、最小函數(shù)，求出包裝袋頂點(diǎn)坐標(biāo)。其中，xa=min（col），xc=max（col），yd=min（row），yb=max（row）；利用所求的xa、xc、yd、yb的值求ya、yc、xb、xd，可得，ya=max（find（BW1（:，xa）==1）），yc=min（find（BW1（:，xc）==1）），xb=min（find（BW1（yb，:）==1）），xd=min（find（BW1（yd，:）==1））。

（3）利用包裝袋四個頂點(diǎn)的坐標(biāo)，求解包裝袋的幾何中心坐標(biāo)。直線AC的方程為（x-xa），直線BD的方程為包裝袋幾何中心為直線AC與BD的交點(diǎn)，因此，將兩個直線方程聯(lián)立求解可得包裝袋的幾何中心坐標(biāo)，即（xo，yo）。

（4）求顆粒物包裝袋偏移的距離。設(shè)定原坐標(biāo)系的原點(diǎn)坐標(biāo)為（row/2，col/2），而在（3）中求得的包裝袋幾何中心點(diǎn)的坐標(biāo)為（xo，yo）。因此，顆粒物包裝袋偏移設(shè)定坐標(biāo)系中心的距離為l=，然后利用偏移距離對包裝袋進(jìn)行平移操作。

（5）求顆粒物包裝袋的偏斜角度。在（4）中已將包裝袋平移至設(shè)定坐標(biāo)系的原點(diǎn)處，可求出包裝袋的偏斜角度。包裝袋邊AB與AD的長度分別為lAB=當(dāng)lAB值大于lAD值時，包裝袋偏斜角度是AB與Y軸之間的夾角θ=arctan，反之則為AD與Y軸之間的夾角

（6）包裝袋偏斜方向判斷。獲取包裝袋偏斜角度之后，對二值化圖像進(jìn)行旋轉(zhuǎn)處理，并按旋轉(zhuǎn)處理后的結(jié)果重復(fù)上述操作進(jìn)行驗(yàn)證，同時對包裝袋的標(biāo)識點(diǎn)進(jìn)行提取及判斷。

4 樣機(jī)研制與實(shí)驗(yàn)驗(yàn)證

4.1 樣機(jī)研制

為了檢驗(yàn)上述方法應(yīng)用于顆粒物包裝袋識別與擺正的可行性，我們研制了一套用于顆粒物包裝袋流水生產(chǎn)線的模擬樣機(jī)。樣機(jī)主要由傳送帶裝置、機(jī)械臂擺正模塊、上位機(jī)識別模塊、直流電機(jī)驅(qū)動器、光電檢測模塊等組成。光電檢測模塊檢測包裝袋到達(dá)指定位置的信息，控制傳送帶傳輸速度及攝像頭工作的開啟，上位機(jī)讀取圖像傳感器拍攝的照片，經(jīng)過上位機(jī)識別處理，將包裝袋位姿信息經(jīng)串口發(fā)給下位機(jī)控制器，控制器控制機(jī)械臂擺正裝置對顆粒物包裝袋進(jìn)行擺正操作。模擬樣機(jī)如圖3所示。

圖3 模擬樣機(jī)圖

4.2 實(shí)驗(yàn)驗(yàn)證

試驗(yàn)樣機(jī)制作完成后，需對任意位置的顆粒物包裝袋進(jìn)行識別實(shí)驗(yàn)。將顆粒物包裝袋放置在偏離設(shè)定坐標(biāo)系原點(diǎn)的地方，開啟系統(tǒng)電源，傳送帶將包裝袋運(yùn)輸至光電傳感器、圖像傳感器可檢測的范圍內(nèi)。圖像傳感器將拍攝的包裝袋圖像傳輸給上位機(jī)，上位機(jī)識別的原圖如圖4（a）所示，原圖經(jīng)灰圖化、濾波、邊緣提取，得到包裝袋的二值化圖像。再利用矩陣變換及圖像幾何變換函數(shù)，對顆粒物包裝袋圖像進(jìn)行旋轉(zhuǎn)和平移操作，其處理結(jié)果如圖4（c）和（d）所示。

5 結(jié)語

圖4 上位機(jī)識別效果圖

本文針對包裝流水生產(chǎn)線中顆粒物包裝袋存在的識別問題展開探討，提出了利用機(jī)器視覺技術(shù)對顆粒物包裝袋進(jìn)行識別與擺正的設(shè)想。經(jīng)過模擬樣機(jī)的實(shí)驗(yàn)表明，機(jī)器視覺技術(shù)能實(shí)現(xiàn)對處于任意位置的包裝袋進(jìn)行識別與擺正的操作。本研究可以解決藥品包裝后續(xù)處理中需要包裝袋處于一致方向的問題，為顆粒物包裝袋類型的識別與擺正研究奠定了理論基礎(chǔ)。

［參考文獻(xiàn)］

[1]李萌，孫鐵波.基于機(jī)器視覺的鋁塑藥品包裝在線檢測系統(tǒng)[J].塑料工業(yè)，2016，44（4）：138-141.

[2]陳慧麗，李繼偉.基于機(jī)器視覺的方便面包裝品質(zhì)檢測系統(tǒng)設(shè)計(jì)[J].包裝工程，2017，38（13）：159-163.

[3]張樹君，辛瑩瑩，陳大千.基于機(jī)器視覺的飲料瓶標(biāo)簽檢測設(shè)備[J].食品研究與開發(fā)，2014，35（3）：134-136.

[4]賈雄，葉邦彥.基于圖像處理的藥片計(jì)數(shù)系統(tǒng)設(shè)計(jì)[J].電子設(shè)計(jì)工程，2013，21（12）：67-69.

[5]黃丹平，廖世鵬，于少東，等.基于機(jī)器視覺瓦楞紙板自動計(jì)數(shù)系統(tǒng)研究[J].機(jī)械工程學(xué)報(bào)，2017，55（10）：79-86.

[6]夏天煜，湯曉華，李可，等.在線智能視覺檢測系統(tǒng)在小包裝食鹽裝箱中的應(yīng)用[J].北京工商大學(xué)學(xué)報(bào)（自然科學(xué)版），2011，29（5）：61-64.