基于機器視覺的柱面標簽缺陷檢測方法

梁橋康，謝兵兵，郭東妮，孫 煒，王耀南

（1.湖南大學電氣與信息工程學院，長沙410082；2.電子制造業(yè)智能機器人技術(shù)湖南省重點實驗室，長沙410082；3.機器人視覺感知與控制技術(shù)國家工程實驗室，長沙410082）

1 引 言

標簽作為商品的一部分，代表著商品本身的身份信息，標簽質(zhì)量的好壞影響著商品的外表美觀、銷售份額以及間接關(guān)系著企業(yè)生產(chǎn)該商品所能帶來的經(jīng)濟效益。在飲料瓶進行熱縮套標和運輸時，可能會造成標簽的損壞。隨著近些年來機器視覺領(lǐng)域技術(shù)［1］的快速發(fā)展，越來越多的飲料食品包裝行業(yè)選擇將機器視覺系統(tǒng)應用于食品流水生產(chǎn)線上，機器視覺檢測系統(tǒng)［2］具有檢測結(jié)果穩(wěn)定、檢測速度快，檢測精度高以及可以在人類所不能適應的惡劣環(huán)境下工作等一系列的特點，所以對飲料食品的柱面標簽進行缺陷檢測對于現(xiàn)實生活中的工業(yè)生產(chǎn)具有重要的意義。

為了適應當代社會日益增長的物質(zhì)需求，基于機器視覺的高速無人自動化檢測系統(tǒng)越來越多的被研究學者提出且應用于企業(yè)的生產(chǎn)當中。文獻［3］利用LED 照明管道的環(huán)形內(nèi)表面，研制了一種用于管道內(nèi)表面的全景光學環(huán)形凝視檢測系統(tǒng)，該系統(tǒng)可以將采集到的環(huán)形圖像展開為矩形圖像以便于后續(xù)的缺陷檢測；文獻［4］提出了一種快速、易于實現(xiàn)的均勻紋理和非織構(gòu)表面圖像缺陷檢測的規(guī)律性測量方法，該方法能夠檢測出微小的缺陷；文獻［5］開發(fā)了一種用于馬鈴薯檢驗和分級的高速彩色機器視覺系統(tǒng)，該系統(tǒng)對馬鈴薯圖像一系列特征值進行分析處理，從而能對馬鈴薯的大小、形狀和外部缺陷進行分級處理；文獻［6］針對空調(diào)標簽利用圖像差分算法檢測標簽是否存在缺陷，采用基于等價類行程算法標記出標簽缺陷的目標區(qū)域，但是該方法只適用于平整的而且形狀規(guī)整的矩形標簽；文獻［7］提出了一種四相機對飲料瓶標簽進行檢測的方案，此方法缺陷檢測效果有限；文獻［8］利用了光路的折返原理以及異步式采集模式，并采用光學結(jié)構(gòu)實現(xiàn)檢測，此方法對設備的位置精度和安裝精度要求比較高。

現(xiàn)有的缺陷檢測技術(shù)難以適應柱面標簽檢測需求，因此本文設計了一種飲料柱面標簽缺陷檢測系統(tǒng)，重點研究了柱面標簽的畸變以及矯正補償、多相機采集圖像的拼接融合和標簽缺陷檢測算法的設計。

2 檢測系統(tǒng)結(jié)構(gòu)設計

2.1 系統(tǒng)結(jié)構(gòu)及其檢測原理

為了獲取完整的柱面標簽圖像，需要從不同的角度來獲取飲料柱面標簽各個方位區(qū)域的圖像信息，從而才能實現(xiàn)對柱面標簽的缺陷檢測?；跈C器視覺的柱面標簽缺陷檢測系統(tǒng)的結(jié)構(gòu)方案如圖1所示。該系統(tǒng)主要由視覺檢測單元、控制器單元以及剔除單元構(gòu)成。

圖1 檢測系統(tǒng)框架設計圖Fig.1 Inspection system frame design

（1）視覺檢測單元：如圖1所示，4 臺CCD 彩色相機、4 個LED 條形光源以及光電傳感器組成了視覺檢測單元，其中相機與相機兩兩之間互成90°，從而可以全方位多角度的獲取標簽圖像信息。

（2）控制器單元：由1臺工業(yè)控制計算機和1臺PLC 控制器構(gòu)成。工控機負責人機交互以及對相機采集到的圖像進行處理；PLC 控制器負責底層的電氣運動控制，工控機將檢測到的結(jié)果發(fā)送給PLC，PLC則執(zhí)行相應的指令動作。

（3）剔除單元：由剔除器構(gòu)成，當有缺陷的標簽次品運送至剔除器的位置時，PLC 控制器將向剔除器發(fā)送指令并將該飲料瓶進行剔除。

考慮到工業(yè)現(xiàn)場上的光線條件不理想，本系統(tǒng)采用四個條形光源對系統(tǒng)裝置內(nèi)進行打光，為使光線充滿視覺成像單元內(nèi)，四個光源同樣兩兩互成90°，而且考慮到光線是否在各方向均勻散射，在檢測柜的內(nèi)壁采用了漫反射結(jié)構(gòu)，使得光源在各個方向上散射的光線基本是均勻的，這樣相機采集到的標簽圖像質(zhì)量具有一定的穩(wěn)定性而且不受光照不均勻的影響。

2.2 系統(tǒng)的檢測流程

柱面標簽缺陷檢測系統(tǒng)是機器視覺與圖像處理技術(shù)在實際企業(yè)生產(chǎn)中的典型應用。在滿足檢測要求的情況下，使檢測系統(tǒng)的圖像處理算法快速、簡單、有效是本文研究的重點。

檢測系統(tǒng)的運行過程如圖2所示，經(jīng)熱縮套標后的飲料瓶，經(jīng)傳送帶運輸至檢測系統(tǒng)的檢測柜內(nèi)，首先檢測相機光源等是否連接完好，一切連接正常后通過光電傳感器檢測飲料瓶是否經(jīng)過指定位置，如經(jīng)過將觸發(fā)工業(yè)相機進行圖像采集；然后對采集到的標簽圖像進行預處理，包括平滑濾波處理、柱面標簽反投影校正等；將預處理之后的標簽圖像進行拼接融合，形成一幅完整的標簽展開圖；其后利用飲料顏色與標簽的顏色信息，通過顏色空間的雙閾值以及形態(tài)學處理算法來判斷該標簽是否具有缺陷，PLC控制器將該檢測結(jié)果對應到相應的飲料瓶上，如具有缺陷當飲料瓶運送至剔除器工位時，PLC 將向剔除器發(fā)送指令將該飲料瓶進行剔除。

圖2 系統(tǒng)檢測流程圖Fig.2 Flow chart of system inspection

3 檢測系統(tǒng)算法設計

3.1 柱面反投影校正

飲料標簽在套標之前是平面標簽，在熱縮套標時將標簽粘貼在飲料瓶上，使得標簽呈柱面形狀，所以飲料瓶上的標簽在水平方向和豎直方向都存在著一定的畸變。這樣造成了一定程度上標簽圖像信息的損失，文獻［9］提出一種柱面反投影算法，但是該方法計算過程較為復雜，難以滿足工業(yè)生產(chǎn)中的實時性要求；文獻［10］提出了一種圓柱曲面模型來描述在裝訂成冊的文檔形成的曲面與其為平面狀態(tài)時之間的關(guān)系；文獻［11］提出了一種基于二次曲線分割（CS）的方法來校正粘貼在柱面上的二維碼圖像所產(chǎn)生的畸變。

如圖3所示，其中弧線AD 表示飲料柱面，A′D′表示柱面展開后形成的平面，點P 為柱面上的一點，x為點P到OO′的垂直距離，x′為弧線PO′展開后實際的長度，根據(jù)對應位置關(guān)系計算出其關(guān)系式如式（1）所示：

圖3 柱面水平校正關(guān)系圖Fig.3 Cylindrical horizontal correction

在垂直方向上由于相機在成像時會根據(jù)物體的遠近不同而產(chǎn)生透視畸變，透視畸變的特點為當物體離鏡頭越遠則該物體在相機上所成的像也就越小。

垂直方向畸變?nèi)鐖D4所示，圓柱的后半部分被遮擋了，所以在圖像上只能觀察前半部分的圓柱面。圖中點Pfront和點Pback都位于圓柱上的同一高度，其中由于柱面的原因Pfront為離相機最近的點，所以在圖像上Pback為柱面上離相機最遠的點，由此導致同一高度的點在成像時具有了不同的高度，在圖像平面上的相應位置分別為P′front和P′back，通過相似關(guān)系可以得到：

其中hf和hb分別表示在圖像上點P′front和P′back的縱坐標值，d為鏡頭至物體之間的距離。

圖4 柱面垂直校正關(guān)系圖Fig.4 Cylindrical vertical correction

經(jīng)過水平以及垂直方向上的校正補償即可對柱面標簽進行近似的展開，其后通過雙線性插值算法對缺失的像素點進行近似計算，如圖5所示，可以看出經(jīng)過校正后的圖像（b）已經(jīng)非常近似于平面標簽。

圖5 柱面標簽校正對比圖Fig.5 Image of cylinder label calibration contrast

3.2 標簽圖像拼接融合

完成柱面標簽的反投影校正后每一對相鄰的標簽進行圖像配準［12-13］找到對應位置關(guān)系，然后對其進行拼接融合處理［14］，其中漸入漸出算法是常用的拼接融合方法，其權(quán)重是成線性變化的，受其啟發(fā)可以將其權(quán)重變?yōu)榉蔷€性［15-16］，使拼接過渡自然，于是將其線性函數(shù)權(quán)重改進為基于sigmoid 函數(shù)的權(quán)重，sigmoid函數(shù)表達式如式（3）所示，其權(quán)重ωs的變化如圖6所示。

圖6 sigmoid函數(shù)權(quán)重變化圖Fig.6 Sigmoid function weight change graph

權(quán)重ωs的表達式如式（4）所示，其取值范圍為（0，1），其中i表示重疊區(qū)域中的像素點在圖像水平方向上的坐標值，L和R分別表示重疊區(qū)域的左邊界和右邊界水平方向上的坐標值，通過調(diào)節(jié)k值大小來改變sigmoid函數(shù)的變化趨勢。

根據(jù)權(quán)重ωs則可對兩圖像進行拼接融合，而重疊區(qū)域的像素點灰度值計算公式如式（5）所示：

3.3 缺陷檢測算法設計

在飲料瓶的標簽進行包裝套標時，會由于標簽熱縮機不均勻而導致塑料薄膜標簽的破裂，而破裂后的區(qū)域顯示的是飲料液體本身的顏色。針對飲料液體本身的顏色信息特征再結(jié)合標簽的顏色，可以對飲料液體自身的顏色進行提取，即將飲料液體顏色作為前景，標簽信息較為復雜且不具有統(tǒng)一性，即作為背景。本文提出了一種基于顏色空間的雙閾值算法來進行標簽缺陷檢測，該算法基于RGB和HSV兩種顏色空間，RGB顏色空間是計算機技術(shù)中最常用的顏色表示方式，而HSV顏色空間是根據(jù)人類對于顏色的直觀特性而提出來的，比較接近于人類對色彩的感知方式，而且對環(huán)境中的亮度干擾具有一定的穩(wěn)定性。

圖7 柱面標簽拼接展開圖Fig.7 Cylinder label mosaic image

在顏色空間下針對飲料液體自身的顏色特征，分別統(tǒng)計飲料液體RGB 空間下三通道的均值Rm、Gm、Bm以及HSV 三通道的均值Hm、Sm、Vm，然后設計一個上下閾值，如式（6）～（7）所示：

然后根據(jù)篩選出來的像素點進行連通形成一個個區(qū)域，對這些區(qū)域作形態(tài)學處理中的閉操作運算，最后對這些區(qū)域作并集運算即可將破裂的標簽區(qū)域分割出來，如圖8中紅色區(qū)域所示。

4 結(jié)束語

本文針對飲料柱面標簽提出了一種基于機器視覺以及圖像處理技術(shù)的標簽缺陷檢測系統(tǒng)。該系統(tǒng)能夠全方位的獲取標簽的圖像信息，提出了柱面反投影補償算法以及基于顏色空間的雙閾值標簽缺陷檢測算法，該算法計算量較小，運行速度較快，對于飲料柱面標簽破損具有良好的檢測效果。系統(tǒng)具有很好的實用性，可以對近似于圓柱體的飲料柱面標簽缺陷檢測，有望在飲品行業(yè)進行廣泛的推廣應用。

圖8 標簽缺陷檢測示意圖Fig.8 Label defect inspection Image