基于機器視覺的口杯酒瓶蓋旋轉(zhuǎn)角度測量方法

劉浩南1， 張 輝1,， 吳成中， 王耀南

(1.長沙理工大學 電氣與信息工程學院，湖南 長沙 410114； 2.湖南大學 機器人視覺感知與控制國家工程實驗室，湖南 長沙 410004)

激光打碼是口杯酒生產(chǎn)線上非常重要的工序，用于打印位于口杯酒頂端的生產(chǎn)日期和銷售地址。然而，實際生產(chǎn)中，口杯酒在壓蓋環(huán)節(jié)極易發(fā)生自旋，如圖1(a)所示，從而導(dǎo)致打碼字樣與酒蓋商標的角度不一致，無法滿足激光打碼的“口杯酒的旋轉(zhuǎn)角度一致”要求?，F(xiàn)階段，為解決該問題主要采用人工手動調(diào)節(jié)瓶蓋方向的方式，但這種人工旋瓶修正存在效率低下、可靠性差、勞動密集的缺陷，長時間執(zhí)行單調(diào)乏味的工作造成操作人員心理和生理的高度疲勞，導(dǎo)致旋轉(zhuǎn)角度無法達到精確一致。目前雖然出現(xiàn)了少數(shù)半自動旋蓋器，但其旋蓋效果不佳，在打碼過程中容易出現(xiàn)打歪或者漏打。因此，現(xiàn)階段迫切需要一種有效的自動化瓶蓋角度旋轉(zhuǎn)檢測方法。

圖1 口杯酒瓶蓋旋轉(zhuǎn)后與未旋轉(zhuǎn)的對比圖

目前，很多行業(yè)存在角度測量的問題，大量學者針對該問題提出了很多方法。生物醫(yī)學方面，Cao Y等人[1]提出利用投影圖像計算基于主血管和側(cè)支中心檢測的分叉角；社會運用方面，Roy N D等人[2]提出利用視網(wǎng)膜圖像計算分叉角來保障電子護照安全；工程運用方面，Saxe C D等人[3]提出一種可行的利用視覺和模板匹配計算重型貨車鉸接角度的方法；圖像恢復(fù)和測量方面， Chen C等人[4]提出利用二維頻譜旋轉(zhuǎn)圖像的隱藏周期性進行操作來估計旋轉(zhuǎn)角度。

本文的主要思想是基于機器視覺的旋轉(zhuǎn)角度測量,尋找感興趣區(qū)域?qū)Φ玫降膮^(qū)域進行二值化分析的方法，能夠有效計算出口杯酒的旋轉(zhuǎn)角度，并將角度發(fā)送給旋瓶機構(gòu)，當瓶體到達旋瓶機構(gòu)位置時，瓶體被精確旋轉(zhuǎn)，保證激光打印時瓶體旋轉(zhuǎn)角的一致性要求。在口杯酒高速生產(chǎn)線上達到實時視覺精確定位與位姿修正，該檢測方法高速、準確、穩(wěn)定，滿足高速生產(chǎn)線的實時在線檢測需求。口杯酒旋轉(zhuǎn)角度測量算法流程如圖2所示。

1 口杯酒瓶蓋旋轉(zhuǎn)角度測量與修正法

1.1 幾何法測量口杯酒拉環(huán)與水平線的角度

幾何法測量口杯酒拉環(huán)與水平線的角度的過程如圖3所示。

圖2 口杯酒旋轉(zhuǎn)角度測量算法流程圖

圖3 幾何法測量口杯酒拉環(huán)與水平線的角度

1.1.1 圖像預(yù)處理與檢測區(qū)域粗定位

高速生產(chǎn)線上的口杯酒高速移動，當口杯酒接近光電開關(guān)時，光電開關(guān)即刻觸發(fā)工業(yè)CCD相機采集一幀圖片，記作Image0，如圖3(a)所示。

計算機對采集到的圖像進行二值化操作，將口杯酒從背景圖像中分割出來，T1為設(shè)定二值化分割閾值，Image0(x,y)為圖像中(x,y)位置像素的灰度值，得到分割后的二值圖像Image1，示意圖如圖3(b)所示。二值化操作公式為

(1)

搜尋Image1面積最大的連通域Blob，需提取的部位如圖4(b)所示。由于口杯酒的瓶蓋含有拉環(huán)、印字，且瓶蓋因有字體而外形復(fù)雜，為保證瓶蓋定位中心的準確性，采取孔洞填充，并用重心法對瓶蓋位置進行粗定位。重心法計算過程如下：

(2)

(3)

式中，O(x0,y0)為圓形蓋子的圓心；M為Blob像素點總數(shù)；RBlob為最大連通域Blob的半徑。由此，得到了最大連通域的圓心和半徑，接著粗定位口杯酒瓶蓋的圓環(huán)感興趣區(qū)域RegionDiff，如圖3(e)所示。以O(shè)(x0,y0)為圓心，分別以R1、R2為半徑繪制圓形區(qū)域C1、C2，其中R1>R2。將兩圓形區(qū)域作差，獲得圓環(huán)區(qū)域RegionDiff=C1-C2,其中R1∈(0.5RBlob,0.6RBlob),R2∈(0.35RBlob,0.45RBlob),取R1=0.56RBlob，R2=0.39RBlob，RegionDiff中包含了圖4(a)所示的白色圓環(huán)。

圖4 口杯酒瓶蓋組成及檢測區(qū)域粗定位示意圖

1.1.2 高精度感興趣區(qū)域定位

分析RegionDiff的特性，發(fā)現(xiàn)圓環(huán)被拉環(huán)截斷，如圖4(c)所示，根據(jù)拉環(huán)的彎曲方向，選出未覆蓋的圓形區(qū)域，計算出瓶蓋的豎直方向，即+90°或-90°方向。對RegionDiff進行二值化操作，得到白色圓環(huán)二值圖像RegionDiff_Bin，如圖3(g)所示。圖像二值化過程如下。

(4)

式中，G(x,y)為RegionDiff中的(x,y)位置處像素點灰度值；T2為能夠?qū)咨珗A環(huán)與背景分開的固定閾值。RegionDiff周邊存在復(fù)雜外形的干擾，為消除這種干擾，搜尋白色圓環(huán)二值圖像的連通域，得到連通域集合Blobs2，計算出每個連通域的面積大小，從Blobs2中將面積小于Sr的連通域移除，得到剩余連通域Blob2_ring，如圖3(i)所示。其中，Sr為設(shè)定的連通域面積閾值。消除干擾后的Blobs2中剩余的連通域Blob2_ring均來自圖形中的白色圓環(huán)Ring()；對Blob2_ring進行空洞填充，得到非空洞連通域集合Blob2_fillup

(5)

對Blob2_fillup中所有連通域求或，得到高精度感興趣連通域Blobs3。然后，通過最小二乘法計算Blob3的最小外接圓Circle_out，獲得圓心Oc(x0,y0)，半徑為Rout。

1.1.3 基于特征的角度計算

以O(shè)c(x0,y0)為圓心，0.85Rout為半徑，繪制圓形連通域Circle_fit，并將Blob3與Circle_fit作差，得到新閾值Segment=Blob3-Circle_fit。其中，0.85Rout為根據(jù)具體分割要求獲得的固定參數(shù)。至此，得到了特征增強后的連通區(qū)域。為計算出旋轉(zhuǎn)角度，根據(jù)面積法，分析被分割圓環(huán)的特征，從特征增強感興趣區(qū)域中找到面積最大的前兩個區(qū)域Rout1′、Rout2′。區(qū)域Rout1′、Rout2′按照以下步驟獲得。

① 從特征增強感興趣區(qū)域中提取連通域。其中，連通域外弧角為鈍角的區(qū)域作為拉環(huán)覆蓋區(qū)域，連通域外弧角為銳角的區(qū)域作為未被拉環(huán)覆蓋區(qū)域。

② 利用特征增強感興趣區(qū)域中的圓環(huán)的內(nèi)部圓依次與拉環(huán)覆蓋區(qū)域和未被拉環(huán)覆蓋區(qū)域作差，通過面積排序方法篩選出面積最大的兩個連通域Rout1′、Rout2′。

主要特征提取原理如下。

① 白色Ring()被雙側(cè)拉蓋覆蓋，成像區(qū)域被分割成4個部分，如圖5(a)所示，被覆蓋區(qū)域命名為Rin，未被覆蓋區(qū)域命名為Rout，而口杯酒的旋轉(zhuǎn)角度與經(jīng)過Rout1與Rout2中心的直線一致，因此，只要尋找出Rout1與Rout2區(qū)域即可。

②Rout1、Rout2、Rin1、Rin2這4個連通區(qū)域的面積大小、擬合圓心等相差不大，無法直接分辨出Rout1、Rout2，為此，利用分割區(qū)域的外弧角度不變這一特性來進行區(qū)分。具體為：拉環(huán)為橢圓形，故Rin1、Rin2被拉環(huán)覆蓋，區(qū)域外弧角為鈍角，而Rout1、Rout2未被拉環(huán)覆蓋，外弧角為銳角。

③ 為進一步增強Rin1、Rin2與Rout1、Rout2之間的區(qū)分尺度，將Rin1、Rin2、Rout1、Rout2分別與圖5(b)所示的擬合圓作差，得到圖5(c)所示的Rin1′、Rin2′、Rout1′、Rout2′,其中，Rin1、Rin2外弧角為鈍角，故區(qū)域差分以后，較大區(qū)域被消除，保留較小區(qū)域；反之，Rout1、Rout2較小部分被消除，保留較大區(qū)域。因此，僅需要根據(jù)連通域的面積大小，便可以判斷出Rout1′、Rout2′。

圖5 幾何法測量口杯酒拉環(huán)與水平線的角度

得到Rout1′、Rout2′后，根據(jù)重心法尋找兩者的重心分別為O1(x0,y0)′、O2(x0,y0)′，即

(6)

(7)

根據(jù)兩重心坐標，計算出經(jīng)過兩點直線的傾斜角α為

(8)

至此，口杯酒旋轉(zhuǎn)拉環(huán)與水平線之前的角度計算完畢。

1.2 模板匹配方法測量口杯酒文字與理想情況文字的角度

模板匹配方法測量口杯酒文字與理想情況文字的角度的過程如圖6所示。

圖6 模板匹配測量口杯酒文字與理想情況文字角度

1.2.1 文字輪廓模板

形狀匹配[6-12]和檢索是圖像處理領(lǐng)域的基礎(chǔ)課題。創(chuàng)建一個可供匹配的模板是匹配的前提，需要從參考圖像中選取ROI，并定義選取的ROI，作為后續(xù)匹配的輸入。

首先，采集一幀理想圖像，如圖6(a)所示。之后，觀察口杯酒結(jié)構(gòu)組成，如圖7(a)所示。對圖像進行二值化操作，其中，T2為設(shè)定二值化分割閾值，Image0(x,y)為圖像中(x,y)位置像素的灰度值，得到二值圖像Image1，如圖6(b)所示。二值化操作公式為

(9)

對所得連通域組求或，得到一個新的連通域RegionUnion。之后，進行基于亞像素擴展線性描述操作，通過亞像素邊緣提取，得到RegionUnion的亞像素輪廓Contours。對亞像素輪廓Contours采取橢圓或者圓形擬合，最小化輪廓點(xi,yi)和所得到的橢圓之間的代數(shù)距離：

(10)

式中，約束4ac-b2=1確保了所得到的多項式表征一個橢圓(而不是雙曲線或拋物線)。

擬合之后，得到高精度亞像素輪廓Contours1。依據(jù)Contours1，創(chuàng)建適合匹配的形狀模型——文字輪廓模板，生成形狀模型ModelID。

圖7 口杯酒文字匹配示意圖

1.2.2 模板匹配

采集一幀與模板拍攝環(huán)境相同的圖像，對新得到圖像中查找形狀模型ModelID的最佳數(shù)字匹配實例，將實例的位置和旋轉(zhuǎn)以行、列和角度返回。每一個找到的實例的相似程度、得分會返回到Score中。將Score采用式(11)進行判斷，最終得到圖像與模板之間的角度，角度范圍為0°～360°。

(11)

2 實驗

本實驗運用幾何法測量口杯酒拉環(huán)與水平線的角度、基于模板匹配測量口杯酒文字與理想情況文字角度。其中，手動測量為打印圖片之后手動測量出來的角度。

實驗1：幾何法測量口杯酒拉環(huán)與水平線的角度，實驗中的具體結(jié)果如圖3所示。實際角度是根據(jù)實際口杯酒人工手動測量得到。對45組樣本圖像測試口杯酒拉環(huán)與水平線的角度，得到的部分實驗數(shù)據(jù)見表1。

表1 幾何法測量口杯酒拉環(huán)與水平線的角度 單位：(°)

由表1中測量得到的數(shù)據(jù)與手動測量得到的數(shù)據(jù)可知，此測量方法的準確度達99%，滿足高速流水線上實時測量角度的需求。

實驗2:運用模板匹配測量口杯酒文字與理想情況文字的角度，實驗操作具體如圖6所示。實際角度根據(jù)實際口杯酒人工手動測量得到。對45組樣本圖像測試口杯酒文字與理想情況文字角度，由實驗2得到的部分實驗數(shù)據(jù)見表2。

表2 模板匹配測量口杯酒文字與理想情況文字角度 單位：(°)

由表2中測量得到的數(shù)據(jù)與手動測量得到的數(shù)據(jù)可知，此測量方法的準確度達99%，滿足高速流水線上實時測量角度的需求。

將實驗1測量出的口杯酒拉環(huán)與水平線的角度與2014年提出來的利用二維光譜對圖像旋轉(zhuǎn)中的隱藏周期進行操作得到旋轉(zhuǎn)角度的方法[5]進行比較。

通過在不同的θ范圍內(nèi)對這種方法所得到的角度誤差進行分析。在圖片處理中，使用(f1,f2)來確定圖像的最高峰的位置。利用函數(shù)θ=ψ(f1,f2)與文獻[5]中所給出的誤差分析的一系列公式可知，用這種方法所得到的角度在不同的θ范圍，誤差不同。綜合所有角度誤差分析和文獻[5]的結(jié)論可知，文獻[5]中所給的方法得到的角度的精度在73%～79%。

然而，所提出的方法是通過對單一特性圖像的多次二值化操作得到最簡圖像，通過計算機測量并運用多次重心法得到重心坐標，從而計算得到兩點直線的傾斜夾角。這種方法得到的誤差控制在1%以內(nèi)，遠遠小于文獻[5]中所給方法，極大地提高了準確度，適合用于工業(yè)檢測與生產(chǎn)。

實驗2測量出的口杯酒文字與理想情況文字角度采用傳統(tǒng)歸一化互相關(guān)匹配(NCC)算法作為檢測系統(tǒng)的圖像匹配算法，利用積分圖像思想優(yōu)化算法結(jié)構(gòu)并基于高斯核的金字塔分層匹配，提高了匹配準確度，有利于該方法在工業(yè)上的運用。

在實驗中的口杯酒圖片處理，若參照幾何法測量文字旋轉(zhuǎn)的角度，對重心的確立以及閾值分割時的要求很高，得到的角度相對不準確。但模板匹配測量口杯酒文字與理想情況文字角度法充分分析了理想情況下口杯酒的文字字樣，得到口杯酒的文字輪廓，巧妙使用亞像素輪廓得到精確平滑的形狀模型，作為圖像處理中的形狀模型。對相同拍攝環(huán)境下的多個不同的酒杯進行處理，精確度比幾何法測量更高。

3 結(jié)束語

針對生產(chǎn)實際中口杯酒瓶蓋激光打印不便的問題，提出了一種簡單、快速、穩(wěn)定性好的旋蓋角度測量方法。該方法的關(guān)鍵在于對高速生產(chǎn)線上的口杯酒的圖像采集和二值化瓶蓋以及創(chuàng)建和尋找形狀模型進行匹配。利用幾何測量法對口杯酒拉環(huán)與水平線的角度進行測量，并且與以往的角度測量方法進行了比較，發(fā)現(xiàn)幾何測量法精確有效。利用模板匹配法測量口杯酒文字與理想情況文字的角度，運用傳統(tǒng)歸一化互相關(guān)匹配(NCC)算法作為匹配算法，結(jié)合積分圖像思想優(yōu)化算法結(jié)構(gòu)和基于高斯核的金字塔分層匹配，快速準確地得到角度。通過對實驗結(jié)果的分析可知，模板匹配法更簡便，計算出的角度準確率高。從工程應(yīng)用的角度來看，所提出的模板匹配法能夠有效應(yīng)用于各種瓶蓋激光打碼生產(chǎn)線和生產(chǎn)生活中。