基于增強模板的鞋體涂膠特征點快速匹配提取

申啟訪 楊煜俊, 肖 旺 李杰誠

(廣東工業(yè)大學機電工程學院CIMS實驗室 廣東 廣州 510006) 2(廣州巨輪機器人與智能制造研究院 廣東 廣州 510530)

0 引 言

隨著科技的發(fā)展,制造工廠不斷地改造升級,勞動密集型的企業(yè)不斷引進機器人來改進升級,提高競爭力[1]。在“中國制造2025”戰(zhàn)略推出之后,越來越多企業(yè)向智能制造的方向改進升級[2]。鞋業(yè)制造是典型的勞動密集型產業(yè),近年來勞動力成本不斷提高,制造裝配業(yè)向東南亞轉移,訂單流失[3],競爭壓力越來越大。由于技術和貿易商的壁壘,我國鞋類產品對歐美等地區(qū)出口出現明顯的下降趨勢[4]。為應對社會和行業(yè)環(huán)境變化,鞋業(yè)制造有必要向自動化智能化轉變,提高生產效率,減少人工,提高質量,降低成本。

機器人結合機器視覺,“手+眼”的加工技術是現代工廠中自動化和智能化的關鍵技術[5]。近年來有不少將機器視覺應用于運動鞋的噴膠貼合的案例,如武傳宇等[6]利用線結構光掃描獲得鞋底曲面輪廓信息并自動生成噴膠路徑,丁度坤等[7]利用遺傳算法對2D鞋底圖像進行閾值分割并提取邊緣信息開發(fā)涂膠系統(tǒng)。而拖鞋噴膠裝配案例甚少,由于拖鞋鞋體為特定局部區(qū)域側面噴涂,且顏色不一、擠壓形變和環(huán)境光變等因素,對涂膠區(qū)域的圖像特征提取也變得尤為困難。針對實際拖鞋自動化裝配生產場景,利用鞋體整體變形大而局部特征變形小的特性,應用3D激光線掃進行圖像穩(wěn)定采集,獲取外形輪廓的尺寸、形狀等成型信息,并通過點云數據處理生成相應的信息文件[8];基于深度信息進行背景閾值分割,通過增強模板庫的基于邊緣特征模板匹配的方法,對涂膠特征區(qū)域進行匹配定位,然后結合曲率尺度空間的角點定向提取方式,實現精準快速的涂膠特征點提取,對不同鞋碼不同顏色鞋體都具有良好的適用性與穩(wěn)定性,滿足實際生產需求。

1 鞋體圖像采集

圖像采集是圖像處理的前提,要從原始圖像中得到想要的特征信息,圖像采集的方式和成像環(huán)境的營造(燈光等)起著重要作用。如圖1中標注,拖鞋裝配自動裝配需要得到鞋底兩側的貼合凹面和鞋面兩側的貼合區(qū)域的位置信息。根據生產中膠水噴涂要求,鞋底側面涂膠點誤差范圍不超過1 mm,使膠水貼合面更加均勻,避免漏膠現象出現。鞋面根據噴涂面積要求以及噴膠槍嘴線寬,給定點位使噴膠機器人噴涂效果達到貼合要求并避免膠水噴出鞋面。若用2D相機,如圖2所示,光源環(huán)境會直接影響圖像質量,因拖鞋擺放位置與光源或成像中心的相對偏離關系,會造成反光或者側影出現,導致后期圖像處理出現困難或者直接丟失局部特征信息,導致后期坐標位置提取失敗或者坐標漂移噴涂波動過大,遠達不到生產要求。而且因為環(huán)境因素的難以控制和擺放位置的隨機偏差,所以2D相機采集圖像不是理想的方式。

圖1 主要步驟

圖2 涂膠區(qū)域特征及反光、側影、側面信息丟失等

因而采用3D圖像采集的方式,高頻的激光具有極強的抗干擾能力,利用激光線掃獲取圖像平面以及深度信息,而后通過點云數據處理生成相應的深度圖像。激光位移傳感器原理利用激光三角測量法原理[9]。

如圖3所示,激光器發(fā)射激光通過鏡片投射到物體(a或b),反射光被鏡片收集投射到CCD陣列,因為距離不同,CCD陣列檢測到光點的(角度)位置也不同,根據CCD中物象的位置和已知激光器到CCD相機之間的距離和角度,通過數字信號處理器計算便可以得到傳感器和物體之間的距離。

圖3 激光三角測量法原理

采取3D激光線掃圖像采集方式,可適應惡劣環(huán)境。但是3D激光在圖像采集過程中也會存在邊緣像素跳動的問題,如圖4所示,在鞋體輪廓邊緣位置同一位置,前后連續(xù)采集的照片會造成個別像素信息的差異或者缺失,會對后續(xù)圖像處理有一定的干擾。主要是因為激光設備投射出去的光得不到很好的反射或者超出接受范圍,反復實驗得出,這與被測鞋體表面粗糙程度、顏色、材料等都有一定的關系。文獻[10]做出了更詳細的研究,在鞋體圖像采集中可通過調節(jié)采集為高曝光、采集頻率低于相機極限5%、采集高度250 mm等,使像素波動降到最小。

圖4 邊緣像素差異或缺失

本文的3D視覺采用Eye-to-Hand方式,3D相機安裝在機械手附近的龍門架上,激光采集采用直線電機編碼器觸發(fā),合成單列照片。如圖5所示,為產線傳輸效率的提高,可采用整板傳送方式,由于線掃描范圍限制,需要對整板圖像進行4次掃描,將線掃描獲得的數據圖像,再根據深度信息通過點云庫轉換成深度圖像,而后對圖像進行處理和分析。

圖5 整板傳送與分列掃描采像

圖6 預處理得到目標圖像

2 基于增強模板的特征區(qū)域快速匹配提取

2.1 參數自適應圖像預處理

對采集的圖像進行預處理,主要對轉換后的灰度圖像進行圖像濾波降噪,閾值分割,基于Canny[11]算子對二者圖像輪廓提取,分離前景和背景,ROI截取,得到鞋體目標圖像。激光線掃得到的3D點云圖,轉換成深度圖像,圖像的像素值對應的是相機到采集點的距離,可直接反映被測物的表面形狀。因為鞋體具有厚度,在深度圖中可通過閾值明顯分割背景。但是由于加工誤差或者壓迫變形,每只鞋底高度或形狀不可能一致,存在一定的差異。為了能自動穩(wěn)定得到目標圖像區(qū)域,預設合適低閾值u進行背景分割,去除背景區(qū)域,每次預處理得到鞋體區(qū)域圖像后與最小標準模板的像素面積進行對比。若連通區(qū)域存在滿足像素面積與標準面積差距在±5%,則保存目標區(qū)域。否則分割閾值遞增t,直到分割到滿意的目標圖像。

2.2 基于邊緣特征增強模板庫創(chuàng)建

主流的模板匹配框架中有基于灰度的模板匹配和基于特征的模板匹配兩大類?；诨叶绕ヅ溆址Q作相關匹配算法,主要利用子圖與模板圖的灰度,通過歸一化互相關系數法(NCC)來計算二者之間的匹配程度便可實現目標查找,模板圖像T∈Rm×n在與查找圖像中子圖像Si,j∈Rm×n匹配,相關度可表示為:

(1)

鞋體涂膠特征檢測中,只需對鞋體外輪廓邊緣涂膠特征區(qū)域進行快速匹配定位,圖像特征點要比像素點少得多,故使用基于特征的模板匹配方法,極大程度上減少了搜索匹配過程的計算量,提升檢測速率,基本實現實時檢測。Steger等[12]基于邊緣特征模板匹配做了大量研究,在剛性物體圖像模板匹配外,在可變性物體如諧波形變[13]和平面形變[14]場景中實現很好的匹配查找效果?；谶吘壧卣鞯哪０迤ヅ溥^程主要包括創(chuàng)建模板和匹配查找模板。

(1) 原始輪廓模板組(Original Edge Template Group)

對每個特征模板增強主要方法過程如程序1所示。

程序1特征模板增強過程

FT:原始特征 ST:縮放特征 AT:旋轉特征

1 For i=0;i< FeatureNum;i++ do

//對每個特征

2 For j=0;j

//縮放特征

3 S=scalestart+j*scalestep;

//縮放比例

4 FT[i].ST[j]=FT[i].DownImg(S)

5 For k=0;k

//旋轉特征

6 A=anglestart+k*scalestep;

//旋轉角度

7 FT[i].ST[j].AT[k]=ST[j].RotateImg(A);

8 //生成每個特征的縮放旋轉邊緣模板ATPtr

9 Gen_T(AngelT[k],out FT[i].ST[j].ATPtr[k])

10 End for

11 End for

12 End for

2.3 鞋體特征區(qū)域快速匹配定位

(2)

相似度計算函數返回值0≤R≤1,若存在完全匹配則返回值1,若完全不存在匹配則為0。通常,模板與搜索圖像相似度達到一定程度我們便認為二者匹配。為加快搜索過程,查找過程中設置最低匹配度Rmin,則無須計算模板中所有點,只需檢索部分點,可用部分匹配度和Rm:

(3)

(4)

式中:g為貪婪系數,如果g=1,則使用硬標準檢查模板模型中的所有點,如果g=0,則僅使用安全標準檢查所有點。

由于對同款鞋體而言,不同碼數的鞋體涂膠處特征幾乎只存在形態(tài)縮放差異,因此利用增強模板庫可對不同碼數鞋體圖像進行特征區(qū)域輪廓提取。模板匹配時,對相機系統(tǒng)采集的圖像進行實時邊緣提取后作為搜索圖像S,單列圖像有四個鞋體,切分為四個子圖像Sn(n=1,2,…,4)進行搜索,匹配完成后轉換回原圖像素坐標系。設定最小匹配度Rmin=92,遍歷模板數據集M中的模板Mi,對子圖像子窗口Sn(u,v)(50×100)進行計算匹配,當匹配度Rm≥92時,得到符合匹配的特征區(qū)域,得到定位像素點(u,v),此時便完成了特征區(qū)域快速粗定位。以(u,v)為中心、半徑為50像素的圓對鞋體輪廓進行截取,得到鞋體輪廓上的準確特征區(qū)域。

3 基于曲率尺度空間的定向特征點提取

如圖8所示,匹配定位截取出來的圖像由于鞋底本身形狀、隨機的擺放、圖像采集干擾等因素,特征區(qū)域的輪廓出現各樣的曲線,每段曲線出現1～3個明顯特征角點,如何提取出目標點是我們下一步工作。

圖8 輪廓匹配截取區(qū)域圖像

對于角點的提取有基于曲率尺度空間檢測和基于選點累加近距離檢測兩種方式[16]。本文采用基于曲率尺度空間的拐角檢測方法,主要使用不同尺度的高斯函數對輪廓曲線進行平滑處理,并計算曲線上每個點的曲率,將曲率絕對值大的點視為角點候選,并根據特定條件將其刪除。在不合適的點刪除之后,剩下的就是目標角點[17]。對于截取的平面輪廓曲線,可得到輪廓曲線有序的像素點坐標集,通過計算相鄰像素點的曲率變化,便可得到角點候選點。為了提高效率,采用以下公式進行曲率變化迭代計算:

(5)

式中:n表示兩個像素點的序號差;X和Y表示像素點的坐標;k表示點pi和pi+n兩點的斜率。當k滿足我們對角點的斜率變化設定時,取中間序號(i+n/2)像素坐標值為目標角點坐標值,在滿足精度要求下可以加大n的值提高效率。

由于四個角點曲率值不同,且不同鞋底圖像角點成像也會變化,所以不能設定角點曲率變化k去篩選角點。為此,我們限定了曲率的計算方向,如圖9所示,曲線上的計算迭代都由凹面內側往上下兩側方向進行,計算出曲率變化最大的地方,我們就以此為目標角點。

圖9 鞋底特征提取效果

鞋面特征提取主要根據鞋面輪廓進行偏移,以圓角曲率作為參考,可根據噴膠工藝獲得設定圖像坐標點。如圖10所示,預處理后得到鞋面外輪廓曲線,做上下邊緣線的平行線,往內部偏移一定的距離,平行線會與鞋面?zhèn)容喞袃蓚€交點,以交點為參考,沿平行線往內移動合適的距離便可得到點1和點2,點3和點4由同樣的方式得到。線段1、2和線段3、4的間距根據噴膠需求進行調整。

圖10 鞋面特征提取與效果

4 實驗結果及分析

為方便測試操作檢驗圖像檢測效果,對上文算法設計在Windows 7系統(tǒng)使用VS2015 C#進行人機交互界面編程,實驗中使用SmartRay ECCO75系列激光線掃傳感器進行圖像采集,掃描環(huán)境為普通自然光場環(huán)境,無打光,單列照片分辨率1 015×5 200的.png格式深度圖,圖像像素值區(qū)間為[0,65 535];鞋體區(qū)域提取閾值由33 690開始自適應以+10遞增,鞋面區(qū)域提取閾值由33 600開始自適應以+10遞增;邊緣特征模板大小框選為50×100像素區(qū)域,區(qū)域過大則匹配計算時間長,過小則特征信息不足;模板特征點提取曲率間距參數設為20,避免間距過大或過小而特征點定位不準甚至錯誤。如圖11所示,軟件系統(tǒng)對調試車間現場隨機擺放的鞋體或者鞋面的相機實時采集圖像進行特征點的正確提取,但由于界面圖像只能驗證整體算法正確性,具體檢測精度還得進行涂膠驗證。

圖11 鞋體特征檢測人機交互界面

根據現場生產要求對于鞋底圖像特征的提取,四個角點位置實際誤差不能大于1 mm,否則對噴膠工藝會造成很大的影響,造成因膠水外噴不美觀且浪費,或膠水不全影響與鞋面的粘合質量等。為此進行了特征提取后的針尖對點檢驗,即讓機械臂裝上尖錐運動至圖像處理轉換得到的在實物鞋體上的坐標,測量針錐與標準噴涂定位點的偏差。表1是對39至42碼型號藍色鞋以及各碼數混合進行測試的數據,相機曝光強度為300。

表1 藍鞋針尖對點檢驗數據結果

黑色鞋體對激光吸收較強,圖像采集時將相機曝光強度設為高曝光480,否則激光采集存在數據丟失。同樣對39至42碼型號黑色鞋以及各碼數混合進行測試,結果如表2所示。

表2 黑鞋針尖對點檢驗數據結果

涂膠對點實驗得出,圖像特征提取得到的結果,轉換到實際機械臂針尖對點,除有個別因為圖像像素跳動等干擾因素存在較大的誤差,對藍色單一碼數以及混合碼數均可達95%以上的達標率。由于黑色鞋體圖像采集較藍色不穩(wěn)定,達標率相對較低,像素邊關跳動較大(誤差2 mm以上)。總的來看,對兩色鞋體達標率平均在94%以上。如圖6采集方式,軟件系統(tǒng)單列圖像檢測提取時間為1.51 s,線激光單列掃描時間約3 s,特征提取方法完全適應且遠快于產線節(jié)拍。

5 結 語

基于增強模板匹配定位匹配的3D視覺檢測系統(tǒng)針對不同鞋碼不同顏色拖鞋鞋體都具有良好的適用性與穩(wěn)定性,精準快速地實現涂膠特征點提取,實現實時檢測,滿足生產需求。算法系統(tǒng)在實際拖鞋裝配產線中實現拖鞋涂膠定位點智能提取,引導機器人操作實現自動化裝配制造,總體效率為人工的3倍以上,合格率達到94%以上,實現引導機器人自動霧狀噴膠,膠量比人工刷涂節(jié)約1/2。

制鞋業(yè)引入自動化技術是必然趨勢,通過對拖鞋裝配生產線中機器視覺圖像的采集以及圖像特征檢測處理方法進行研究,為機器視覺與機器人技術應用到拖鞋等多色易變形鞋體的自動化涂膠裝配中提供了思路和方法,提高生產效率,節(jié)約人工以及材料成本。