基于四維向量的頻域匹配法實現(xiàn)工件位姿識別*

潘海鴻，莫玉良，陳家春，梁旭斌，林 志，陸生齊

(1.廣西大學(xué)機械工程學(xué)院，南寧 530004；2.廣西安博特智能科技有限公司，南寧 530007)

0 引言

圖像配準(zhǔn)算法作為一種在目標(biāo)中搜索與模板相對部分的識別算法[1]，在機器視覺、圖像拼接和目標(biāo)檢測等領(lǐng)域中均使用廣泛[2-3]。在模板與目標(biāo)圖像僅存在平行關(guān)系時，僅用模板在待匹配圖像上做卷積響應(yīng)，獲得響應(yīng)最大值時的像素點即為匹配位置[4]。而針對帶有旋轉(zhuǎn)的圖像匹配時，角度變化會對匹配效果造成較大干擾。目前，針對無固定方向圖像配準(zhǔn)技術(shù)主要有3大類：①基于迭代的旋轉(zhuǎn)配準(zhǔn)，ZHANG等[5]提取物體邊緣尺寸構(gòu)造離散陣列，將離散陣列與模板圖像進行分步匹配，得到一個粗略的旋轉(zhuǎn)角度，最后采用線性插值的方式迭代得到精確解。該方法依賴迭代匹配獲得精確解，存在匹配時間較長的問題。②基于灰度特性的配準(zhǔn)，呂占偉等[6]使用傅里葉變換將圖像轉(zhuǎn)換至頻域?qū)?shù)極坐標(biāo)系下，使用相位相關(guān)法對模板圖像相位和目標(biāo)圖像相位進行匹配。該方法適用對象高度相似的圖像配準(zhǔn)，有干擾情況下易出現(xiàn)匹配失敗。③基于特征匹配的配準(zhǔn)，實現(xiàn)過程包括模板及目標(biāo)圖像特征提取[7]、模板與目標(biāo)圖像特征匹配、求解匹配參數(shù)等；該配準(zhǔn)方法所提取的特征可以為尺度不變點[8]、顏色特征[9]或部分圖像[10]等。在工業(yè)配準(zhǔn)應(yīng)用中，張明路等[11]對SURF法進行改進，結(jié)合K-Means聚類以及機器學(xué)習(xí)對工件進行特征匹配，在提取效率和精度上相較于SURF法有所提升；但在匹配準(zhǔn)確性上不到90%。江波等[12]基于輪廓特征進行工件匹配，以輪廓Hu不變矩構(gòu)建圖像相似性評價標(biāo)準(zhǔn)，將識別準(zhǔn)確性升至96.7%；但其角度識別為遍歷搜索最大值的方式，在效率上存在不足。

工業(yè)工況下使用機器視覺實現(xiàn)無序擺放工件的位姿識別存在圖像背景復(fù)雜，前景背景分離困難[13]；待配準(zhǔn)圖像與模板圖像相差較大，且清晰度質(zhì)量不一；工件擺放方向不確定，配準(zhǔn)算法需滿足旋轉(zhuǎn)不變性[14]等難題。為此，提出一種新的頻域四維向量匹配的配準(zhǔn)方法(frequency domain 4d-vector matching method，F(xiàn)DVM)，能夠在工業(yè)復(fù)雜背景下實現(xiàn)對工件位置、姿態(tài)的有效配準(zhǔn)。該方法在頻域空間提取圖像特征信息，并利用主要頻域特征區(qū)域構(gòu)建四維向量；通過設(shè)置向量匹配迭代約束條件及收斂條件，測量圖像旋轉(zhuǎn)角度的和檢測位置信息。在自主搭建的鑄件缸蓋識別平臺上驗證該方法，并與傳統(tǒng)的尺度不變特征變換(scale-invariant feature transform，SIFT)、加速穩(wěn)定特征法(speeded up robust features，SURF)和傅里葉-梅林法進行效率以及準(zhǔn)確性的對比。

1 頻域特征識別(FDVM)配準(zhǔn)算法

1.1 頻域直線信息提取

對模板圖像和待配準(zhǔn)圖像進行輪廓提取[15]及二值化處理，將處理后的圖像進行傅里葉變換，獲得圖像頻譜圖。對頻譜圖進行霍夫變換[16]，擬合模板頻域特征直線。參照擬合出的主要特征直線，可獲得特征直線擬合長度下限閾值L(像素)和特征直線擬合數(shù)量N。類似的，對待配準(zhǔn)圖像進行上述操作，獲得待配準(zhǔn)頻域特征直線。

1.2 最鄰?fù)队包c插值法提取特征點

由于頻域特征直線所經(jīng)過的點為亞像素點，為獲得特征直線的灰度信息，需對亞像素特征點進行灰度插值。設(shè)A1，A2，A3和A4分別為圖像中4個相鄰像素點(如圖1所示)，直線(y=kx+b)穿過像素點A1，A2，A3和A4所圍成的區(qū)域。分別作4個像素點在直線上投影點PA1，PA2，PA3和PA4，選擇投影線段最短且在區(qū)域內(nèi)的投影點作為最鄰?fù)队包c(PA4)，該投影點所對應(yīng)的像素點即為直線最鄰像素點(A4)。

設(shè)該區(qū)域內(nèi)最鄰?fù)队包c為P(x,y,g)(如圖2所示)，其中g(shù)為點P處灰度值。分別作點P在y軸上的投影P1(x,y1,gx1)和P2(x,y2,gx2)。

圖1 投影點計算 圖2 亞像素值計算

使用線性插值求解投影點的灰度信息g，投影點P的灰度計算方程為：

(1)

(2)

1.3 構(gòu)建特征向量

設(shè)6個圖像相鄰像素點分別為A1，A2,…,A6，特征直線l1穿過6個像素點所在區(qū)域(如圖3所示)。依次求解特征直線的最鄰像素點(A1，A4，A5)在直線上的最鄰?fù)队包c(P1，P2，P3)，連接P1，P2獲得灰度變化向量Vg1，類似的，連接P2，P3獲得灰度變化向量Vg2。

圖3 頻域向量構(gòu)建

特征投影點gn處灰度變化向量Vgn表示為：

(3)

以投影點坐標(biāo)值及灰度向量對第i條直線中每個點構(gòu)建四維向量Vij：

(4)

式中，Ki為第i條直線投影點數(shù)量；gj為第j個點的灰度值；xj，yj為分別第j個點的x值和y值。向量前兩項分別表示點在x方向及y方向上的灰度梯度變化，即圖像變化程度；向量后兩項表示點在頻譜圖中的位置，即圖像變化方向。

1.4 四維向量匹配

設(shè)模板特征直線集表示為L={L1,L2,…,LN}，在第n條特征直線(0

在模板頻域向量集合V中，分別取N條直線中點向量，作為匹配點初始質(zhì)心向量集合μ={μ1,μ2,…,μN}，定義向量分類集S={{μ1},{μ2},…,{μN}}，各個向量集初始值僅含質(zhì)心向量。以所有模板向量V與待配準(zhǔn)圖像向量W構(gòu)建總向量集合Vall={V,W}，記四維向量總數(shù)為nall。

步驟1：計算Vall中各向量與各個質(zhì)心向量的歐式距離D和質(zhì)心向量間的歐式距離d：

(5)

(6)

式中，vm表示集合Vall中第m個向量；μn為第n個質(zhì)心向量。設(shè)定向量近似度ρ來權(quán)衡向量與質(zhì)心的離散程度，當(dāng)向量vm滿足Dmn<ρ時，則將vm歸于第n類。

步驟2：以類內(nèi)向量歐式距離盡可能小，類間歐式距離盡可能大，構(gòu)建損失函數(shù)：

(7)

步驟3：依據(jù)損失函數(shù)更新向量近似度及N類的質(zhì)心向量信息和更新質(zhì)心位置：

ρnew=ρ·loss

(8)

(9)

式中，Ni為第i類中四維向量數(shù)量；vk為第i類中第k個四維向量。

重復(fù)步驟1～步驟3，當(dāng)損失函數(shù)小于設(shè)定最小損失值lossmin時結(jié)束循環(huán)，此時得到四維向量匹配集S={{μ1,{v|v∈S1}}，{μ2,{v|v∈S2}},…,{μN,{v|v∈SN}}，在N類四維向量匹配集中分別提取主要特征直線進行分類：

lm,Ln∈Ti
s.t.Vn,Wm∈Si
m,n,i∈N

(10)

式中，Ln表示第n條模板特征直線；lm表示第m條待配準(zhǔn)特征直線；Ti表示特征直線集第i類；Vn表示Ln的四維向量集；Wm表示lm的四維向量集。該式表示若模板四維向量集與待配準(zhǔn)四維向量被分類于某一匹配集，則其所在特征直線也被歸于同一直線分類集。構(gòu)建特征直線分類集T={{L,l|L,l∈T1},{L,l|L,l∈T2},…,{L,l|L,l∈TN}}。

匹配流程如圖4所示。

圖4 四維向量迭代匹配法

1.5 工件角度及位置識別

將特征直線分類集T中的N類模板特征直線與待配準(zhǔn)特征直線進行配準(zhǔn)(如圖5所示)，計算N條模板圖像特征直線與待匹配圖像特征直線夾角：

(11)

式中，θk為模板圖像第k類特征直線角度值；βk為待配準(zhǔn)圖像第k類特征直線角度值；αk為第k類特征直線夾角；αm為特征角平均值。

圖5 特征直線匹配

對模板圖像旋轉(zhuǎn)αm角度，基于旋轉(zhuǎn)后模板圖像對待配準(zhǔn)圖像使用基于歸一化方差的模板配準(zhǔn)算法進行配準(zhǔn)，獲得配準(zhǔn)后的位置信息，結(jié)合所求旋轉(zhuǎn)均值αm，即獲得工件在圖像中的旋轉(zhuǎn)及位置信息。

2 實驗驗證

FDVM方法輸入為m1行n1列的模板圖像以及m2行n2列的待配準(zhǔn)圖像，系統(tǒng)輸出為待配準(zhǔn)圖像中目標(biāo)圖像的位置及姿態(tài)信息(如圖6所示)。FDVM方法由輪廓提取及頻域化模塊和頻域向量匹配模塊組成：輪廓提取及頻域化模塊實現(xiàn)圖像去噪、主要輪廓特征提取以及特征頻域化；頻域向量匹配模塊實現(xiàn)頻域內(nèi)特征向量的構(gòu)建、特征向量迭代匹配。

圖6 FDVM方法框架

圖7 缸蓋智能分揀流水線

使用缸蓋智能識別平臺(如圖7所示)作為實驗驗證平臺。該平臺技術(shù)指標(biāo)為：①能適應(yīng)工件不規(guī)則噴油；②滿足工件方向不定工況；③處理時間小于200 ms；④工件識別角度誤差小于2%。使用FDVM法對流水線上無序擺放缸蓋工件配準(zhǔn)驗證。實驗硬件環(huán)境為CPU i7 8700，內(nèi)存16 G，?？低昅V-CE050-31GM相機；實驗軟件環(huán)境為Win10，Visual Studio 2015，OpenCV3.4.1。

對工件模板圖像(如圖8a所示)進行圖像頻域化-直線特征提取(如圖8b所示)，使用霍夫變換擬合特征直線(如圖8c所示)，依據(jù)最鄰?fù)队包c插值法獲得最鄰?fù)队包c，構(gòu)建特征向量VT。

(a) 模板圖 (b) 頻譜圖 (c) 直線特征圖

拍攝平臺上缸蓋位置圖(如圖9a所示)，該圖尺寸為2592×1944。首先截取工作區(qū)域，將保留流水線及工件特征后的圖進行對比度強化處理(如圖9b所示)，對裁剪后圖像使用自定義一階差分卷積核進行卷積，獲得流水線上工件輪廓特征(如圖9c所示)。對圖像進行形態(tài)學(xué)處理提取圖像中輪廓信息(如圖9d所示)。去除小輪廓信息獲得流水線上主要工件特征部分(如圖9e所示)。

(a) 原始圖 (b) 工作區(qū)域圖 (c) 輪廓特征圖 (d) ROI提取圖 (e) 工件特征圖

圖9e中的輪廓特征圖經(jīng)傅里葉變換轉(zhuǎn)換至頻域下，獲得其頻譜圖(如圖10a所示)。對頻譜圖二值化處理(如圖10b所示)，對處理完畢后的圖像進行霍夫直線擬合(如圖10c所示)。構(gòu)建待配準(zhǔn)直線特征向量VI，將其與模板特征向量VT進行匹配。計算當(dāng)前待配準(zhǔn)圖像直線特征角θ1為-29.14°，θ2為119.10°。求得當(dāng)前圖像旋轉(zhuǎn)角度為29.12°。

(a) 頻譜圖 (b) 二值化圖 (c) 直線特征圖

為驗證旋轉(zhuǎn)角度求解精度，使用單次旋轉(zhuǎn)模板0.5°步長進行基于歸一化方差最小化的模板配準(zhǔn)。當(dāng)配準(zhǔn)方差最小時，圖9b目標(biāo)圖像中心點位置為(1375，943)，旋轉(zhuǎn)角度為29.5°，將該角度作為精確計算角度。

對所擬合特征直線進行匹配，設(shè)定向量近似度ρ初始值為100，最小損失值lossmin為0.5，對特征直線進行分類。求解模板特征直線與分類后的待匹配特征直線夾角αk，并求解夾角平均值αm。分別使用SIFT法、SURF法以及傅里葉-梅林法(FMT法)對圖7a進行配準(zhǔn)，其配準(zhǔn)結(jié)果如表1所示。

表1 配準(zhǔn)算法對比

為保證算法魯棒性和避免偶然性，對5種工件各拍攝20種不同姿態(tài)和位置的圖像驗證上述4種方法，得到誤差數(shù)據(jù)及計算平均用時如表2所示。

表2 100次實驗統(tǒng)計結(jié)果

由表2可知，相較于SIFT法、SURF法以及FMT法，頻域特征匹配法在保證匹配效率的同時可有效保證角度識別以及匹配精度。由于光源的非均勻性，工件表面成像質(zhì)量會隨工件姿態(tài)變化發(fā)生改變，如圖11所示。

圖11 匹配角度-角度誤差圖

可以看出，隨著匹配角度的增大，SIFT、SURF及FMT法均出現(xiàn)誤差隨之增大的情況。SIFT方法由于匹配點眾多，同時其位置及角度結(jié)果依賴模板圖像特征點與目標(biāo)圖像特征點間投影變換計算，特征點受外界因素影響較大，其配準(zhǔn)效果不穩(wěn)定；SURF方法基于SIFT方法有效提升效率，但仍存在計算時間較長、受外界干擾影響較大等不足；FMT匹配效果較差，對于工件這種帶較強干擾類型圖像易出現(xiàn)匹配失敗情況，同時其角度計算誤差也較大。相較于傳統(tǒng)的SIFT法、SURF法和FMT法，F(xiàn)DVM方法可在強干擾下實現(xiàn)無序工件位姿識別，其在保證測量精度及魯棒性的同時，在計算效率上也有所提升。實驗結(jié)果表明FDVM方法能將角度最大誤差控制在3%以下，角度平均誤差控制在1.5%以下，計算平均時長小于50 ms。FDVM法可滿足不同工況下的工件位姿識別。

3 結(jié)論

為解決工業(yè)現(xiàn)場高干擾工況下，工件位姿識別存在的識別效果差和識別時間長的問題，圍繞配準(zhǔn)特征和配準(zhǔn)方法，對無序擺放工件配準(zhǔn)方法進行研究。具體包括：

(1)基于圖像傅里葉變換的旋轉(zhuǎn)映射不變性，將圖像頻譜圖中的直線信息作為特征，使用霍夫變換對頻譜圖直線信息進行提取。該直線角度即反映圖像旋轉(zhuǎn)角度；

(2)以所提取特征點集的灰度強度及灰度變化梯度構(gòu)建四維向量，通過最小化四維向量分類誤差形式進行分類，可有效避免無關(guān)背景噪聲對角度識別的干擾；

(3)使用工件的模板圖像與無序擺放工件的進行特征配準(zhǔn)，最終獲得待配準(zhǔn)工件的旋轉(zhuǎn)角度和位置信息。相較于傳統(tǒng)SIFT法、SURF法和FMT法，F(xiàn)DVM法在工件位姿識別的效率和魯棒性上均得以有效保證。