基于小波圖像金字塔的工件目標(biāo)檢測(cè)與定位研究

李增祥 漆志亮 賈楠 吳建華

摘 ?要： 在工業(yè)生產(chǎn)線上的產(chǎn)品加工或質(zhì)量視覺檢測(cè)的過(guò)程中，經(jīng)常要完成待加工工件的目標(biāo)圖像匹配或產(chǎn)品的視覺定位，為此，提出一種基于小波圖像金字塔的相關(guān)匹配方法?；谔卣鞯钠ヅ浞椒ㄈ鏢IFT和HOG特征方法，雖然有很好的匹配精度和穩(wěn)健性，但其計(jì)算量相對(duì)較大，通常不易滿足現(xiàn)場(chǎng)實(shí)時(shí)應(yīng)用需求。而提出的基于小波圖像金字塔的工件目標(biāo)檢測(cè)與定位方法，先從低分辨率圖像進(jìn)行粗匹配，再在高分辨率圖像上進(jìn)行精確匹配，從而在基本不降低匹配精度的前提下，大大提高了匹配速度。多圖像的目標(biāo)檢測(cè)實(shí)驗(yàn)以及在點(diǎn)膠機(jī)上的應(yīng)用實(shí)踐均表明文中所提算法優(yōu)于傳統(tǒng)基于模型的目標(biāo)定位和識(shí)別方法，能滿足更多的現(xiàn)場(chǎng)實(shí)時(shí)應(yīng)用要求。

關(guān)鍵詞： 工件目標(biāo)檢測(cè); 圖像匹配; 目標(biāo)定位; 圖像金字塔; 相關(guān)匹配; 檢測(cè)實(shí)驗(yàn)

中圖分類號(hào)： TN911.73?34; TP75 ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼： A ? ? ? ? ? ? ? ? ? ?文章編號(hào)： 1004?373X（2019）15?0033?05

Workpiece object detection and localization based on wavelet image pyramid

LI Zengxiang1， QI Zhiliang2， JIA Nan2， WU Jianhua2

（1. Gongqing College， Nanchang University， Jiujiang 332020， China; 2. School of Information Engineering， Nanchang University， Nanchang 330031， China）

Abstract： During the product processing or visual inspection in industry， there are often needs for object image matching or visual localization for workpiece and products. Hence， a new correlation matching method based on wavelet image pyramid is proposed. Although features based matching methods such as SIFT and HOG features matching methods have a good matching precision and robustness， they ordinarily cannot meet the real?time requirements on the spot owing to a large amount of computation. The proposed workpiece detection and positioning method based on wavelet image pyramid carries out a coarse matching in low?resolution images first， and then conducts an accurate matching in high?resolution images. Thereby， the matching speed is improved a lot under the precondition of keeping the matching accuracy. The results of the object detection experiment on multiple images and application practice in gluing machine show the feasibility and effectiveness of the proposed method， it is superior to the traditional object localization and identification methods based on model， and it can meet requirements of more real?time site applications.

Keywords： wavelet transform; image pyramid; correlation and matching; object detection; object localization; gluing machine

0 ?引 ?言

在目標(biāo)檢測(cè)領(lǐng)域，特征選擇與提取是目標(biāo)檢測(cè)成功和準(zhǔn)確與否的重要前提。Lowe提出高效的尺度不變特征變換（Scale Invariant Feature Transform，SIFT）[1?2]，是局部特征研究過(guò)程中的里程碑式的工作，后來(lái)許多新的特征提取算法或多或少地均是基于SIFT特征的基礎(chǔ)或思路發(fā)展起來(lái)的。例如，文獻(xiàn)[3]提出方向梯度直方圖（HOG）用于行人檢測(cè)，對(duì)1 800個(gè)包括不同姿勢(shì)和背景的行人的檢測(cè)結(jié)果優(yōu)于當(dāng)時(shí)的許多特征，如小波特征、形狀上下文、邊緣方向直方圖等。文獻(xiàn)[4?5]在SIFT特征的啟發(fā)下，沿著Lowe的思路，提出了加速的魯棒特征（Speed Up Robust Features，SURF）。SURF在生成特征矢量時(shí)使用的是積分圖像，而不像SIFT特征描述子使用的是高斯圖像，避免了重復(fù)計(jì)算，因此，SURF提高了檢測(cè)速度。近年來(lái)，圖像局部不變特征的研究不斷取得了一些新的進(jìn)展，且很多都是基于SIFT，HOG，SURF或它們的改進(jìn)算法。在文獻(xiàn)[6?7]中介紹了SIFT和SURF特征以及其他特征描述子（如PCA?SIFT）。文獻(xiàn)[8]將基于SIFT的增強(qiáng)匹配方案用于車輛標(biāo)志的識(shí)別，相比于標(biāo)準(zhǔn)的SIFT特征識(shí)別率得到了很大的提高。文獻(xiàn)[9]提出對(duì)于每一個(gè)SIFT特征使用特定的尺度、方向和位置，以剔除邊緣關(guān)鍵點(diǎn)從而改進(jìn)總體匹配性能，并應(yīng)用于遙感圖像的亞像素級(jí)配準(zhǔn)。

上述這些特征描述子均具有很好的匹配性能，例如尺度不變和旋轉(zhuǎn)不變性等，并成功應(yīng)用于許多領(lǐng)域。但標(biāo)準(zhǔn)的SIFT及其很多改進(jìn)算法均存在計(jì)算量大的缺點(diǎn)，難以滿足很多應(yīng)用場(chǎng)合的實(shí)時(shí)性要求。為此，學(xué)者們和業(yè)界提出了一些快速算法，在保持或略微損失特征描述子的優(yōu)越性能前提下提高匹配速度。文獻(xiàn)[10]提出多層SIFT匹配并應(yīng)用于大尺寸高分辨率圖像配準(zhǔn)，減少了由于重復(fù)性結(jié)構(gòu)引起的錯(cuò)誤匹配，并借助于由粗到細(xì)的策略解決了內(nèi)存需求過(guò)大和計(jì)算復(fù)雜性的問題。文獻(xiàn)[11]提出一種超短二進(jìn)制描述子（Ultrashort Binary Descriptor，USB）并應(yīng)用視覺匹配和圖像檢索，表現(xiàn)了優(yōu)越的性能，且速度比SIFT提高了一個(gè)數(shù)量級(jí)。

本文針對(duì)點(diǎn)膠機(jī)的工業(yè)應(yīng)用，提出一種基于小波圖像金字塔和SIFT匹配方案，以適應(yīng)很多情況下的實(shí)時(shí)應(yīng)用需求。此前，文獻(xiàn)[12]將SIFT特征結(jié)合仿射變換用于點(diǎn)膠機(jī)的工件檢測(cè)與定位，得到了很好的效果，且增加了匹配的仿射不變性，以適應(yīng)環(huán)境條件的變化，如光照不均勻、工件形狀形變等不穩(wěn)定因素。但文獻(xiàn)[12]的方法與上述大多基于SIFT的方法一樣，計(jì)算量仍然偏大。本文基于小波金字塔算法，采用從低分辨率開始由粗到細(xì)、由上到下、由低到高并結(jié)合局部搜索，大大減少了匹配所需時(shí)間，實(shí)驗(yàn)表明本文算法能基本滿足實(shí)時(shí)應(yīng)用需求。

1 ?有關(guān)的基礎(chǔ)性工作

1.1 ?SIFT特征

Lowe首先在希臘科孚島召開的計(jì)算機(jī)視覺國(guó)際會(huì)議（ICCV）上提出SIFT特征[1]，引起了機(jī)器視覺和圖像處理與識(shí)別等領(lǐng)域?qū)W者的強(qiáng)烈反響。隨后，Lowe及其團(tuán)隊(duì)對(duì)SIFT特征提取算法進(jìn)行完善[2]，很多學(xué)者也提出了多種圖像特征提取算法，包括較著名的HOG和SURF特征[3?4]，均具有和SIFT類似的性能。

基于圖像塊的改進(jìn)的SIFT特征描述符的生成步驟如下[12?13]：

1） 選取適當(dāng)?shù)某叨萚σ]，將圖像塊[I]與高斯濾波器函數(shù)[G]進(jìn)行卷積得到這一尺度的高斯圖像塊：

2） 對(duì)高斯圖像塊進(jìn)行縮放，使圖像塊的尺寸為18×18，再對(duì)該尺度的高斯圖像塊進(jìn)行差分運(yùn)算，忽略邊緣效應(yīng)，只取中心位置上的16×16的高斯差分（Difference of Gaussians，DOG）響應(yīng)圖像：

3） 基于上述結(jié)果計(jì)算圖像梯度，包括幅值[m]和相角[θ]：

4） 將16×16的圖像塊再均勻分成如圖1所示的16個(gè)4×4的圖像子塊，根據(jù)每個(gè)圖像子塊的梯度幅度和方向計(jì)算梯度方向直方圖，相位的分辨率為45°，形成4×4×8=128維的SIFT特征向量，如圖2所示。每個(gè)箭頭所指的方向是這個(gè)像素的梯度方向，箭頭的長(zhǎng)度表示在4×4的圖像字塊中的像素梯度幅度的相對(duì)大小。

圖1 ?16×16的圖像塊及其劃分

圖2 ?128維的梯度方向直方圖

5） 直方圖的峰值對(duì)應(yīng)圖像塊梯度的主方向。這也是構(gòu)成旋轉(zhuǎn)不變特征描述子的旋轉(zhuǎn)角。對(duì)特征向量進(jìn)行循環(huán)移位，使特征具有旋轉(zhuǎn)不變性，然后再進(jìn)行[L2]范數(shù)規(guī)范化處理，以去除光照變化的影響并改善特征的區(qū)分度。

1.2 ?小波圖像金字塔

圖像金字塔是一個(gè)簡(jiǎn)單而有效的多分辨率圖像描述結(jié)構(gòu)[12?13]，起源于機(jī)器視覺和圖像壓縮的應(yīng)用。一個(gè)圖像金字塔是按金字塔形狀排列的一個(gè)個(gè)分辨率下降的圖像集合，如圖3所示。金字塔的基（塔底）包含待處理的高分辨率圖像，塔頂包含圖像的低分辨率近似。沿著塔底往上到塔頂，圖像的大小和分辨率均逐層下降。如果圖像的大小為[N×N]，則[J=log2N]。第[j]層的大小為[2j×2j]，[0≤j≤J]。

圖3 ?圖像金字塔

構(gòu)造一個(gè)圖像金字塔的步驟如下：

1） 計(jì)算第[j]層輸入圖像的縮減分辨率的近似圖像，可以通過(guò)低通濾波和[12×12]下采樣得到。

2） 從步驟1）得到縮減分辨率的近似圖像，建立一個(gè)第[j]層輸入圖像的估計(jì)，這可以通過(guò)2×2的上采樣和另一個(gè)低通濾波器得到，產(chǎn)生的預(yù)測(cè)圖像與第[j]層輸入圖像大小相同。

3） 計(jì)算步驟2）得到的預(yù)測(cè)圖像與第[j]層輸入圖像的差。

4） 將步驟1）得到的縮減分辨率的近似圖像放在概略圖像金字塔的第[j-1]層，將步驟3）得到的差值圖像放到細(xì)節(jié)圖像金字塔的第[j]層，步驟1）中的第[j]層輸入圖像已經(jīng)位于概略圖像金字塔的第[j]層。

5） [j=j-1]，重復(fù)步驟1）～步驟4），得到兩個(gè)相聯(lián)系的圖像金字塔——概略圖像金字塔和細(xì)節(jié)圖像金字塔。

當(dāng)采用小波變換，即步驟1）和步驟2）的低通濾波器分別采用小波分解的分析低通濾波器和合成低通濾波器時(shí)，得到的金字塔稱為小波圖像金字塔，此時(shí)，圖像的細(xì)節(jié)金字塔有3個(gè)，它們分別是水平細(xì)節(jié)金字塔、垂直細(xì)節(jié)金字塔和對(duì)角線細(xì)節(jié)金字塔。用上述步驟得到的Lena圖像的4層概略圖像金字塔和3個(gè)細(xì)節(jié)圖像金字塔分別如圖4和圖5所示。

2 ?基于小波圖像金字塔的工件目標(biāo)檢測(cè)

在光照穩(wěn)定的情況下，傳統(tǒng)的模板匹配方法能夠在一幅包含一個(gè)或若干個(gè)目標(biāo)的圖像中將目標(biāo)檢測(cè)出來(lái)，但是傳統(tǒng)模板匹配算法耗時(shí)長(zhǎng)，不能滿足實(shí)時(shí)檢測(cè)與定位的需求。針對(duì)電子元器件的自動(dòng)焊接或自動(dòng)點(diǎn)膠等應(yīng)用場(chǎng)合，本文提出一種基于小波圖像金字塔的工件目標(biāo)檢測(cè)算法。

圖4 ?概略圖像金字塔

圖5 ?細(xì)節(jié)圖像金字塔

工件目標(biāo)檢測(cè)算法的具體步驟如下：

1） 假設(shè)待匹配圖像[P]大小為[P1×P2]，模板圖像[Q]大小為[Q1×Q2]，利用Haar小波分別構(gòu)建待匹配圖像（[P12×P22]），（[P14×P24]），（[P18×P28]）和模板圖像（[Q12×Q22]），（[Q14×Q24]），（[Q18×Q28]）的三層圖像金字塔。待匹配圖像的概略圖像金字塔的分層圖像用[P1a]，[P2a]，[P3a]表示，水平細(xì)節(jié)圖像金字塔的分層圖像用[P1h]，[P2h]，[P3h]表示，垂直細(xì)節(jié)圖像金字塔的分層圖像用[P1v]，[P2v]，[P3v]表示，對(duì)角細(xì)節(jié)圖像金字塔的分層圖像用[P1d]，[P2d]，[P3d]表示;模板圖像的概略圖像金字塔的分層圖像用[Q1a]，[Q2a]，[Q3a]表示，水平細(xì)節(jié)圖像金字塔的分層圖像用[Q1h]，[Q2h]，[Q3h]表示，垂直細(xì)節(jié)圖像金字塔的分層圖像用[Q1v]，[Q2v]，[Q3v]表示，對(duì)角細(xì)節(jié)圖像金字塔的分層圖像用[Q1d]，[Q2d]，[Q3d]表示。

2） 取模板圖像金字塔中的第二層細(xì)節(jié)圖像[Q2h]和Q2v，分別代替SIFT特征計(jì)算時(shí)要用到的水平和垂直梯度圖像，將它們縮放為18×18像素的圖像塊。忽略邊界上的輸出，按式（3）和式（4）求取16×16的梯度幅度和梯度相位響應(yīng)，再分為4×4=16個(gè)子塊，相位的分辨率為45°，形成4×4×8=128維的SIFT特征向量。

3） 設(shè)定門限值[T1]。遍歷搜索待匹配圖像生成的第二層細(xì)節(jié)圖像[P2h]和[P2v]，以類似于步驟2）的方式求取每個(gè)圖像子塊的128維SIFT特征向量，同時(shí)計(jì)算它與步驟2）生成的SIFT特征向量的內(nèi)積。若內(nèi)積值大于[T1]，則認(rèn)為在低分辨率層上檢測(cè)一個(gè)目標(biāo);若相鄰的位置上檢測(cè)到[N]個(gè)有效目標(biāo)時(shí)，則判定這[N]個(gè)相鄰的目標(biāo)是同一個(gè)目標(biāo)，該目標(biāo)位置由這些候選目標(biāo)位置的加權(quán)平均值決定。

4） 設(shè)定門限值[T2]。通過(guò)Haar小波圖像金字塔的分解層數(shù)和低分辨率細(xì)節(jié)圖像上的匹配結(jié)果推算待匹配圖像中的位置。根據(jù)步驟2）和步驟3）計(jì)算模板[Q]的SIFT特征與圖像[P]在該位置上16×16圖像塊的SIFT特征的匹配內(nèi)積值。若該內(nèi)積值大于[T2]，則匹配成功，該位置是目標(biāo)位置;反之，匹配不成功，該位置不是目標(biāo)位置。

3 ?實(shí)驗(yàn)分析及結(jié)果

本文對(duì)部分點(diǎn)膠工件進(jìn)行目標(biāo)檢測(cè)實(shí)驗(yàn)分析，運(yùn)行硬件環(huán)境為Intel[?] CoreTM 2 Duo CPU E7500 @ 2.93 GHz，內(nèi)存為2 GB，軟件環(huán)境為Microsoft Windows7，實(shí)驗(yàn)工具為Visual Studio 2010和OpenCV 2.4.0，上述步驟3）和步驟4）的門限值[T1]，[T2]分別設(shè)定為0.73，0.8。圖6～圖8給出了部分實(shí)驗(yàn)結(jié)果。

圖6 ?工件A

其中，圖6的待匹配圖像大小為1 280×1 024，模板圖像大小為258×236;圖7的待匹配圖像大小為1 280×1 024，模板圖像大小為158×92;圖8的待匹配圖像大小為1 280×1 024，模板圖像大小為56×936。從實(shí)驗(yàn)結(jié)果上分析，本文提出的算法可以無(wú)誤地檢測(cè)出目標(biāo)。

圖7 ?工件B

圖8 ?工件C

表1 ?Haar小波圖像金字塔不同層數(shù)的實(shí)驗(yàn)結(jié)果

從表1可知，小波圖像金字塔層數(shù)在一定范圍內(nèi)，基于圖像金字塔的目標(biāo)檢測(cè)方法能夠找到圖像中的目標(biāo)，并隨著金字塔層數(shù)增加，目標(biāo)檢測(cè)的速度會(huì)加快，然而當(dāng)圖像金字塔層數(shù)超過(guò)2層以后，目標(biāo)檢測(cè)的準(zhǔn)確率有所下降。此外，本文提出的算法利用了梯度圖像和內(nèi)積規(guī)范化處理方法，在一定程度上去除了光照變化的影響，增強(qiáng)了目標(biāo)檢測(cè)算法的魯棒性。

4 ?結(jié) ?論

本文提出的基于小波圖像金字塔的工件目標(biāo)檢測(cè)方法，相比于傳統(tǒng)的目標(biāo)檢測(cè)方法有如下兩個(gè)優(yōu)點(diǎn)：

1） 小波圖像金字塔方法不需要在待匹配圖像上進(jìn)行圖像遍歷搜索，而是在構(gòu)建的低分辨率圖像上先進(jìn)行粗匹配，再在高分辨率圖像上進(jìn)行精確匹配，節(jié)省了圖像處理運(yùn)算量，加快了目標(biāo)檢測(cè)速度。

2） 針對(duì)工件目標(biāo)檢測(cè)問題，本文提出的圖像目標(biāo)檢測(cè)算法是以圖像塊為基本單位，將以關(guān)鍵點(diǎn)為基礎(chǔ)的SIFT特征計(jì)算改進(jìn)為以圖像塊為基礎(chǔ)的特征計(jì)算，改進(jìn)的算法既提高了計(jì)算效率，又保持了SIFT特征的特點(diǎn)和優(yōu)勢(shì)，如對(duì)光照變化不敏感等特點(diǎn)。

今后的研究方向?yàn)椋翰捎貌⑿羞\(yùn)算（即利用CPU的多核）和GPU編程，進(jìn)一步減小算法的運(yùn)行時(shí)間;如果有足夠多的正負(fù)樣品，可考慮采用機(jī)器學(xué)習(xí)的算法。例如，可以選擇Haar?like特征或采用級(jí)聯(lián)Adaboosted分類器使算法可以很容易地移植到各種類型的檢測(cè)目標(biāo)。

注：本文通訊作者為吳建華。

參考文獻(xiàn)

[1] LOWE D G. Object recognition from local scale?invariant features [C]// IEEE International Conference on Computer Vision. Kerkyra， Greece： IEEE， 1999： 1150?1157.

[2] LOWE D G. SIFT distinctive image features from scale?invariant key?points [J]. International journal of computer vision， 2004， 60（2）： 91?110.

[3] DALAL N， TRIGGS B. Histograms of oriented gradients for human detection [C]// IEEE International Conference on Computer Vision & Pattern Recognition. San Diego， USA： IEEE， 2005： 886?893.

[4] BAY H， TUYTELAARS T， GOOL L V. SURF： speeded up robust features [C]// European Conference on Computer Vision （ECCV）. Graz， Austria： [s.n.]， 2006： 404?417.

[5] BAY H， ESS A， TUYTELAARS T， et al. Speeded?up robust features [J]. Computer vision & image understanding， 2008， 110（3）： 346?359.

[6] 王永明，王貴錦.圖像局部不變性特征與描述[M].北京：國(guó)防工業(yè)出版社，2010.

WANG Y M， WANG G J. Image local invariant features and descriptors [M]. Beijing： National Defense Industry Press， 2010.

[7] 楊化超.圖像局部不變性特征及其匹配問題研究與應(yīng)用[M].北京：測(cè)繪出版社，2013.

YANG H C. Research and application of local invariant image features and matching problems [M]. Beijing： Surveying and Mapping Press， 2013.

[8] PSYLLOS A P， KAYAFAS E. Vehicle logo recognition using a SIFT?based enhanced matching scheme [J]. IEEE transactions on intelligent transportation systems， 2010， 11（2）： 322?328.

[9] KUPFER B， NETANYAHU N S， Shimshoni I. An efficient SIFT?based mode?seeking algorithm for sub?pixel registration of remotely sensed images [J]. IEEE geoscience & remote sensing letters， 2014， 12（2）： 379?383.

[10] HUO C L， PAN C H， HUO L G， et al. Multilevel SIFT matching for large?size VHR image registration [J]. IEEE geoscience & remote sensing letters， 2012， 9（2）： 171?175.

[11] ZHANG S L， TIAN Q， HUANG Q M， et al. USB： ultrashort binary descriptor for fast visual matching and retrieval [J]. IEEE transactions on image processing， 2014， 23（8）： 3671?3683.

[12] 漆志亮，賈楠，張燁，等.基于M?Sift特征的元器件目標(biāo)檢測(cè)及其在點(diǎn)膠機(jī)中的應(yīng)用[J].現(xiàn)代電子技術(shù)，2018，41（23）：161?164.

QI Z L， JIA N， ZHANG Y， et al. A new object detection and localization method based on modified sift features [J]. Modern electronics technique， 2018， 41（23）： 161?164.

[13] GONZALEZ R C， WOODS R E. Digital image processing ?[M]. 3rd ed. New Jersey， USA： Prentice Hall， 2008.