一種加入標(biāo)志識別的圖像拼接技術(shù)

常 江，秦品樂，韓雪濤，武曉娟

(1.中北大學(xué)計算機與控制工程學(xué)院，山西太原030051;2.山西省國稅局信息中心，山西太原030051)

一種加入標(biāo)志識別的圖像拼接技術(shù)

常 江1，秦品樂1，韓雪濤1，武曉娟2

(1.中北大學(xué)計算機與控制工程學(xué)院，山西太原030051;2.山西省國稅局信息中心，山西太原030051)

圖像拼接過程中，由于兩張圖片曝光度和拍攝角度不同，對應(yīng)匹配區(qū)域無法正確識別，進而導(dǎo)致圖像融合失敗或者融合時間過長。針對此問題，利用高斯濾波對圖像平滑處理，起到減少圖像噪聲的作用。此時，處理后的圖像就不會因為曝光度等拍攝問題導(dǎo)致特征點配準(zhǔn)出現(xiàn)誤差。此外，針對有明顯相同特征區(qū)域的兩副圖像，提出要標(biāo)志共有區(qū)域，并以此為中心通過距離和角度的關(guān)系進行迭代，去除基于尺度不變特征變換(SIFT)算法提取的兩副圖像不匹配的特征點，進而減少后續(xù)匹配時間和提高圖像拼接成功率。實驗結(jié)果表明該算法的可行性。

圖像拼接;高斯濾波;尺度不變特征變換;拼接成功率

圖像拼接基本步驟為圖像灰度處理、特征點提取、特征點匹配和圖像融合4部分。應(yīng)用在工業(yè)測量與設(shè)計、遙感圖像處理，醫(yī)學(xué)圖像處理以及一些視頻監(jiān)控等方面。圖像拼接技術(shù)在歷史上有幾次里程碑式的提高。1981年，由Fischler和Bolles提出了RANSAC(Random Sample Consensus)算法，通過用局外點和局內(nèi)點的概念精簡圖像匹配復(fù)雜度［1］。2004年，英國學(xué)者D.G.Lowe提出SIFT(Scale Invariant Feature Transform)算法，很大程度加快了圖像拼接速度及更形象描述了圖像的區(qū)域特征［2-3］。國內(nèi)外研究學(xué)者同時又通過各種濾波處理原始圖像，以減少圖像對比度、亮度等對圖像拼接造成的影響，通過研究對噪聲點、不對應(yīng)特征點的去除算法也大大提高了圖像拼接的準(zhǔn)確性和時效性［4-6］。但是圖像拼接技術(shù)依舊具有局限性。

本文提出的算法在一定條件下可以提高圖像拼接的準(zhǔn)確性和時效性。首先考慮到照片曝光度和拍攝角度的不同造成兩待拼接圖像共有特征區(qū)域不易匹配，本文采用高斯濾波對圖像平滑處理，并消除一部分噪聲點。其次，本文針對特征點提取后不容易匹配或匹配老失敗的圖像，采取人工相同特征區(qū)域標(biāo)記，并以此為準(zhǔn)通過距離和角度的關(guān)系去除以SIFT算法提取的兩圖不匹配的特征點，減少后續(xù)匹配時間和提高圖像拼接成功率。

1 圖像匹配預(yù)處理

圖像因為曝光度、拍攝角度不同會使圖像在旋轉(zhuǎn)、縮放的狀態(tài)下圖像的亮度和對比度也產(chǎn)生變化。本文采用高斯濾波對圖像進行預(yù)處理，使隨機噪聲較少，提高匹配點的精度和數(shù)量，增強圖像特征信息識別。如圖1、圖2所示。

圖1 高斯濾波對圖像的處理過程

圖2 高斯濾波處理的圖像

本文采用高斯濾波器為［7］

式中:x是到中心點最遠點的距離;λ是截止波長;?≈0.4。

2 SIFT特征點提取

基于SIFT的算法是基于尺度空間的，對圖像旋轉(zhuǎn)、縮放及其仿射變化的圖形局部保持不變的算法。這種算法可以提取出大量穩(wěn)定的特征點，并且可以保持較高的匹配率。SIFT算法提取特征點，示意圖如圖3所示。

圖3 SIFT算法提取特征點

SIFT算法主要分為3個部分［8-9］:

1)尺度空間的建立，這一步驟主要是尺度空間建立，并對極值點進行檢測和定位，生成特征向量。

2)極值點精確定位。

通過擬合三維二次函數(shù)求極值點的位置和尺度。

將尺度空間函數(shù)D(x，y，σ)展開

對式(3)函數(shù)求導(dǎo)數(shù)，并令其導(dǎo)函數(shù)為零，存在精確極值點位置

3)確定特征點主方向并生成特征點描述符。

點(x，y)的梯度大小及梯度方向如

式中:L為關(guān)鍵點所在尺度。實際用直方圖統(tǒng)計領(lǐng)域像素的梯度方向，峰值代表了該特征點的主方向。以坐標(biāo)軸旋轉(zhuǎn)為關(guān)鍵點的主方向，然后以關(guān)鍵點為中心取窗口均勻地分為16個小塊，在每個小塊的每隔45°的8個方向的梯度直方圖繪制各個方向的累加值，形成種子點。

3 特征點的匹配、篩選和圖像融合

3.1 特征點的基本匹配算法

上述特征點提取后，從待匹配圖像中選擇一個匹配點，采用優(yōu)先k-d樹查找與該點最近的兩個點，求通過最近點與次近點與此匹配點距離的比值，如果小于給定閾值，則認為最近的點為匹配點。距離計算公式為

式中:m=(m1，m2，…，mp)和n=(n1，n2，…，np)分別為兩圖像的特征向量。用q=di/di-1表示距離比值。根據(jù)經(jīng)驗本文設(shè)定q=0.6。

3.2 RANSAC算法

RANSAC算法是剔除上文中誤匹配點對的算法。該算法的原理是:從上述點對隨機選擇n個樣本估計模型參數(shù)，代入模型加以計算，把小于閾值的匹配點作為內(nèi)點。重復(fù)C次以上過程，選擇包含內(nèi)點最多的點集并以此計算模型參數(shù)［10-11］。

估計次數(shù)C的計算公式為

式中:經(jīng)過C次至少有一次估計中的所有數(shù)據(jù)點都是內(nèi)點的概率是p;w為內(nèi)點概率;n為確定模型參數(shù)的最少點數(shù)。

3.3 本文提出的改進算法

對于部分待匹配圖像不容易匹配或匹配失敗的問題，本文提出采取人工標(biāo)記相同特征區(qū)域，并以此為準(zhǔn)通過距離和角度的關(guān)系，迭代去除誤匹配點對的算法大大提高了圖像拼接的準(zhǔn)確度，以及加快了圖像拼接的速度。

算法過程如下:

1)從兩圖像特征點集(定義為點集P，點集Q)中標(biāo)志匹配區(qū)域，求此區(qū)域質(zhì)點為p1，q1。

2)求pn∈P到點p1的距離d(pu)，u=1，2，3，…，n-1，然后按照距離d(pu)排序，得到P'S=p1'p2'p3'…pu'。同理，qm∈Q到點q1的距離d(qv)，v=1，2，3，…，m-1，然后按照距離d(qv)排序，得到Q'S=q1'q2'q3'…qv'。

3)作出p1與p2的連線，同時連接pn∈P和p1的連線，求兩條直線夾角的余弦θ(pu)，u=1，2，3，…，n-3，然后按這個方向余弦對點進行一次排序，得到P″S= p1″p2″p3″…pu″。作出q1與q2的連線，同時連接qm∈Q和q1的連線，求兩條直線夾角的余弦θ(qv)，v=1，2，3，…，m-3，然后按這個方向余弦對點進行一次排序，得Q″S= q1″q2″q3″…qu″。

4)利用d(pu)，θ(pu)，d(qv)，θ(qv)，對字串P″S和Q″S進行匹配。反復(fù)應(yīng)用下面的局部匹配算法:

設(shè)(pu″，qv″)取自{(pi1″，qi1″)，(pi2″，qi2″)，(pi3″，qi3″)，…，(pil″，qil″)}，檢查(pu″，qv″)是否匹配成功，如是，換下一對點。

(2)返回到(1)，所有特征點被檢測完。

3.4 求解變換矩陣

從上述所求匹配點集中選取4個標(biāo)準(zhǔn)點集，利用下述公式求兩幅圖像的變換矩陣H

式中:m(i，j)，n(i'，j')為正確匹配的點對。

3.5 圖像融合

本文采用加權(quán)平均算法來做圖像融合。設(shè)A(i，j)，B(i，j)是待拼接的兩圖像，C(i，j)是圖像重疊區(qū)域的像素。計算公式如

式中:l=(i2-i)/(i1-i)，i1＜i＜i2。

4 實驗結(jié)果和分析

本實驗圖像是在自然光環(huán)境下拍攝完成的，來源于實驗樓拍攝的30組840×1 480分辨率的照片。圖像拼接利用 Matlab2013編程，運行在配置為 Genuine Intel (R)T1600 CPU 2 GHz和1.87 Gbyte RAM的微機上。

因為高斯濾波對圖像的處理圖，以及基于SIFT算法的特征點的提取圖已經(jīng)在敘述算法中展示，實驗過程就不再展示。圖5表示原始圖像，圖6表示特征點對匹配圖示，圖7表示融合后圖像。統(tǒng)計結(jié)果如表1、表2所示。

圖5 原始圖像(截圖)

圖6 特征點對匹配(截圖)

圖7 融合后圖像(截圖)

表1 本文圖像拼接統(tǒng)計結(jié)果

表2 30對圖像拼接統(tǒng)計結(jié)果

實驗結(jié)果表明本文算法在處理相同特征區(qū)域可以識別、標(biāo)志的圖像會比基本算法有更高的成功率，且圖像匹配時間會有所縮短。本文通過改進算法使符合本算法使用條件下的圖像拼接具有更強的準(zhǔn)確性和高效性，為以后的目標(biāo)識別提供了良好的研究價值。

5 結(jié)束語

本文首先通過高斯濾波處理圖像，減少圖像噪聲，處理后的圖像也會減小因曝光度等原因引起的色調(diào)不均的問題。并通過標(biāo)志圖像相同特征區(qū)域，以距離和角度的關(guān)系進行迭代，去除兩待拼接圖像的不匹配特征點，得到穩(wěn)定的變換矩陣，并與加權(quán)平均算法得到融合圖像。對于可標(biāo)志局部相同特征的圖像進行拼接，本文算法有很高的拼接準(zhǔn)確性和時效性。

在下一步的研究中，希望可以使本文所用算法有更強的適應(yīng)性。

［1］FISCHLER M，BOLLESR.Random sample consensus:a paradigm for model fitting with application to image analysis and automated cartography［J］.Communications of the ACM，1981(24):381-395.

［2］ LOWE D G.Distinctive image features from scale-invariant key points［J］.International Journal of Computer Vision，2004，60(2):91-110.

［3］BAY H，ESS A，TUYTELAARS T，et al.Speeded-up robust features (SURF)［J］.Computer Vision and Image Understanding，2008，110 (3):346-359.

［4］鄒北驥，阮鵬，向遙.一種精確匹配的全景圖自動拼接算法［J］.計算機工程與科學(xué)，2010，32(8):60-63.

［5］王永明，王貴錦.圖不變性特征與描述［M］.北京:國防工業(yè)出版社，2010.

［6］BROWN M，LOWE DG.Automatic panoramic image stitching using invariant features［J］.International Journal of Computer Vision，2007，4(1):59-73.

［7］石美紅，毛江輝，梁穎，等.一種強高斯噪聲的圖像濾波方法［J］.計算機應(yīng)用，2007，27(7):1637-1640.

［8］朱利成，姚明海.基于SIFT算法的目標(biāo)匹配和識別［J］.機電工程，2009，26(4):73-75.

［9］趙壘，候振杰.一種改進的SIFT圖像配準(zhǔn)方法［J］.計算機工程，2010，36(12):226-228.

［10］付倩文，何明一，徐晨宇.一種帶預(yù)處理RANSAC圖像拼接算法［J］.電子設(shè)計工程，2013，21(15):181-186.

［11］BHATTACHARYA P，GAVRI-LOVA M.Improving RANSAC featurematchingwith local topological information［C］//Proc.Ninth International Symposium on Voronoi Diagrams in Science and Engineering.［S.l.］:IEEE Press，2012:17-23.

常 江(1988—)，研究生，主要從事視頻與圖像處理的研究;

秦品樂(1978—)，副教授，博士，主要從事工業(yè)控制與應(yīng)用的研究;

韓學(xué)濤(1989—)，研究生，主要從事動態(tài)圖像特征提取的研究;

武曉娟(1982—)，女，中級工程師，碩士，主要從事網(wǎng)絡(luò)安全與視頻監(jiān)督的研究。

Image M osaics Adding Logo Recognition

CHANG Jiang1，QIN Pinle1，HAN Xuetao1，WU Xiaojuan2
(1.North University of China Computer and Control Engineering，Taiyuan 030051，China; 2.Shanxi State Tax Bureau Information Center，Taiyuan 030051，China)

In imagemosaic process，due to the differentexposure and shooting angle of the two pictures，correspondingmatching areas are unable to identify properly，then leading to image fusion failure or long fusion time.Aiming at this problem，Gaussian filter isused for the image smooth processing，playing the role of image noise reduction.At this point，the images after processing，because of shooting problems such as exposure，do not lead to feature pointsmatching error.Besides，in view of two imageswhich have the same characteristic region obviously.In this paper，signing a total area is proposed，iterating as a center through distance and angle，removing themismatched feature points of the two images based on SIFT algorithm，then reducing subsequentmatch time and improving success rate of imagemosaics.The experimental results show the feasibility of the algorithm.

imagemosaic;Gaussian filter;scale invariant feature transform;success rate ofmosaics

TN391

A

?? 盈

2014-03-18

【本文獻信息】常江，秦品樂，韓雪濤，等.一種加入標(biāo)志識別的圖像拼接技術(shù)［J］.電視技術(shù)，2014，38(23).

山西省青年基金項目(201002106-13)