基于亮度質(zhì)心不變矩的配準(zhǔn)描述子方向

吳偉平，金龍旭，閆得杰，王 棟

（1.中國(guó)科學(xué)院 長(zhǎng)春光學(xué)精密機(jī)械與物理研究所，吉林 長(zhǎng)春130033，2.中國(guó)科學(xué)院大學(xué)，北京100039）

0 引 言

圖像配準(zhǔn)技術(shù)主要可以分為基于灰度的方法和基于特征的方法兩大類。后者由于提取特征后僅對(duì)特征進(jìn)行計(jì)算，相對(duì)前者其計(jì)算量較少，對(duì)噪聲、光照、視角和尺度變化不敏感，算法效率及配準(zhǔn)精度高，具有很好的魯棒性，因而成為當(dāng)前圖像配準(zhǔn)領(lǐng)域的主要研究方向。早期基于特征的算法包括Morvec、Harris［1］等方法。

Bay等 提 出 了 著 名 的SURF （speeded up robust features）［2］算法，SURF受滑動(dòng)角度的影響，當(dāng)配準(zhǔn)圖像間的旋轉(zhuǎn)方向是滑動(dòng)角度的整數(shù)倍時(shí)，SURF的表現(xiàn)略有下降。為改進(jìn)這一問題，本文通過優(yōu)化不變矩系數(shù)矩陣提高了描述子方向計(jì)算精度，分別設(shè)計(jì)了兩種基于圖像亮度質(zhì)心不變矩的描述子方向計(jì)算方法，并將其與SURF 描述子方向的計(jì)算精度和效率做了詳細(xì)地比較。

1 亮度質(zhì)心不變矩配準(zhǔn)原理

為保證計(jì)算精度，描述子方向的計(jì)算一般采用以特征點(diǎn)為 中 心 的 圓 形 圖 像 區(qū) 域。E.Rublee 等 在 設(shè) 計(jì)ORB［4］（oFAST and rBRIEF）描述子中采用了Rosin對(duì)圖像矩的定義：mpq＝∑xpyqI（x，y），其中p、q取0或1，其亮度質(zhì)心為：c＝（m10／m00，m01／m00），從特征點(diǎn)o到亮度質(zhì)心c建立一個(gè)代表圖像片方向的向量oc，則向量oc與X 軸的夾角可以表示為：c＝arctan （m01／m10）。當(dāng)m10接近0時(shí)，該方法將不具備穩(wěn)定性。因此，當(dāng)m10小于文中設(shè)定的閥值時(shí)，該特征點(diǎn)不具備方向性，將該點(diǎn)丟棄不參與配準(zhǔn)，在實(shí)驗(yàn)過程中這種情況是非常罕見的。由θ的定義可知θ∈ （－π／2，π／2），而特征點(diǎn)描述子的方向區(qū)間需要達(dá)到 （－π，π）。由于特征點(diǎn)是極值點(diǎn)，因此m00＝∑xyI（x，y）＞0?？梢愿鶕?jù)m01的符號(hào)將θ擴(kuò)展到 （－π，π），即可分為如下3種情況計(jì)算

在ORB配準(zhǔn)方法中，圖像片直接選取特征點(diǎn)（xc，yc）為圓心，半徑為r以內(nèi)的所有完整的像素點(diǎn) （（x，y）｜（x－xc）2＋ （y－yc）2≤r2且x，y ∈R）進(jìn)行圖像矩計(jì)算，而忽略了像素大小和圓周邊緣上的點(diǎn)對(duì)圖像矩的影響。這種忽略方式簡(jiǎn)化了計(jì)算但損失了較多方向精度。文中對(duì)這種方向矢量計(jì)算方法進(jìn)行了改進(jìn)，設(shè)計(jì)了軸向密集插值法和面積積分法。

2 兩種改進(jìn)的圖像矩配準(zhǔn)方法

2.1 軸向密集插值法

當(dāng)圖像旋轉(zhuǎn)不同角度進(jìn)行亮度質(zhì)心矩計(jì)算時(shí)，圖像矩的定義可知圖像圓周上點(diǎn)的權(quán)重比內(nèi)部像素點(diǎn)的權(quán)重大，對(duì)圖像矩的影響也最大，因此圓周上像素是圖像片中最需要精確計(jì)算的部分。圖像片圓周上的點(diǎn)可通過插值的方法得到［5］，這些點(diǎn)的像素值不僅和圓周內(nèi)部的點(diǎn)有關(guān)，還和圓周外相鄰近的點(diǎn)有關(guān)。軸向密集插值法正是基于這種突出圓周像素的思想而設(shè)計(jì)的。將整個(gè)圓周從0°開始每間隔π／4分為一個(gè)區(qū)域 （如圖1所示），（π／4，π／2）圓弧所對(duì)應(yīng)X 軸的長(zhǎng)度為X0，對(duì)應(yīng)Y 軸的長(zhǎng)度為Y0，由于X0＞Y0，在相同插值間隔條件下，選擇插值點(diǎn)更密集的軸向可以使插值結(jié)果更均勻。因此采用X 軸方向插值計(jì)算，先用式（1）求出所有插值點(diǎn)橫坐標(biāo)，再用式 （2）求得相應(yīng)點(diǎn)的縱坐標(biāo)；同理，在 （0，π／4）圓弧上則采用Y 軸方向插值計(jì)算，按照這種方式將整個(gè)圓周進(jìn)行分段插值，得到圓周上的全部插值點(diǎn)

圖1 半徑為9的軸向密集插值法

則圓弧上的插值點(diǎn)亮度用軸向線性插值的方法計(jì)算，如式 （3）所示

2.2 面積積分法

由于軸向密集插值法的計(jì)算點(diǎn)在圓域上分布并不絕對(duì)均勻，且該方法將像素點(diǎn)看做有亮度無大小的點(diǎn)。這樣做在計(jì)算時(shí)很容易區(qū)分該點(diǎn)是否在圓域內(nèi)外，但其本質(zhì)并不符合成像原理。數(shù)字圖像中的像素代表了一定面積物體的總亮度，是有大小的。因此本文設(shè)計(jì)了考慮像素大小的面積積分法來計(jì)算描述子方向。面積積分法將每個(gè)像素看成1＊1的正方形，并假定每個(gè)像素的亮度在其正方形域內(nèi)均勻分布。本方法將方向矢量計(jì)算的圓域中心設(shè)為坐標(biāo)軸原點(diǎn)，則特征點(diǎn)坐標(biāo)為x＝－0.5，x＝0.5，y＝0.5，y＝－0.5四條直線圍成的面積。如圖2所示，設(shè)點(diǎn) （x，y）的積分系數(shù)為Qxy，代表該點(diǎn)在圓域中所占的面積，則面積積分法圖像矩公式變?yōu)閙pq＝∑QxyxpyqI（x，y）。

圖2 面積積分法陰影區(qū)

每個(gè)像素對(duì)應(yīng)的系數(shù)為該像素在圓域中的面積。其中圓域內(nèi)非陰影區(qū)方格的系數(shù)為1，其坐標(biāo) （x，y）與該方格代表的像素坐標(biāo)一致。而陰影區(qū)方格的系數(shù)為該陰影區(qū)的面積，坐標(biāo)為該陰影區(qū)的亮度質(zhì)心的坐標(biāo)。陰影區(qū)的面積和坐標(biāo)均在配準(zhǔn)前計(jì)算得到，然后將相應(yīng)項(xiàng)的乘積組成系數(shù)矩陣保存在配準(zhǔn)程序中，因此不占用配準(zhǔn)時(shí)間。如表1所示半徑為4的圓域所對(duì)應(yīng)的面積積分法系數(shù)矩陣，該矩陣采用定積分的方法計(jì)算得到。

表1 半徑為4的面積積分法系數(shù)矩陣

陰影區(qū)坐標(biāo) （xi，yi）采用幾何形心的計(jì)算方法，先利用分割法將陰影區(qū)分割為矩形和弓形，采用定積分得到弓形面積，再加上矩形面積得到陰影區(qū)面積。以圖3中陰影區(qū)域的xi坐標(biāo)的求解過程為例，應(yīng)用式 （4），其中dS表示積分變量dx 所對(duì)應(yīng)的陰影區(qū)面積，S 為整個(gè)陰影區(qū)的面積，積分精度選擇10－7。

圖3 陰影區(qū)坐標(biāo)求解

3 實(shí) 驗(yàn)

3.1 硬件結(jié)構(gòu)與參數(shù)配置

配準(zhǔn)的硬件結(jié)構(gòu)如圖4所示，實(shí)驗(yàn)采用2臺(tái)DALSA 公司的Falcon 4M60彩色面陣相機(jī)拍攝圖像，采用加拿大IO Industries公司的CLSAS圖像處理卡同時(shí)采集兩臺(tái)相機(jī)輸出的圖像。該采集卡可同時(shí)采集兩個(gè)數(shù)據(jù)流，最大采集速度可達(dá)到450 MBps，并將采集的數(shù)據(jù)直接存儲(chǔ)到4TB 的SAS高速磁盤陣列中，可通過程序選擇部分圖像數(shù)據(jù)通過PCI總線上傳至計(jì)算機(jī)進(jìn)行配準(zhǔn)處理。配準(zhǔn)使用的計(jì)算機(jī)采用Intel 4960X，3.6GHz的CPU、4GB 內(nèi)存和XP SP3的操作系統(tǒng)，配準(zhǔn)軟件采用C＋＋語(yǔ)言編寫［6－8］。

圖4 配準(zhǔn)硬件結(jié)構(gòu)

在配準(zhǔn)算法的實(shí)現(xiàn)中，首先構(gòu)建積分圖和金字塔，采用Hessian矩陣濾波器對(duì)圖像進(jìn)行特征點(diǎn)檢測(cè)，Hessian矩陣H（x，σ）定義為

式中：σ為當(dāng)前尺度，Lxx（x，σ）是高斯二階偏導(dǎo)數(shù)與圖像I在點(diǎn)X 處的卷積，Lxy（x，σ）和Lyy（x，σ）也以此類推。構(gòu)建5組不同尺度的金字塔數(shù)據(jù)，每組由4層構(gòu)成，各層由大小不同箱式濾波器近似Hessian矩陣濾波器，具體濾波器大小如表2所示。這樣保證了除第一組的第一層和第五組的第三、四層以外，每層圖像剛好既作為中間層有作為邊緣層參與特征點(diǎn)檢測(cè)計(jì)算，這樣可以減少重復(fù)計(jì)算次數(shù)，提高配準(zhǔn)效率。然后對(duì)每組的第二、三層進(jìn)行3＊3＊3鄰域的非極大值抑制得到候選點(diǎn)。利用閥值法根據(jù)候選點(diǎn)二階梯度篩選得到特征點(diǎn)集合。采用半徑為9σ的軸向密集法和面積積分法計(jì)算特征點(diǎn)的方向。在不同尺度σ下計(jì)算計(jì)算描述子方向時(shí)，將以σ為邊長(zhǎng)的正方形作為1個(gè)偽像素，正方形內(nèi)全部像素的平均值作為該偽像素的亮度值進(jìn)行方向計(jì)算，這種方式恰好可以利用SURF 的積分圖加快計(jì)算速度。

表2 金字塔構(gòu)建參數(shù)

得到描述子方向后，以特征點(diǎn)為中心，描述子方向?yàn)橹鞣较?，選取邊長(zhǎng)為20σ 的正方形區(qū)域，并將其劃分為4＊4個(gè)子區(qū)域，對(duì)每個(gè)子區(qū)域計(jì)算x、y方向的Haar小波響應(yīng)dx和dy（小波模板大小為2σ＊2σ），并累加得到4維向量V（∑dx，∑dx，∑｜dx｜，∑｜dx｜），所有的子區(qū)域連接起來得到64維的特征描述子進(jìn)行配準(zhǔn)。

3.2 實(shí)驗(yàn)結(jié)果

在實(shí)時(shí)配準(zhǔn)實(shí)驗(yàn)中，對(duì)兩臺(tái)視角基本相同的相機(jī)采集的圖像進(jìn)行配準(zhǔn)實(shí)驗(yàn)，相機(jī)2在0－90°區(qū)間每隔15°旋轉(zhuǎn)一次［9，10］。整個(gè)實(shí)驗(yàn)過程中，采用軸向密集插值法和面積積分法計(jì)算描述子方向矢量的配準(zhǔn)過程可穩(wěn)定高效地進(jìn)行配準(zhǔn)工作。配準(zhǔn) 過 程 采 用RANSAC （random sample consensus）方法隨機(jī)抽樣一致方法對(duì)配準(zhǔn)結(jié)果進(jìn)行篩選，并根據(jù)RANSAC方法計(jì)算出的內(nèi)點(diǎn)數(shù)計(jì)算配準(zhǔn)的可重復(fù)率。

面積積分法配準(zhǔn)實(shí)驗(yàn)效果如圖5所示。

圖5 面積積分法配準(zhǔn)實(shí)驗(yàn)效果

設(shè)在基準(zhǔn)圖像和待配準(zhǔn)圖像中探測(cè)到的特征點(diǎn)個(gè)數(shù)分別為n1和n2。n＝min （n1，n2）。m 是被證實(shí)匹配成功的點(diǎn)對(duì)數(shù)，即文中采用RANSAC 方法計(jì)算出的內(nèi)點(diǎn)數(shù)［11］。則可重復(fù)率R＝m／n。計(jì)算n個(gè)方向矢量的時(shí)間為t。表3中是對(duì)相機(jī)1與相機(jī)2所采集圖像的配準(zhǔn)結(jié)果。實(shí)驗(yàn)表明，采用面積積分法和軸向密集插值法的方向矢量計(jì)算時(shí)間大約是SURF方法的1／4，其配準(zhǔn)可重復(fù)率方面，如圖6 所示，軸向密集插值法在45°角上的表現(xiàn)為3 種方法中最好的，而其它一些角度的表現(xiàn)則為三者中最差的，反映出了該方法在整個(gè)圓周上的表現(xiàn)不夠均衡，參數(shù)仍有很大的優(yōu)化空間。面積積分法在各個(gè)角度上的表現(xiàn)具有很強(qiáng)的一致性，且平均重復(fù)率與SURF 法相當(dāng)，較好地克服了SURF法在30°和60°的性能下降，并且獲得了較高的計(jì)算效率。

表3 實(shí)驗(yàn)各旋轉(zhuǎn)角度配準(zhǔn)結(jié)果

圖6 不同方向的配準(zhǔn)重復(fù)率比較

為了檢測(cè)文中設(shè)計(jì)的方向計(jì)算方法在抗噪聲、視角變化、圖像壓縮等方面的表現(xiàn)，通過測(cè)試標(biāo)準(zhǔn)庫(kù)中的Trees、Leuven、和Ubc等圖像，表明采用亮度質(zhì)心不變矩計(jì)算描述子方向在上述干擾條件下的總體表現(xiàn)可以達(dá)到SURF 算法的水平。其中，面積積分法的精度和穩(wěn)定度都要好于軸向密集插值法，對(duì)視角變化和圖像壓縮的表現(xiàn)略好于SURF，而對(duì)強(qiáng)噪聲干擾方面略遜于SURF。

4 結(jié)束語(yǔ)

文中比較了兩種基于亮度質(zhì)心不變矩的描述子方向改進(jìn)計(jì)算方法和SURF方法的配準(zhǔn)性能，兩種不變矩配準(zhǔn)方法的計(jì)算速度均達(dá)到SURF 方法的4倍。在角度計(jì)算精度方面，面積積分法在整個(gè)圓周的表現(xiàn)要比SURF 和軸向密集插值法更加均衡。文中采用的系數(shù)矩陣的計(jì)算方式，在具有浮點(diǎn)型計(jì)算精度的同時(shí)，極大地優(yōu)化計(jì)算速度，使得很多復(fù)雜的計(jì)算可以再配準(zhǔn)前完成，不占用配準(zhǔn)時(shí)間。文中軸向密集插值法的不均衡性說明系數(shù)矩陣仍有提升的空間，是下一步需優(yōu)化的主要問題。

［1］LV Xuan，DUAN Huichuan.Multimodality medical image registration by mutual information and Harris corner detector［J］.Computer Engineering and Design，2008，29 （4）：998－1000 （in Chinese）.［呂煊，段會(huì)川.基于Harris角點(diǎn)和最大互信息的多模醫(yī)學(xué)圖像配準(zhǔn) ［J］.計(jì)算機(jī)工程與設(shè)計(jì)，2008，29 （4）：998－1000.］

［2］Bay H，Ess A，Tuytelaars T，et al.Gool，SURF：Speeded up robust features ［J］.Computer Vision and Image Understanding，2008，10 （3）：346－359.

［3］Morel JM，Yu G.Asift：A new framework for fully affine invariant image comparison ［J］.SIAM Journal on Imaging Sciences，2009，2 （2）438－469.

［4］Rublee E，Rabaud V，Konolige K，et al.ORB：An efficient alternative to SIFT or SURF ［C］／／IEEE International Conference on Computer Vision，2011：2564－2571.

［5］FU Xiang，GUO Baolong.Overview of image interpolation technology［J］.Computer Engineering and Design，2009，30（1）：141－144 （in Chinese）.［符祥，郭寶龍.圖像插值技術(shù)綜述 ［J］.計(jì)算機(jī)工程與設(shè)計(jì)，2009，30 （1）：141－144.］

［6］MIAO Ligang.Image mosaicking and compositing algorithm for video surveillance ［J］.Chinese Journal of Scientific Instrument，2009 （4）：857－861 （in Chinese）.［苗立剛.視頻監(jiān)控中的圖像拼接與合成算法研究 ［J］.儀器儀表學(xué)報(bào)，2009（4）：857－861.］

［7］PENG Bo，HE Bin.Application and realization of FPGA in video mosaicking ［J］.Computer Engineering and Design，2013，34 （5）：1635－1639 （in Chinese）. ［彭勃，何賓.FPGA 在視頻拼接中的應(yīng)用與實(shí)現(xiàn) ［J］.計(jì)算機(jī)工程與設(shè)計(jì)，2013，34 （5）：1635－1639.］

［8］LI Jian，KONG Lingyin.Research and implementation of stereo match algorithm based on OpenCV ［J］.Computer Engineering and Design，2013，34 （2）：566－569 （in Chinese）.［李健，孔令寅.基于OpenCV 的立體匹配算法的研究與實(shí)現(xiàn)［J］.計(jì)算機(jī)工程與設(shè)計(jì)，2013，34 （2）：566－569.］

［9］LIU Tao，YU Zhongqing，MA Qianli.Target distance calculation based on parallel binocular vision ［J］.Qingdao University （Natural Science），2009，22 （1）：59－62 （in Chinese）.［劉濤，于忠清，馬千里.基于平行雙目視覺的目標(biāo)距離計(jì)算［J］.青島大學(xué)學(xué)報(bào) （自然科學(xué)版），2009，22 （1）：59－62.］

［10］TU J，TAO H，HUANG T.Online updating appearance generative mixture model for mean－shift tracking ［J］.Machine Vision and Applications，2009，20 （3）：163－173.

［11］ZHOU Jianjun，OUYANG Ning，ZHANG Tong，et al.Image mosaic method based on RANSAC ［J］.Computer Engineering and Design，2009，30 （24）：5692－5694 （in Chinese）.［周劍軍，歐陽(yáng)寧，張彤，等.基于RANSAC 的圖像拼接方法 ［J］.計(jì)算機(jī)工程與設(shè)計(jì)，2009，30 （24）：5692－5694.］