基于單應(yīng)矩陣約束的黑白棋盤格角點(diǎn)提取

郭俊喜

(神華巴彥淖爾能源有限責(zé)任公司 ，內(nèi)蒙古 巴彥淖爾 015300)

基于單應(yīng)矩陣約束的黑白棋盤格角點(diǎn)提取

郭俊喜

(神華巴彥淖爾能源有限責(zé)任公司 ，內(nèi)蒙古 巴彥淖爾 015300)

針對Harris算子提取棋盤格角點(diǎn)存在的問題，提出基于單應(yīng)矩陣的黑白棋盤格角點(diǎn)提取方法。方法首先通過人機(jī)交互確定角點(diǎn)提取范圍以及計(jì)算單應(yīng)矩陣；然后根據(jù)單應(yīng)矩陣將物方平面上其他點(diǎn)映射到影像上以確定初始的角點(diǎn)位置；最后以初始點(diǎn)位為基準(zhǔn)，根據(jù)最小距離法確定最終Harris算子角點(diǎn)提取結(jié)果。實(shí)驗(yàn)結(jié)果表明，文中提出算法能有效提取黑白棋盤格角點(diǎn)。

Harris算子；棋盤格角點(diǎn)；單應(yīng)矩陣；最小距離

在基于平面模板的攝像機(jī)標(biāo)定中，棋盤格模板由于制作經(jīng)濟(jì)簡單而被廣泛應(yīng)用于攝像機(jī)標(biāo)定中[1]。其中最常用的標(biāo)定方法如張正友平面標(biāo)定法，需要對黑白棋盤格平面模板進(jìn)行攝影，然后提取影像上棋盤格角點(diǎn)坐標(biāo)，通過利用已知棋盤格角點(diǎn)的像方坐標(biāo)和物方坐標(biāo)，建立物方平面與像平面之間的關(guān)系,實(shí)現(xiàn)相機(jī)標(biāo)定。因此，棋盤格角點(diǎn)提取精度直接影響相機(jī)標(biāo)定的精度。

現(xiàn)有棋盤格角點(diǎn)提取方法可以歸結(jié)為兩類：一類是基于邊緣檢測結(jié)果[2]，兩直線交叉提取角點(diǎn)；另一類是直接利用角點(diǎn)提取算子提取棋盤格角點(diǎn)[3-9]。前者依賴于邊緣檢測結(jié)果，同時(shí)當(dāng)影像畸變較大時(shí)會(huì)發(fā)生棋盤格邊緣成像彎曲，檢測結(jié)果會(huì)產(chǎn)生較大誤差。后者角點(diǎn)檢測法是發(fā)現(xiàn)影像上灰度變化較大的點(diǎn)，常用的有Harris算子角點(diǎn)檢測法和Susan算子角點(diǎn)檢測法等，該類算法原理簡單，易于實(shí)現(xiàn)。但現(xiàn)有角點(diǎn)檢測方法存在兩個(gè)方面問題：一是非棋盤格角點(diǎn)被檢測;二是棋盤格角點(diǎn)處提取到多個(gè)特征點(diǎn)。針對現(xiàn)有問題，本文提出利用單應(yīng)矩陣約束Harris算子角點(diǎn)提取結(jié)果，首先利用單應(yīng)矩陣確定初始候選點(diǎn)位置，然后對Harris算子提取特征點(diǎn)，利用初選點(diǎn)根據(jù)最小距離法確定最終棋盤格角點(diǎn)。

1 基于單應(yīng)矩陣約束的棋盤格角點(diǎn)提取

基于單應(yīng)矩陣約束的棋盤格角點(diǎn)提取方法首先通過人機(jī)交互量取4個(gè)棋盤格角點(diǎn)確定角點(diǎn)提取范圍，同時(shí)利用其計(jì)算單應(yīng)矩陣，通過單應(yīng)矩陣將棋盤格模板上其他點(diǎn)映射到影像上，確定提取角點(diǎn)初始位置。然后采用Harris算子提取角點(diǎn)，通過二次拋物面擬合提高到子像素級精度。再以角點(diǎn)初始位置為基準(zhǔn)，通過最小距離確定最終提取的棋盤格角點(diǎn)。算法整體流程如圖1所示。

圖1 算法整體流程圖

1.1 單應(yīng)矩陣

單應(yīng)矩陣是數(shù)學(xué)領(lǐng)域的一個(gè)概念，其滿足二維投影轉(zhuǎn)換。通過計(jì)算單應(yīng)矩陣可以確定如圖2所示兩張影像平面之間的對應(yīng)關(guān)系，也可以確定影像平面與物方平面之間的對應(yīng)關(guān)系，使得其一方特征傳遞到另一方上。

圖2 單應(yīng)矩陣適用條件

假設(shè)同名影像S和I，通過S和I之間的N對對應(yīng)點(diǎn)，就可以確定它們之間的單應(yīng)矩陣H(其中N≥4)。令(xi,yi)∈I、(xi′,yi′)∈S為一對同名像點(diǎn)，i=1,2,…N。根據(jù)同名影像之間的對應(yīng)關(guān)系，每一對同名像點(diǎn)可以得到兩個(gè)線性方程：

(0,0,0,-xi,-yi,-1,xiyi′,yiyi′,yi′)h=0，

(1)

(xi,yi,1,0,0,0,-xixi′,-yixi′,-xi′)h=0.

(2)

其中：h是矩陣H的向量形式，

h=(h0,h1,h2,h3,h4,h5,h6,h7,h8)T，

(3)

因此可以得到2N個(gè)關(guān)于參數(shù)h0，h1，h2，h3，h4，h5，h6，h7，h8的方程。寫成矩陣形式為

Ah=0.

(4)

其中：

(5)

當(dāng)N≥4時(shí)，可以利用奇異值分解(SVD)法求h。

1.2 Harris算子

1.2.1 Harris算子

Harris算子是C.Harris和J.Stephens在1988年提出的一種基于信號的特征點(diǎn)提取算子。該算子的基本原理是取以目標(biāo)像素點(diǎn)為中心的一個(gè)窗口，計(jì)算窗口沿任何方向移動(dòng)引起的灰度變化，可用自相關(guān)函數(shù)描述。設(shè)以像素點(diǎn)(x,y)為中心的窗口在X,Y方向上分別移動(dòng)u,v，其灰度變化的數(shù)學(xué)表達(dá)式如下：

Ex,y=∑wx,y(Ix+u,y+v-Ix,y)2.

(6)

式中：Ex,y為窗口內(nèi)的灰度變化度量；I代表圖像灰度；w為高斯平滑函數(shù)，其具體的表示形式為

wx,y=e-(x2+y2)/2σ2.

(7)

在角點(diǎn)處，自相關(guān)函數(shù)會(huì)根據(jù)圖像窗口的偏移發(fā)生顯著的變化。因此在式(6)中，通過泰勒公式有

Ex,y=∑wx,y(Ix+u,y+v-Ix,y)2=

∑wx,y[u2(Ix)2+v2(Iy)2+2uvIxIy]=

Au2+2Cuv+Bv2.

(8)

將Ex,y寫成矩陣形式有

(9)

其中，自相關(guān)函數(shù)矩陣M為

(10)

式中，?為卷積操作，對Ex,y對角化處理得

R.

(11)

式中：R為旋轉(zhuǎn)因子；M矩陣的特征值λ1，λ2代表兩個(gè)主軸方向的圖像表面曲率。如果某一點(diǎn)處的兩個(gè)曲率值都高，說明在該點(diǎn)的圖像灰度自相關(guān)函數(shù)的兩個(gè)正交方向上的極值曲率均較大，則認(rèn)為該點(diǎn)可能是一個(gè)特征點(diǎn)。為了簡化求取M矩陣特征值，直接計(jì)算該點(diǎn)的興趣值I。

I=Det(M)-k(Trace(M))2=

AB-C2-k(A+B)2.

(12)

其中，k為經(jīng)驗(yàn)值，一般取0.04。在特征點(diǎn)提取過程中，當(dāng)I值大于給定的閾值時(shí)，該點(diǎn)可認(rèn)為是候選特征點(diǎn)。

1.2.2 二次曲面擬合法

將Harris算子提取角點(diǎn)提高到子像素級精度。利用一個(gè)二元二次多項(xiàng)式逼近角點(diǎn)響應(yīng)函數(shù)R(x,y)，具體表達(dá)式如下：

R(x,y)=a0+a1x+a2y+a3x2+a4xy+a5y2.

(13)

式中a0、a1、…、a5為待定系數(shù)，對于3×3的擬合窗口有9個(gè)方程，可以用最小二乘法求解得到a0、a1、…、a5的值，角點(diǎn)響應(yīng)函數(shù)R(x,y)在擬合曲面的極值點(diǎn)應(yīng)滿足如下條件：

(14)

(15)

式(14)、式(15)兩個(gè)方程聯(lián)立求得的亞像素級坐標(biāo)xx、yy，即

(16)

(17)

1.3 最短距離約束

以單應(yīng)矩陣映射的每一個(gè)點(diǎn)(如圖3中紅色點(diǎn)所示)為基準(zhǔn)，分別判斷Harris提取角點(diǎn)(如圖3中黑色點(diǎn)所示)到其距離。選取最小距離點(diǎn)作為最終提取的棋盤格角點(diǎn)。該過程可以去掉多余的非棋盤格角點(diǎn)，同時(shí)保證每個(gè)黑白棋盤格交會(huì)處僅提取一個(gè)角點(diǎn)。

圖3 最小距離示意圖

2 實(shí)驗(yàn)

在AutoCAD軟件中繪制行列分別為16×13大小的黑白相間的棋盤圖，其中每小格均為正方形，且邊長為16.5 mm。然后用專業(yè)的打印機(jī)進(jìn)行打印輸出，將輸出的棋盤格平整地粘貼在一個(gè)平板上。采用尼康D300拍攝影像，大小為4288×2848。

首先通過人機(jī)交互方式人工點(diǎn)選角點(diǎn)的提取范圍，如圖4所示四邊框。并根據(jù)四個(gè)角點(diǎn)坐標(biāo)計(jì)算單應(yīng)矩陣，根據(jù)單應(yīng)矩陣將提取范圍內(nèi)物方平面上其他點(diǎn)映射到影像上，確定初始特征點(diǎn)位，用來約束后續(xù)特征點(diǎn)提取，共180個(gè)角點(diǎn)，如圖5所示。

圖4 人工點(diǎn)選角點(diǎn)提取范圍

圖5 單應(yīng)矩陣映射初始點(diǎn)位

采用Harris算子對整張影像進(jìn)行角點(diǎn)提取，并使其坐標(biāo)精度達(dá)到亞像素級精度。如果不加任何約束，整張影像提取結(jié)果疊加顯示如圖6所示，單獨(dú)顯示如圖7所示。除棋盤格角點(diǎn)處提取到角點(diǎn)之外，其他區(qū)域也存在特征點(diǎn)，同時(shí)，個(gè)別角點(diǎn)附近也存在特征點(diǎn)聚類情況。檢測角點(diǎn)個(gè)數(shù)556個(gè)。

圖6 Harris角點(diǎn)提取結(jié)果疊加顯示

圖7 Harris角點(diǎn)提取結(jié)果

利用單應(yīng)矩陣映射點(diǎn)位約束，根據(jù)最小距離判別法最終確定角點(diǎn)提取結(jié)果如圖8所示：其中十字絲是最終保留的角點(diǎn)，用圓圈加十字絲表示的是已被刪除的多余角點(diǎn)，最后保留180個(gè)角點(diǎn)，角點(diǎn)提取不包括黑白格網(wǎng)最外圍的格網(wǎng)，只提取如圖4所示方框內(nèi)的角點(diǎn)。 其他角點(diǎn)提取結(jié)果如圖9所示。

圖8 單應(yīng)矩陣約束后角點(diǎn)提取結(jié)果及刪除的多余角點(diǎn)

圖9 其他影像角點(diǎn)提取結(jié)果

3 結(jié) 論

本文針對采用Harris算子提取角點(diǎn)過程中存在的問題，提出基于單應(yīng)矩陣約束的黑白棋盤格角點(diǎn)提取方法。實(shí)驗(yàn)結(jié)果表明，該方法原理簡單，計(jì)算量小，能準(zhǔn)確提取棋盤格角點(diǎn)，為后續(xù)基于棋盤格影像的相機(jī)標(biāo)定提供良好的角點(diǎn)。

[1]喻夏瓊,高巖,陳向?qū)?基于非線性優(yōu)化的攝像機(jī)2D標(biāo)定法[J].測繪工程,2013，22(5):25-28.

[2]蔡振江,王渝,張娟.采用Hough變換和灰度變化的圖像角點(diǎn)檢測法[J].北京理工大學(xué)學(xué)報(bào)，2005, 25(9):796-799.

[3]張?jiān)?方康玲,劉永祥. 基于Harris算法的黑白棋盤格角點(diǎn)檢測[J].計(jì)算機(jī)應(yīng)用與軟件,2012, 27(8):251-254.

[4]劉陽,王福利,常玉清,等.黑白棋盤格角點(diǎn)檢測算法[J].東北大學(xué)學(xué)報(bào)：自然科學(xué)版，2007,28(8):1090-1093.

[5]侯建輝,林意.自適應(yīng)的Harris棋盤格角點(diǎn)檢測算法[J].計(jì)算機(jī)工程與設(shè)計(jì)，2009,30(20):4741-4801.

[6]劉陽成,朱楓.一種新的棋盤格圖像角點(diǎn)檢測算法[J].中國圖像圖形學(xué)報(bào)，2006,11(5):656-660.

[7]劉嵩,葉玉堂,孫強(qiáng),等.基于單應(yīng)性矩陣的棋盤格角點(diǎn)檢測研究[J].電子設(shè)計(jì)工程， 2012, 20(6):114-117.

[8]王劍濤,楊旭波.基于Voronoi圖的棋盤格角點(diǎn)匹配算法[J].計(jì)算機(jī)工程，2010,36(22):280-282.

[9]楊幸芳,黃玉美,李艷,等.基于改進(jìn)的SUSAN算子的棋盤格亞像素角點(diǎn)檢測算法[J].中國機(jī)械工程，2010, 21(21):2541-2545.

[責(zé)任編輯：張德福]

Chessboard’s corner detection based on homography matrix

GUO Jun-xi

(Shenhua Bayan Naoer Energy Co.,Ltd, Bayan Naoer 015315, China)

Aiming at the problem of chessboard’s corner detection by Harris operator, it proposes one new algorithm of chessboard’s corner detection based on homography matrix. Firstly, this algorithm determines the range of the corner extraction and computes homography matrix by interactive. Secondly, it projects other points from the object plane to the image plane according to the homography matrix for the purpose of determining the initial corner position. Finally, taking the initial point as the reference, the algorithm determines the final Harris operator corner extraction results by the minimum distance method. The experimental results show that, the proposed algorithm can effectively extract chessboard’s corners.

Harris operator; chessboard’s corners; homography matrix; minimum distance method

2014-02-11

郭俊喜(1964-)，男，高級工程師.

TP242;TP391

：A

：1006-7949(2014)08-0036-04