雙目標(biāo)定系統(tǒng)精度提高的方法

楊 明， 王海暉,2， 陳 君，萬(wàn) 妮

(1. 武漢工程大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，湖北 武漢 430205；2.武漢工程大學(xué)智能機(jī)器人湖北省重點(diǎn)實(shí)驗(yàn)室，湖北 武漢 430205)

0 引 言

隨著機(jī)器視覺(jué)的不斷發(fā)展，雙目標(biāo)定已經(jīng)成為機(jī)器視覺(jué)關(guān)鍵技術(shù)之一，主要用于工業(yè)檢測(cè)，三維重建，航空航天等領(lǐng)域.在先進(jìn)制造業(yè)自動(dòng)化生產(chǎn)技術(shù)的發(fā)展和產(chǎn)品質(zhì)量控制體系的不斷完善下，人們對(duì)于加工對(duì)象的幾何尺寸和形狀位置的檢測(cè)精度也越來(lái)越高，故提高標(biāo)定精度也成為人們研究的一個(gè)重要方面.攝像機(jī)標(biāo)定方法發(fā)展到現(xiàn)在共分為三類(lèi)[1-3]，分別是自標(biāo)定方法、基于主動(dòng)視覺(jué)的標(biāo)定法和傳統(tǒng)標(biāo)定法.自標(biāo)定法[1-3]主要是不依賴(lài)于任何的標(biāo)定參照物，在獲得多幀圖像信息以后通過(guò)分析來(lái)得出攝像機(jī)的內(nèi)外參數(shù).這種方法過(guò)程比較復(fù)雜，對(duì)于實(shí)時(shí)性要求比較高的場(chǎng)合不是很適宜且魯棒性不高.主動(dòng)視覺(jué)標(biāo)定方法[1-3]主要是根據(jù)自主地控制攝像機(jī)來(lái)獲取圖像線性求解攝像機(jī)的模型參數(shù).這種方法需要使用高精度的主動(dòng)視覺(jué)平臺(tái)進(jìn)行攝像機(jī)標(biāo)定，且系統(tǒng)的成本較高，故使用不是很廣泛.傳統(tǒng)標(biāo)定方法[1-3]必須是在一定的攝像機(jī)模型下的，在一定的實(shí)驗(yàn)條件下，運(yùn)用形狀和尺寸已知的標(biāo)定物，經(jīng)過(guò)采集圖像后，通過(guò)對(duì)其圖像進(jìn)行處理，并利用數(shù)學(xué)變換和計(jì)算方法來(lái)得出攝像機(jī)的內(nèi)外參數(shù).這種方法算法比較的發(fā)雜，但精度高.在傳統(tǒng)的標(biāo)定方法中，由張正友提出的平面模板兩步法就是利用已知坐標(biāo)點(diǎn)的平面標(biāo)靶，在攝像機(jī)中多方位成像，進(jìn)行最小二乘求解攝像機(jī)的內(nèi)外參數(shù)及畸變系數(shù).該方法過(guò)程簡(jiǎn)單、且精度較高，被廣泛使用.故本文主要是對(duì)采用張正友兩步法的攝像機(jī)標(biāo)定系統(tǒng)進(jìn)行精度提高研究.

1 攝像機(jī)標(biāo)定原理

簡(jiǎn)單來(lái)說(shuō)，由圖像坐標(biāo)和世界坐標(biāo)求解內(nèi)外參數(shù)的過(guò)程就是攝像機(jī)標(biāo)定.雙目攝像機(jī)標(biāo)定系統(tǒng)中包含四個(gè)坐標(biāo)系如圖1所示.

圖1 雙目標(biāo)定坐標(biāo)系Fig.1 Binocular calibration coordinate system

分別為：世界坐標(biāo)系：owxwywzw、攝像機(jī)坐標(biāo)系：ocxcyczc、圖像坐標(biāo)系：oxy和計(jì)算機(jī)圖像坐標(biāo)系：uv，根據(jù)針孔成像原理，可得到從攝像機(jī)坐標(biāo)到圖像坐標(biāo)系得變換：

(1)

從圖像坐標(biāo)系到計(jì)算機(jī)坐標(biāo)系得變換：

(2)

其中，dx是每個(gè)像素在x方向上的物理尺寸，dy是每個(gè)像素在y方向上的物理尺寸，(cx,cy)是圖像得中心坐標(biāo).

從世界坐標(biāo)系到攝像機(jī)坐標(biāo)系的變換：

(3)

由(1)、(2)、(3)可得到空間世界坐標(biāo)系P點(diǎn)坐標(biāo)與其投影點(diǎn)p的計(jì)算機(jī)圖像坐標(biāo)(u,v)變換關(guān)系：

M1M2xw=Mxw

(4)

其中M1為內(nèi)參數(shù)矩陣，fx、fy分別是u軸和v軸的有效焦距，u0、v0是光學(xué)中心；M2為外參數(shù)矩陣，R和t是旋轉(zhuǎn)矩陣和平移向量；對(duì)于非線性模型的內(nèi)部參數(shù)，還包括徑向畸變參數(shù)k1、k2和切向畸變參數(shù)p1、p2.

2 雙目攝像機(jī)標(biāo)定系統(tǒng)流程

2.1 標(biāo)定模板

本系統(tǒng)是在VC(可視化C++)編程環(huán)境中實(shí)現(xiàn)，采用標(biāo)定板如圖2所示.

圖2 標(biāo)定板 Fig.2 Calibration board

該標(biāo)定板為鋁合金材料，特征圓成陳列分布，間距30 mm,板子的尺寸為300×300 mm，用特征圓的圓心坐標(biāo)進(jìn)行標(biāo)定.對(duì)于特征圓的圓心坐標(biāo)提取，主要是在獲得4個(gè)標(biāo)志圓坐標(biāo)，利用仿射變換將特征圓的坐標(biāo)調(diào)正，然后對(duì)其進(jìn)行排序，確定相應(yīng)特征圓圖像坐標(biāo).

2.2 標(biāo)定系統(tǒng)流程

首先對(duì)左右相機(jī)參數(shù)進(jìn)行設(shè)置，根據(jù)現(xiàn)場(chǎng)的環(huán)境調(diào)節(jié)曝光時(shí)間和增益使圖像達(dá)到較好的對(duì)比度和亮度.對(duì)圖像進(jìn)行采集，讓標(biāo)靶放在視場(chǎng)范圍內(nèi)，使標(biāo)定板與相機(jī)的距離適中，并盡可能的平行于相機(jī)平面，然后對(duì)采集的圖像進(jìn)行預(yù)處理[4-7]，使標(biāo)定板上的特征圓清晰可見(jiàn)，提取特征點(diǎn)對(duì)圖像進(jìn)行標(biāo)定，獲得標(biāo)定的內(nèi)外參數(shù)，并多次測(cè)量求平均值.流程圖如圖3所示.

圖3 雙目標(biāo)定系統(tǒng)流程圖Fig.3 Binocular calibration system flow chart

3 精度實(shí)驗(yàn)

攝像機(jī)標(biāo)定精度可用重投影誤差來(lái)表示，假設(shè)兩幅圖像中的對(duì)應(yīng)點(diǎn)滿足：

其中，H是平面單應(yīng)矩陣，x和x′是圖像中的對(duì)應(yīng)點(diǎn)，則重投影誤差的形式如下：

通過(guò)對(duì)標(biāo)定方法，標(biāo)定原理，以及標(biāo)定系統(tǒng)的介紹可知，標(biāo)定主要是通過(guò)獲取的圖像來(lái)完成的，從不同的角度出發(fā)，用張正友兩步法，進(jìn)行實(shí)驗(yàn)：

由雙目標(biāo)定原理可知，外界環(huán)境的干擾、標(biāo)靶精度以及相機(jī)鏡頭、采集次數(shù)會(huì)對(duì)標(biāo)定結(jié)果造成直接的影響，實(shí)驗(yàn)主要針對(duì)于圖像預(yù)處理算法與標(biāo)定過(guò)程中操作方法來(lái)進(jìn)行(在光照條件、標(biāo)定板、相機(jī)相同，采集次數(shù)相同的情況下).

a) 對(duì)圖像預(yù)處理算法中調(diào)節(jié)參數(shù)大小，即調(diào)節(jié)二值化閾值、除噪閾值等參數(shù)的大小，使預(yù)處理算法達(dá)到最佳效果，用相同的操作方法得到標(biāo)定結(jié)果，并用重投影誤差[6-7]圖表示所能達(dá)到的精度如圖4所示，圖5是一般情況下所得到的結(jié)果.

圖4 重投影誤差a1Fig.4 Re-projection errorr a1

圖5 重投影誤差 a2Fig.5 Re-projection errorr a2

從結(jié)果可以得出，前者在X、Y軸方向上的誤差不超過(guò)0.25像素，后者在X、Y軸方向上的誤差不超過(guò)0.3像素.圖像預(yù)處理算法對(duì)雙目標(biāo)定結(jié)果精度是有一定影響的.

b) 在其他影響條件相同的情況下，采用不同的操作方法來(lái)進(jìn)行標(biāo)定，首先將標(biāo)靶放在視場(chǎng)范圍內(nèi)，調(diào)節(jié)好焦距和光圈，盡量減少晃動(dòng)幅度，在相同位置進(jìn)行標(biāo)定，得到標(biāo)定結(jié)果，得出重投影誤差如圖6所示，再在相同的條件下，把標(biāo)靶放在視場(chǎng)范圍內(nèi)不同位置進(jìn)行標(biāo)定，并在測(cè)量范圍的深度方向上(Z方向)有一定的平移，或繞X軸和Y軸有一定的旋轉(zhuǎn)，得到標(biāo)定結(jié)果，得出重投影誤差如圖7所示.

圖6 重投影誤差 b1Fig.6 Re-projection errorr b1

圖7 重投影誤差 b2Fig.7 Re-projection errorr b2

前者在X、Y軸方向上的誤差不超過(guò)0.28像素，后者在X、Y軸方向上的誤差不超過(guò)0.22像素.可以得出適當(dāng)?shù)牟僮鞣椒商岣邩?biāo)定精度.

4 影響雙目標(biāo)定系統(tǒng)的因素及提高精度的方法

根據(jù)雙目標(biāo)定原理，通過(guò)實(shí)驗(yàn)，進(jìn)行實(shí)驗(yàn)數(shù)據(jù)的對(duì)比與總結(jié)，最后經(jīng)過(guò)分析可知，影響雙目標(biāo)定系統(tǒng)的主要因素有：

4.1 外界環(huán)境的干擾

光線過(guò)亮或過(guò)暗，標(biāo)靶特征圓與背景對(duì)比度低，使所采集的圖像質(zhì)量較低，產(chǎn)生噪聲，從而引起后面檢測(cè)不到標(biāo)靶，或檢測(cè)精度低，造成標(biāo)定精度低.

光照不均勻，使得標(biāo)靶過(guò)分過(guò)亮或過(guò)暗同樣會(huì)造成所采集的圖像質(zhì)量降低，產(chǎn)生噪聲，從而也會(huì)引起檢測(cè)不到標(biāo)靶，或檢測(cè)精度低，造成標(biāo)定精度降低.

所以在采集圖像時(shí)，一定要近可能得在光照條件較好的環(huán)境下進(jìn)行，從而提高檢測(cè)的精度.

4.2 圖像預(yù)處理算法

采集圖像后，選擇合適的算法對(duì)圖像進(jìn)行預(yù)處理，減少噪聲，畸變等不利情況，從而使標(biāo)定板特征圓清晰可見(jiàn)，應(yīng)該根據(jù)實(shí)際的情況來(lái)選擇適當(dāng)?shù)膱D像處理算法，使在標(biāo)定圖像特征點(diǎn)檢測(cè)和提取的時(shí)候更方便分析和計(jì)算，從而提高系統(tǒng)標(biāo)定進(jìn)度.本實(shí)驗(yàn)采用的是子像素檢測(cè)技術(shù).

4.3 標(biāo)靶精度

由攝像機(jī)標(biāo)定原理可知，標(biāo)定過(guò)程中圖像坐標(biāo)和世界坐標(biāo)的精度是直接影響攝像機(jī)標(biāo)定精度的因素，所以在圖像坐標(biāo)當(dāng)中標(biāo)靶特征點(diǎn)的檢測(cè)精度也是很重要的.

其次就是標(biāo)靶上特征點(diǎn)的加工精度，在標(biāo)定過(guò)程中，會(huì)運(yùn)用到很多參數(shù)來(lái)進(jìn)行計(jì)算，在這個(gè)過(guò)程中需使用到標(biāo)定板的一些物理參數(shù)，比如角點(diǎn)距離等等.所以標(biāo)靶的加工精度和質(zhì)量會(huì)直接影響到圖像處理算法的效果.本系統(tǒng)標(biāo)靶加工精度誤差小于0.1 mm，并可以進(jìn)行二次測(cè)量獲取更高精度的特征點(diǎn)坐標(biāo)值.

4.4 相機(jī)鏡頭

同樣的視場(chǎng)范圍內(nèi)相機(jī)的分辨率越大，標(biāo)定精度也就越高.

4.5 操作的方法

在標(biāo)定過(guò)程中，根據(jù)不同的操作方法，得到的精度也會(huì)不同，所以正確合適的操作方法也能提高標(biāo)定的精度.

要將標(biāo)靶放在視場(chǎng)范圍內(nèi)，調(diào)節(jié)好鏡頭焦距和光圈，使標(biāo)靶能夠清晰的成像.

標(biāo)定的時(shí)候要將標(biāo)靶處于靜止?fàn)顟B(tài)或是小幅度的晃動(dòng)，以減少由于相機(jī)的曝光時(shí)間所引起的運(yùn)動(dòng)模糊造成的誤差；

讓標(biāo)靶盡可能得放置在視場(chǎng)范圍內(nèi)不同位置進(jìn)行標(biāo)定，在測(cè)量范圍的深度方向上(Z方向)有一定的平移，或繞X軸和Y軸有一定的旋轉(zhuǎn).

4.6 采集次數(shù)

在標(biāo)定過(guò)程中，所拍攝的標(biāo)定板圖片越多，計(jì)算后所產(chǎn)生的誤差會(huì)越小，但是同時(shí)也會(huì)給系統(tǒng)帶來(lái)計(jì)算量大的問(wèn)題，同時(shí)，當(dāng)圖像的采集次數(shù)越多，達(dá)到一定的數(shù)量后，誤差會(huì)保持穩(wěn)定，無(wú)法再降低.在實(shí)際情況中，需要根據(jù)具體的情況選定圖像采集次數(shù)，對(duì)標(biāo)定結(jié)果求均值可得到較高的精度.

通過(guò)以上總結(jié)，運(yùn)用提高精度方法，將一切影響因素都調(diào)節(jié)到最低時(shí)，進(jìn)行標(biāo)定，所得重投影誤差如圖8所示.

圖8 重投影誤差Fig.8 Re-projection errorr

由圖中可以看出其在X、Y軸方向上的誤差基本不超過(guò)0.2像素，可以認(rèn)定標(biāo)定結(jié)果的準(zhǔn)確性.

5 結(jié) 語(yǔ)

影響雙目標(biāo)定精度的因素眾多，在具體的情況下要進(jìn)行具體分析.本文通過(guò)實(shí)驗(yàn)，由得到的數(shù)據(jù)分析得出普遍性影響雙目標(biāo)定系統(tǒng)精度的六大因素，并通過(guò)調(diào)節(jié)，在各個(gè)因素影響系數(shù)最小時(shí)進(jìn)行標(biāo)定，實(shí)驗(yàn)結(jié)果表明得到了較高的精度，滿足雙目標(biāo)定系統(tǒng)的實(shí)用要求.

參考文獻(xiàn)：

[1] 馬頌德，張正友．計(jì)算機(jī)視覺(jué)——計(jì)算機(jī)理論與算法基礎(chǔ)[M].北京：北京科學(xué)出版社，1998.

[2] 李洪海．雙目立體攝像機(jī)標(biāo)定方法研究[J].軟件天地，2010,26(4)：224-226.

[3] 李洪海，王敬東．?dāng)z像機(jī)標(biāo)定技術(shù)研究[J]．光學(xué)儀器，2007,29(4)：7-12.

[4] 陳 念，李 進(jìn)，王海暉．雙目立體視覺(jué)測(cè)量系統(tǒng)的研究與實(shí)現(xiàn)[J]．武漢工程大學(xué)學(xué)報(bào)，2011,33(5)：101-105.

[5] 李洪海．一種簡(jiǎn)便的雙目攝像機(jī)標(biāo)定方法 [J]．淮陰工學(xué)院學(xué)報(bào)，2009，18(3):56-61.

[6] 莊光明，崔建偉，彭作祥．基于雙目定位原理的系統(tǒng)標(biāo)定算法[J]．計(jì)算機(jī)工程與應(yīng)用，2010，46(8)：45-47.

[7] 于勇，張暉，林茂松．基于雙目視覺(jué)三維重建系統(tǒng)的研究與設(shè)計(jì)[J]．計(jì)算機(jī)技術(shù)與發(fā)展,2009，19(6):127-130.