視覺(jué)點(diǎn)膠機(jī)的攝像機(jī)標(biāo)定技術(shù)

鄭劍斌+鄭力新+朱建清

摘 要：結(jié)合角點(diǎn)檢測(cè)，提出適用于視覺(jué)點(diǎn)膠機(jī)的一種攝像機(jī)標(biāo)定方法，通過(guò)角點(diǎn)檢測(cè)對(duì)平面標(biāo)定板的多個(gè)視角圖片特征點(diǎn)采樣，選取圖像外圍構(gòu)成矩形的四個(gè)角點(diǎn)位置，建立一坐標(biāo)系。對(duì)圖像中每個(gè)矩形單元角點(diǎn)提取，計(jì)算單應(yīng)性矩陣，并結(jié)合非線(xiàn)性幾何畸變模型畸變校正，得出視覺(jué)點(diǎn)膠完整的成像模型，求解出攝像機(jī)內(nèi)參數(shù)，通過(guò)最大似然估計(jì)進(jìn)行優(yōu)化調(diào)整后，由L-M算法（Levenberg-Marquardt Algorithm）將參數(shù)收斂，進(jìn)而求出攝像機(jī)外參數(shù)。該標(biāo)定方法不需要高成本的立體模型標(biāo)定物，操作簡(jiǎn)單，且降低了求解內(nèi)外參數(shù)的復(fù)雜度卻不失精度。利用三軸直線(xiàn)機(jī)器人對(duì)標(biāo)定結(jié)果的精度進(jìn)行了驗(yàn)證。結(jié)果表明，采用該標(biāo)定方法精度偏差小于0.3mm，滿(mǎn)足視覺(jué)點(diǎn)膠系統(tǒng)的要求，也適用于機(jī)器視覺(jué)系統(tǒng)檢測(cè)、焊接等工業(yè)領(lǐng)域。

關(guān)鍵詞：角點(diǎn)檢測(cè)；單應(yīng)性矩陣；幾何畸變；視覺(jué)點(diǎn)膠

中圖分類(lèi)號(hào)：TB811+.2 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2095-2945（2017）34-0009-05

1 概述

機(jī)器視覺(jué)廣泛地應(yīng)用于加工、檢測(cè)等工業(yè)領(lǐng)域，關(guān)鍵為對(duì)現(xiàn)實(shí)三維物體空間位置的描述與識(shí)別，其中視覺(jué)測(cè)量精度依賴(lài)于攝像機(jī)標(biāo)定。攝像機(jī)的標(biāo)定即求解實(shí)際空間三維物點(diǎn)與圖像中二維像點(diǎn)的對(duì)應(yīng)關(guān)系的過(guò)程[1]。

根據(jù)標(biāo)定物的不同，將攝像機(jī)標(biāo)定方法分為傳統(tǒng)標(biāo)定、自標(biāo)定、主動(dòng)視覺(jué)標(biāo)定三大類(lèi)型[2]。Fiag提出的傳統(tǒng)標(biāo)定方法[3]，利用標(biāo)定物本身與其圖像的關(guān)系制約，求解攝像機(jī)參數(shù)[4]，具有較高準(zhǔn)確性與收斂，但無(wú)法實(shí)時(shí)得到結(jié)果。Tsai提出的兩步法[5][6]，計(jì)算速度快，求解結(jié)果卻不是最優(yōu)的。自標(biāo)定方法可有效應(yīng)用于攝像機(jī)焦距，放大倍數(shù)等實(shí)時(shí)改變的情況。Maybank和Faugeras提出利用絕對(duì)圓錐截線(xiàn)的不變性推出Kruppa方程[7]，進(jìn)行非線(xiàn)性約束的二次優(yōu)化，進(jìn)而求解得出攝像機(jī)成像幾何模型。該方法計(jì)算復(fù)雜，所得解不唯一且不穩(wěn)定[8]。主動(dòng)視覺(jué)標(biāo)定方法則是對(duì)攝像機(jī)做規(guī)定的平移或者旋轉(zhuǎn)運(yùn)動(dòng)來(lái)求解內(nèi)參數(shù)[9]。如馬頌德研究員和Moons等提出的攝像機(jī)作純平移運(yùn)動(dòng)[10][11]，Hartley提出的作純旋轉(zhuǎn)運(yùn)動(dòng)[12]，都可求解攝像機(jī)內(nèi)參數(shù)，降低了求解攝像機(jī)模型參數(shù)的復(fù)雜性，但成本高。

本文提出了適用于視覺(jué)點(diǎn)膠機(jī)系統(tǒng)的一種攝像機(jī)標(biāo)定方法，結(jié)合角點(diǎn)檢測(cè)，對(duì)采集的平面標(biāo)定板多視角圖片進(jìn)行特征點(diǎn)采樣，選取圖像中四個(gè)角點(diǎn)位置坐標(biāo)，構(gòu)成矩形，避免了傳統(tǒng)中通過(guò)鼠標(biāo)獲取角點(diǎn)帶來(lái)的誤差，降低標(biāo)定結(jié)果的精度。建立坐標(biāo)系，對(duì)標(biāo)定板中每個(gè)矩形單元角點(diǎn)提取。并結(jié)合非線(xiàn)性幾何畸變模型畸變校正[13]，得出視覺(jué)點(diǎn)膠機(jī)系統(tǒng)完整的成像模型，通過(guò)最大似然估計(jì)進(jìn)行優(yōu)化調(diào)整后，求出攝像機(jī)內(nèi)外參數(shù)。相比于自標(biāo)定與基于主動(dòng)視覺(jué)標(biāo)定，不需要高成本的立體模型標(biāo)定物，降低了復(fù)雜度卻不失精度。利用三軸直線(xiàn)機(jī)器人對(duì)標(biāo)定結(jié)果的精度進(jìn)行了驗(yàn)證。結(jié)果表明，采用該標(biāo)定方法精度偏差小于0.3mm，滿(mǎn)足視覺(jué)點(diǎn)膠系統(tǒng)的要求。

2 攝像機(jī)成像幾何模型

視覺(jué)測(cè)量系統(tǒng)首先由相機(jī)拍攝圖像，獲取實(shí)際三維空間中景物的位置、大小等信息。其中描述實(shí)際景象的成像過(guò)程，原理最為簡(jiǎn)單常見(jiàn)的是線(xiàn)性針孔攝像模型，如圖1。建立圖像像素、物理坐標(biāo)系u，v（單位為pixel）和x，y（單位為mm），以XC，YC，ZC為坐標(biāo)軸的建立攝像機(jī)坐標(biāo)系，以及建立世界坐標(biāo)系XW，YW，ZW。

由圖1中表示可知，現(xiàn)實(shí)空間三維物點(diǎn)M世界坐標(biāo)為（XW，YW，ZW）。ZC軸垂直于成像平面，f為鏡頭焦距。因此可得，M在圖像上的成像位置m的透視投影幾何關(guān)系為：

假設(shè)單位像素點(diǎn)對(duì)應(yīng)x，y軸方向的物理尺寸分別為dx，dy （pixels/mm），其中（u0，v0）為攝像機(jī)光軸與圖像平面的交點(diǎn)，稱(chēng)主點(diǎn)坐標(biāo)。則圖像物理坐標(biāo)系與像素坐標(biāo)系關(guān)系可表示為：

轉(zhuǎn)換為齊次坐標(biāo)轉(zhuǎn)換關(guān)系為：

以任意Z軸為標(biāo)定平面，所以ZC等同于比例可調(diào)常數(shù)因子，f為焦距，則圖像物理坐標(biāo)系到相機(jī)坐標(biāo)系存在如下齊次坐標(biāo)轉(zhuǎn)換關(guān)系：

實(shí)驗(yàn)中建立一個(gè)世界坐標(biāo)系，將攝像機(jī)安裝于世界坐標(biāo)系中的一位置，且建立一相機(jī)坐標(biāo)系，則兩坐標(biāo)系的轉(zhuǎn)換關(guān)系為：

其中R是一個(gè)3x3的單位正交矩陣，表示從世界坐標(biāo)系到攝像機(jī)坐標(biāo)系的旋轉(zhuǎn)變換。t是3x1的平移向量，表示世界坐標(biāo)系到攝像機(jī)坐標(biāo)系的平移。由式（3）、（4）和（5）可推出攝像機(jī)坐標(biāo)系與世界坐標(biāo)系之間的位置關(guān)系：

M1為攝像機(jī)內(nèi)參數(shù)矩陣，其元素包括相機(jī)焦距、主點(diǎn)坐標(biāo)、相機(jī)安裝傾斜角度和畸變系數(shù)；M2為攝像機(jī)外參數(shù)，包含旋轉(zhuǎn)矩陣和平移矩陣。

3 畸變校正

在實(shí)際的攝像機(jī)光學(xué)成像系統(tǒng)中，不像理論模型中只考慮各個(gè)坐標(biāo)系之間的轉(zhuǎn)換。由于攝像機(jī)與鏡頭在制造過(guò)程中其本身存在的技術(shù)偏差，以及相機(jī)與鏡頭連接安裝時(shí)存在的誤差等等，這些種種因素帶來(lái)成像的幾何失真。幾何畸變?cè)斐捎跋癞?huà)面扭曲，主要包括徑向畸變和切向畸變，薄棱鏡畸變相對(duì)較小[14]，實(shí)際校正過(guò)程可忽略不計(jì)。

（1）徑向畸變就是矢徑的變化，是鏡頭在制造工藝上的偏差造成的，影響相對(duì)較大，是主要考慮畸變類(lèi)型。其XY方向上模型可分別表示為：

對(duì)于n幅標(biāo)定板平面圖像，我們可得到n個(gè)式（19）方程，聯(lián)立得：

式中V是2n x 6矩陣，當(dāng)n大于等于3時(shí)，通過(guò)聯(lián)立的方程，可求解出b的唯一解，再通過(guò)所得b解求解出單應(yīng)性矩陣H，進(jìn)而解出內(nèi)參數(shù)矩陣M1各元素的值：

實(shí)際應(yīng)用中，可再通過(guò)最大似然估計(jì)法對(duì)上述各元素進(jìn)行優(yōu)化：

通過(guò)上述內(nèi)參數(shù)的解計(jì)算求解出所需外參數(shù)圖像相應(yīng)的矩陣[R t]中各元素的值：

其中m（M1， Ri， ti， Mj）是圖像坐標(biāo)系點(diǎn)Mj的投影，這是一個(gè)非線(xiàn)性?xún)?yōu)化的問(wèn)題，可以通過(guò)上述方法獲取M1，R，t良好的初始值，利用L-M算法（Levenberg-Marquardt Algorithm）解決。endprint

5 實(shí)驗(yàn)驗(yàn)證

本實(shí)驗(yàn)利用三軸直線(xiàn)機(jī)器人對(duì)標(biāo)定結(jié)果的可行性進(jìn)行了驗(yàn)證。將攝像機(jī)安裝于三軸機(jī)械臂的Z軸，通過(guò)標(biāo)定板多個(gè)角度的擺放，實(shí)現(xiàn)不同角度對(duì)標(biāo)定板進(jìn)行拍攝，作為角點(diǎn)提取參數(shù)，如圖2。圖3為實(shí)驗(yàn)中拍攝的各個(gè)角度標(biāo)定板圖像。

取代原有鼠標(biāo)獲取角點(diǎn)方法，對(duì)不同角度標(biāo)定板圖像分別進(jìn)行角點(diǎn)檢測(cè)，標(biāo)識(shí)圖像中各角點(diǎn)位置，如圖4為角點(diǎn)檢測(cè)效果圖。再分別選取圖像中四個(gè)角點(diǎn)位置坐標(biāo)，構(gòu)成矩形，并且建立坐標(biāo)系，圖5為建立了坐標(biāo)系的標(biāo)定板圖像。然后分別對(duì)標(biāo)定板圖像矩形內(nèi)的各個(gè)矩形單元進(jìn)行角點(diǎn)提取，根據(jù)實(shí)際測(cè)量小方格尺寸，計(jì)算標(biāo)識(shí)每個(gè)小方格的周?chē)屈c(diǎn)，如圖6為矩形單元靶標(biāo)選定區(qū)域。提取角點(diǎn)位置坐標(biāo)（u，v），如圖7。加上標(biāo)定板世界坐標(biāo)（XW，YW），作為參數(shù)求解單應(yīng)性矩陣H。

選取至少三組圖像中角點(diǎn)位置坐標(biāo)的提取結(jié)果作為方程的解，聯(lián)立方程，設(shè)置初始值，得出理論成像模型內(nèi)參數(shù)矩陣中各元素值：

考慮非線(xiàn)性幾何畸變成像模型的畸變校正，最大似然估計(jì)優(yōu)化的內(nèi)參數(shù)標(biāo)定結(jié)果，得出實(shí)際空間三維物點(diǎn)與圖像中二維像點(diǎn)的對(duì)應(yīng)關(guān)系為：

在標(biāo)定過(guò)程中，攝像機(jī)位置、焦距都是不變的。通過(guò)優(yōu)化后的內(nèi)參數(shù)，可以求出任意角度的外參數(shù)。選取其中一個(gè)角度的標(biāo)定板圖片，作為最終所需的世界坐標(biāo)系，如圖8求解外參數(shù)標(biāo)定板圖像。

求解得其外參數(shù)旋轉(zhuǎn)矩陣R和平移矩陣t：

實(shí)驗(yàn)中，平面標(biāo)定模板中每個(gè)黑白小方格大小為21.778mm×21.691mm，如圖8建立圖像坐標(biāo)系，根據(jù)已知內(nèi)外參數(shù)和實(shí)際圖像像素坐標(biāo)，通過(guò)計(jì)算驗(yàn)證理想世界坐標(biāo)與實(shí)際標(biāo)定世界坐標(biāo)的偏差。實(shí)驗(yàn)隨機(jī)選取10組圖像像素坐標(biāo)，經(jīng)計(jì)算驗(yàn)證表明，本實(shí)驗(yàn)標(biāo)定誤差小于0.3mm，適用于視覺(jué)點(diǎn)膠系統(tǒng)中精度要求。結(jié)果如表1。

6 結(jié)束語(yǔ)

本文提出了適用于視覺(jué)點(diǎn)膠機(jī)系統(tǒng)的一種攝像機(jī)標(biāo)定方法，結(jié)合角點(diǎn)檢測(cè)，對(duì)采集的平面標(biāo)定板多視角圖片進(jìn)行特征點(diǎn)采樣，避免了傳統(tǒng)中通過(guò)鼠標(biāo)獲取角點(diǎn)帶來(lái)的誤差。并結(jié)合非線(xiàn)性幾何畸變模型畸變校正，得出視覺(jué)點(diǎn)膠機(jī)系統(tǒng)完整的成像模型，求解出攝像機(jī)內(nèi)參數(shù)，通過(guò)最大似然估計(jì)進(jìn)行優(yōu)化調(diào)整后，由L-M算法將參數(shù)收斂，進(jìn)而求出攝像機(jī)外參數(shù)。相比于自標(biāo)定與基于主動(dòng)視覺(jué)標(biāo)定，不需要高成本的立體模型標(biāo)定物，降低了復(fù)雜度卻不失精度。實(shí)驗(yàn)中利用視覺(jué)點(diǎn)膠系統(tǒng)三軸直線(xiàn)機(jī)器人的位移，對(duì)標(biāo)定結(jié)果的精度進(jìn)行了驗(yàn)證，結(jié)果表明采用該標(biāo)定方法精度偏差小于0.3mm，滿(mǎn)足實(shí)際點(diǎn)膠要求。該標(biāo)定方法也適用于其他機(jī)器視覺(jué)檢測(cè)與焊接等工業(yè)領(lǐng)域。

參考文獻(xiàn)：

[1]Faugeras O D，Toscani G. Camera calibration for 3D computer vision.Proc.Int.Workshop on Industrial Applications of Machine Vision and Machine Intelligence.New York：IEEE，1986：15-20.

[2]明安龍.智能視覺(jué)監(jiān)控中目標(biāo)跟蹤與識(shí)別算法研究[D].北京：北京郵電大學(xué)，2008.

[3]Faig W.Calibration of close-range photogrammetry systems： Mathematical formulation. Photogrammetirc Eng.Remote Sensing，1975，

41（12）：1479-1486.

[4]Abdel-Aziz Y L.，Karara H M.Direct linear transformation from comparator coordinates into object space coordinates[C].ASP Symposium on Close-Range Photogrammetry，1971：1-18.

[5]Tsai R Y.A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV camera and lenses.IEEE Journal of Automation，1987，3（4）： 323-334.

[6]Tsai R Y.A efficient and accurate camera calibration technique for 3D machine vision. Proc. CVPR'86.New York：IEEE.1986.364-374.

[7]Maybank S J，F(xiàn)augeras O D.A theory of self-calibration of a moving camera.Int.J.Computer Vision，1992，8（2）： 123 -151.

[8]Faugeras O D，Maybank S.Motion from point matches： multiplicity of solutions.Int.J.Computer Vision， 1990， 4：225-246.

[9]胡占義，吳福朝.基于主動(dòng)視覺(jué)攝像機(jī)標(biāo)定方法[J].計(jì)算機(jī)學(xué)報(bào)，2002，25（11）：1149-1155.

[10]Ma S D.A self-calibration technique for active vision system.IEEE Trans.Robotics and Automation，1996，12（l）： 114-120.

[11]Moons T，Van Gool L，Proesmans M， et al..Affine reconstruction form perspective image pairs with a relative object-camera translation in between.IEEE Transactions on Pattern Analysis and Machine Intelligence，1996，18（1）：77-83.

[12]Hartley R.Self-calibration form multiple views with a rotating camera.LectureNotes in Computer Science，Springer-Verlag，1994，Vol.800-801：471-478.

[13]Zhang Z Y.A flexible new technique for camera calibration[J]Pattern Analysis and Machine Intelligence，IEEE Translation，2002，1

1（22）：1330-1334.

[14]鄭俊.基于校正模板的攝像機(jī)標(biāo)定及其三維重建研究[D].蘇州：蘇州大學(xué)，2012.endprint