單目攝像機(jī)線性模型可靠性分析與研究

賈星偉，殷晨暉，隋國榮

（上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院，上海 200093）

引 言

工程測(cè)量學(xué)作為一門古老的學(xué)科，集光學(xué)、電子學(xué)、傳感器、圖像、制造及計(jì)算機(jī)等技術(shù)為一體，應(yīng)用于人類生活、生產(chǎn)和科研等各個(gè)領(lǐng)域[1]。經(jīng)濟(jì)社會(huì)的進(jìn)步促進(jìn)了測(cè)量技術(shù)的發(fā)展，同時(shí)對(duì)測(cè)量技術(shù)提出了更高的要求。20世紀(jì)80年代以來，現(xiàn)代工業(yè)生產(chǎn)利用計(jì)算機(jī)視覺進(jìn)行的非接觸式測(cè)量成為一種新興的測(cè)量技術(shù)[2]。計(jì)算機(jī)視覺的主要任務(wù)是根據(jù)二維圖像信息獲得實(shí)際三維場景中物體的空間位置、形狀等幾何信息[3]，從而進(jìn)行物體識(shí)別與重建等。其關(guān)鍵是對(duì)該系統(tǒng)建模，找到圖像與物體的映射關(guān)系，精準(zhǔn)的視覺測(cè)量建立在精確的映射關(guān)系的基礎(chǔ)之上[4-5]。

攝像機(jī)成像系統(tǒng)是較為復(fù)雜的光學(xué)系統(tǒng)。攝像機(jī)模型是光學(xué)幾何關(guān)系的簡化，最簡單的模型為針孔模型[6]，是一種理想的近似模型，由三維空間到平面的中心投影變換所給出[3]。其他如Martins等[7]提出的雙平面攝像機(jī)模型，不要求光線必須經(jīng)過光心，可利用任一圖像點(diǎn)計(jì)算出兩標(biāo)定平面上的對(duì)應(yīng)點(diǎn)，進(jìn)而確定產(chǎn)生該圖像點(diǎn)的光線。針孔線性模型由射影幾何得來，自攝影測(cè)量學(xué)興起時(shí)一直沿用至今[8]，計(jì)算機(jī)視覺在工業(yè)自動(dòng)化檢測(cè)、遙感圖像分析、醫(yī)學(xué)圖像處理等領(lǐng)域越來越廣泛的應(yīng)用[9-11]普遍使用針孔模型作為理論基礎(chǔ)。航空攝像機(jī)獲取遙感圖像實(shí)現(xiàn)目標(biāo)定位，根據(jù)直線透視投影不變性，在針孔成像模型的基礎(chǔ)上進(jìn)行幾何畸變自動(dòng)校正[12]，能夠準(zhǔn)確校正圖像變形，在2500 m高空作業(yè)時(shí)均方根誤差約為2 m。在大視場的雙目視覺測(cè)量系統(tǒng)中，由單目針孔模型結(jié)合兩臺(tái)攝像機(jī)的成像原理，構(gòu)建系統(tǒng)模型參數(shù)，利用空間平行線及垂直線求解約束方程，實(shí)現(xiàn)系統(tǒng)的標(biāo)定，避免了對(duì)標(biāo)定物的依賴，平均標(biāo)定誤差為0.51%[13]。進(jìn)行大型工件三維尺寸檢測(cè)時(shí)，采用全線性標(biāo)定方法，使用多個(gè)CCD攝像機(jī)(多于60個(gè))，并假設(shè)成像模型為針孔模型且不考慮畸變，對(duì)白車身(測(cè)量范圍為6 m左右)進(jìn)行測(cè)量，誤差優(yōu)于0.05 mm[14]。高精度的攝像機(jī)標(biāo)定過程中，首先結(jié)合理想的針孔模型及透鏡畸變模型建立實(shí)際的攝像機(jī)模型，考慮圖像中心畸變小的問題，利用中心區(qū)域數(shù)據(jù)初步計(jì)算部分參數(shù)，再代入綜合模型逼近精確解，此方法重復(fù)性好，平均像素誤差僅為0.114 9 pixel[15]。

根據(jù)前述國內(nèi)外文獻(xiàn)分析，可見大部分光學(xué)系統(tǒng)都采用了針孔模型進(jìn)行分析。但缺乏相關(guān)文獻(xiàn)對(duì)針孔模型進(jìn)行建模分析、設(shè)計(jì)并進(jìn)行實(shí)驗(yàn)研究以獲得相應(yīng)的實(shí)驗(yàn)結(jié)果，從而支撐將針孔模型用于攝像機(jī)光學(xué)系統(tǒng)的觀點(diǎn)。為此，本文分析、構(gòu)建傳統(tǒng)攝像機(jī)線性模型；根據(jù)成像規(guī)律，設(shè)計(jì)新模板的視覺測(cè)量實(shí)驗(yàn)，通過改變系統(tǒng)待測(cè)模板的線段長度，并利用21組數(shù)據(jù)擬合成像的線性結(jié)果，觀察分析攝像機(jī)成像能達(dá)到的線性度；在20個(gè)不同位置進(jìn)行重復(fù)性實(shí)驗(yàn)，進(jìn)一步分析了該方法中針孔線性模型的實(shí)用性。實(shí)驗(yàn)通過提取多組待測(cè)物的特征，直接進(jìn)行圖像及實(shí)際線段的測(cè)量比較，分析攝像機(jī)線性模型測(cè)量精度。實(shí)驗(yàn)結(jié)果顯示實(shí)際針孔模型可以實(shí)現(xiàn)相對(duì)測(cè)量誤差不超過1%，在該模型下重復(fù)測(cè)量誤差最大不超過0.3 mm量級(jí)，測(cè)量精度不低于0.1 mm，為計(jì)算機(jī)視覺中攝像機(jī)線性針孔模型的使用提供了重要的參考。

1 數(shù)學(xué)模型分析

1.1 基本成像模型

三維物體通過透鏡映射到成像面上，其中的變換關(guān)系可以由成像模型來描述。通常計(jì)算機(jī)視覺中廣泛使用針孔模型[3]，它是簡化的光學(xué)成像線性模型，在數(shù)學(xué)上可以表示為三維空間到二維平面的中心投影?？臻g中任何一點(diǎn)P與光心O的連線交圖像于一點(diǎn)p，則p為P在圖像中的投影位置，如圖1所示。

圖1 攝像機(jī)基本成像模型Fig. 1 Basic imaging model of camera

下面描述針孔模型數(shù)學(xué)建立過程[16]，實(shí)現(xiàn)二維圖像點(diǎn)與三維空間的轉(zhuǎn)換。如圖2所示，在圖像上定義直角坐標(biāo)系u、v為圖像像素坐標(biāo)系，它以像素為單位，表示像點(diǎn)位于圖像上的行數(shù)與列數(shù)。為了用物理單位表示像點(diǎn)在圖像中的位置，需要建立圖像物理坐標(biāo)系，光軸交圖像平面于o點(diǎn)，以o點(diǎn)為原點(diǎn)，x軸和y軸分別平行于u、v，構(gòu)成以物理單位（如mm）表示的圖像坐標(biāo)系。

圖像物理坐標(biāo)轉(zhuǎn)化為像素坐標(biāo)，有

圖2 圖像坐標(biāo)系Fig. 2 Image coordinate system

式中：dx，dy分別是CCD上u軸和v軸的尺寸因子；(u0, v0)是圖像中心點(diǎn)的坐標(biāo)。將其表示為矩陣形式：

以光心O為原點(diǎn)，xc軸平行于x軸，yc軸平行于y軸，O、xc、yc構(gòu)成攝像機(jī)坐標(biāo)系。圖像物理坐標(biāo)系轉(zhuǎn)化為攝像機(jī)坐標(biāo)系：

式中：f為攝像機(jī)鏡頭的焦距?？杀硎緸榫仃囆问剑?/p>

由于物體和攝像機(jī)可以擺放在任意位置，需要在環(huán)境中選擇一個(gè)基準(zhǔn)坐標(biāo)系，用來描述攝像機(jī)以及空間中任意物體的位置，這個(gè)基準(zhǔn)坐標(biāo)系可以人為定義，稱之為世界坐標(biāo)系。為了將世界坐標(biāo)系中的點(diǎn)P轉(zhuǎn)換到攝像機(jī)坐標(biāo)系中，引入旋轉(zhuǎn)矩陣R和平移向量t進(jìn)行兩坐標(biāo)系的轉(zhuǎn)換。

式中：R是3×3的旋轉(zhuǎn)矩陣，3個(gè)列向量均為單位向量，并相互正交；t是3×1的平移矩陣。

綜上，攝像機(jī)模型可簡寫為

1.2 非線性畸變校正

實(shí)際上，由于光學(xué)系統(tǒng)中鏡頭失真、鏡頭組的設(shè)計(jì)與組裝誤差造成像點(diǎn)位置偏移，針孔模型并不能完美地表達(dá)像點(diǎn)的真實(shí)位置[19-20]。線性模型描述的像點(diǎn)位置與實(shí)際像點(diǎn)的關(guān)系可以表示為

式中：δx、δy是像點(diǎn)在x、y方向的偏移量，與圖像點(diǎn)在圖像中的位置有關(guān)。理論上鏡頭同時(shí)存在徑向畸變和切向畸變，如圖3所示。

圖3 畸變模型Fig. 3 Distortion model

光線在遠(yuǎn)離透鏡中心的地方比靠近中心的地方折射率更大，造成了視野總光軸中心區(qū)域的放大率不同于邊緣區(qū)域的放大率。透鏡不平行于圖像平面且透鏡組各個(gè)透鏡光軸不重合。由于攝像機(jī)工藝的發(fā)展，一般切向畸變比較小，主要考慮徑向畸變的修正量。同軸透鏡的徑向畸變量關(guān)于光軸嚴(yán)格對(duì)稱，故

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)過程

為了驗(yàn)證針孔相機(jī)模型的可靠性和適用范圍，自行設(shè)計(jì)模板進(jìn)行標(biāo)定實(shí)驗(yàn)，比較模板線段的實(shí)測(cè)長度與經(jīng)過相機(jī)成像后測(cè)得的長度。實(shí)驗(yàn)結(jié)果表明，在一定的物距范圍內(nèi)，經(jīng)過成像后的模板線段仍然具有很好的線性度，針孔模型可以適用。物距越小，標(biāo)準(zhǔn)誤差越大。這表明物距越小，對(duì)應(yīng)的光學(xué)像差越大。

實(shí)驗(yàn)的基本步驟如圖4所示。首先設(shè)計(jì)和制作待測(cè)模板，然后使用攝像機(jī)對(duì)多張模板依次進(jìn)行拍攝，應(yīng)用圖像處理的方法記錄模板各個(gè)位置處線段的長度。利用攝像機(jī)采集到的每張模板不同位置線段的成像數(shù)據(jù)，分析針孔模型的適用范圍和可靠性。設(shè)計(jì)的模板如圖5所示。

圖4 實(shí)驗(yàn)過程Fig. 4 Experimental procedure

首先設(shè)計(jì)并制作21張待測(cè)模板，每個(gè)待測(cè)模板是使用Visio軟件繪制的21條長度漸變的平行線段，將其存入PowerPoint。以放映幻燈片的方式切換模板，不僅可以全屏顯示模板，而且可以減小更換模板帶來的誤差。鏡頭的光學(xué)像差是不可避免的，圖像不同位置處的光學(xué)像差不同。實(shí)驗(yàn)為了觀察攝像機(jī)光學(xué)系統(tǒng)在不同物距和不同視場的成像線性度，需要分別比較兩種成像效果，即多張模板圖像中同一位置處的線段成像效果和單張模板圖像中不同位置處的線段成像效果。為了讓線段盡可能充滿整個(gè)成像傳感器，且避免線段排布緊密導(dǎo)致檢測(cè)受到干擾，需選擇合適的平行間距及線段長度。第一張模板中線段長度從上到下由90 mm依次遞減3.6 mm，至18 mm，其中每兩條線段間隔2 mm；第二張模板中兩兩線段間距不變，只是將最下面一條線段移到最上面的位置，上面的20條線段依次往下調(diào)整一格位置，以此類推，設(shè)計(jì)21個(gè)標(biāo)定模板，使得每個(gè)位置都有相同的21組不同數(shù)據(jù)。

圖5 待測(cè)模板Fig. 5 Template for testing

系統(tǒng)實(shí)驗(yàn)平臺(tái)的基本思路如圖6所示，在該圖基礎(chǔ)上選用MV-VEM200SM型號(hào)的黑白攝像機(jī)，分辨率為1 600 pixel×1 200 pixel。鏡頭為M3Z1228C-MP工業(yè)鏡頭。防震臺(tái)的一端放置攝像機(jī)，電子屏幕固定于一維導(dǎo)軌上。定義模板平面在世界坐標(biāo)系中z=0，將三維空間中線段的測(cè)量轉(zhuǎn)換為平面線段測(cè)量，不需要計(jì)算三維坐標(biāo)，減少計(jì)算量。利用精度為0.01 mm的游標(biāo)卡尺進(jìn)行目標(biāo)點(diǎn)在世界坐標(biāo)系下的測(cè)量，記錄顯示屏上每條線段的實(shí)際長度。

圖6 實(shí)驗(yàn)系統(tǒng)平臺(tái)Fig. 6 Experiment platform

實(shí)驗(yàn)首先要調(diào)整電子屏與攝像機(jī)平面平行，并且攝像機(jī)光心通過電子屏中心，在模板平面距離攝像機(jī)光心18～38 cm的條件下進(jìn)行，每個(gè)位置拍攝21張模板圖像，輕觸顯示屏更換模板，

這樣可以減小實(shí)驗(yàn)誤差。用電位移平臺(tái)使模板每次移動(dòng)1 cm，并且保證焦距不變，同樣拍攝21張模板照片。拍攝20組模板照片，在Visual Studio 2015和OpenCV 3.3下編寫亞像素級(jí)角點(diǎn)檢測(cè)程序，獲得圖像模板上每條線段像素個(gè)數(shù)(單位：pixel)。

2.2 實(shí)驗(yàn)結(jié)果與分析

第一組實(shí)驗(yàn)將電子屏固定在距離攝像機(jī)光心18 cm處的位置，拍攝21張標(biāo)定模板，然后使用亞像素級(jí)角點(diǎn)檢測(cè)方法，提取每個(gè)模板中最中間的第11條線段所占的像素個(gè)數(shù)，結(jié)果如表1所示。假設(shè)經(jīng)過成像后線段的像素長度為y，模板線段實(shí)際長度為x，函數(shù)擬合結(jié)果如圖7所示。經(jīng)過函數(shù)擬合，可以看出實(shí)驗(yàn)系統(tǒng)成像效果滿足線性關(guān)系 y =0.070 8x?0.547，每個(gè)像素代表固定的實(shí)際長度。

由圖7可以看出，實(shí)驗(yàn)中間線段經(jīng)過攝像機(jī)成像后的像素長度具有優(yōu)秀的線性擬合效果，也就是說攝像機(jī)在這種情況下滿足小孔成像。此線性模型參數(shù)及統(tǒng)計(jì)量如表2所示，線性回歸方程為y=p1x+p2，其中y代表實(shí)際長度(單位：mm)，x代表像素長度(單位：pixel)，系數(shù)p1表示一個(gè)像素對(duì)應(yīng)的實(shí)際長度，p2為常數(shù)項(xiàng)，表示系統(tǒng)誤差如平臺(tái)搭建產(chǎn)生的誤差等。從表2可以得出，檢驗(yàn)直線方程擬合程度的可決系數(shù)R2=0.999 97，其值越接近1，說明此方程的擬合程度越好。標(biāo)準(zhǔn)誤差項(xiàng)表示實(shí)際值與擬合估計(jì)值的總體偏差，用來衡量回歸方程的代表性，其值越小代表擬合效果越好。標(biāo)準(zhǔn)誤差計(jì)算公式為

表1 第 11 條線段測(cè)量結(jié)果Tab. 1 Measurement results of Line 11

圖7 第 11 條線段測(cè)量結(jié)果Fig. 7 Measurement results of Line 11

表2 線性模型參數(shù)及統(tǒng)計(jì)量表Tab. 2 Linear model parameters and statistics

式中：n為樣本數(shù)；m為變量數(shù)；Se為剩余平方和。

由表2可以看出，標(biāo)準(zhǔn)誤差S較小，說明此線性模型假設(shè)合理，能夠很好地解釋圖像線段與物方實(shí)際線段的關(guān)系。用此線性模型隨機(jī)測(cè)量不同位置的幾條線段的數(shù)據(jù)，取上(第1條線)、中(第11條線)、下(第21條線)3個(gè)位置的線段測(cè)量數(shù)據(jù)。實(shí)驗(yàn)結(jié)果表明，絕對(duì)誤差不超過0.26 mm，相對(duì)誤差不超過0.28%，實(shí)驗(yàn)結(jié)果如表3所示。

表3 模型測(cè)量結(jié)果Tab. 3 Measurement results of model

為了進(jìn)一步比較、確定模板中間還是邊緣的光學(xué)像差會(huì)影響成像的線性度，采用同樣的方法研究物距30 cm處模板中其他位置的線段，得到的標(biāo)準(zhǔn)誤差隨線段位置的變化如圖8所示。由圖8可以進(jìn)一步得出，成像線性度主要受邊緣圖像的畸變影響，中間部分的線段標(biāo)準(zhǔn)誤差小，說明中間部分畸變較小，邊緣部分的線段標(biāo)準(zhǔn)誤差大，說明邊緣部分畸變較大。進(jìn)一步可以得出視場越大，畸變?cè)酱蟆?/p>

在實(shí)際測(cè)量中，難免會(huì)產(chǎn)生誤差。誤差包括拍攝時(shí)光照不均、手動(dòng)測(cè)量誤差、圖像特征提取誤差等，實(shí)驗(yàn)中此線性模型測(cè)量的相對(duì)誤差不超過0.28%，非常接近真實(shí)值，說明其可信度很高且具有實(shí)用價(jià)值，但其絕對(duì)誤差達(dá)到0.26 mm級(jí)別，可見在測(cè)量精度要求較高的場合下需要進(jìn)一步改進(jìn)。

圖8 標(biāo)準(zhǔn)誤差比較Fig. 8 Comparison of the standard error

在電子屏幕距離攝像機(jī)平面18～38 cm處進(jìn)行重復(fù)實(shí)驗(yàn)，選擇每組物距下的第8張圖片進(jìn)行數(shù)據(jù)分析，部分測(cè)量結(jié)果如表4所示。其中標(biāo)準(zhǔn)誤差為各距離下對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行線性擬合后的結(jié)果，同時(shí)利用擬合的線性模型對(duì)模板中上、中、下3個(gè)位置的線段(第1條，第11條，第21條)長度進(jìn)行預(yù)測(cè)，與實(shí)際值對(duì)比后計(jì)算其相對(duì)誤差。

表4 不同距離下模型測(cè)量結(jié)果Tab. 4 Measurement results of model at different distances

模型標(biāo)準(zhǔn)誤差隨物距的變化如圖9所示，可以推測(cè)，攝像機(jī)系統(tǒng)成像的線性程度與物距有一定關(guān)系。且物距越小，標(biāo)準(zhǔn)誤差越大，說明線性模型的擬合程度相對(duì)較差，也就是對(duì)應(yīng)的光學(xué)像差大，圖像畸變大。此線性模型在遠(yuǎn)距離時(shí)測(cè)量結(jié)果更加穩(wěn)定，然而隨著物距的增大，可能會(huì)應(yīng)用大焦距去拍攝遠(yuǎn)距離物體，此時(shí)帶來的結(jié)果就是犧牲圖像畫質(zhì)，誤差也會(huì)相對(duì)增加。因此在實(shí)際應(yīng)用中，應(yīng)平衡各因素的影響，選擇焦距合適的鏡頭，選擇最佳的物距。

圖9 物距與標(biāo)準(zhǔn)誤差的關(guān)系Fig. 9 Relationship between object distance and standard error

3 結(jié) 論

視覺測(cè)量以攝像機(jī)模型為基礎(chǔ)完成后續(xù)測(cè)量任務(wù)，復(fù)雜的攝像機(jī)系統(tǒng)是否可以看作線性模型有待考證。本文通過搭建單目視覺系統(tǒng)進(jìn)行了重復(fù)性測(cè)量實(shí)驗(yàn)，20組實(shí)驗(yàn)結(jié)果表明在該實(shí)驗(yàn)條件下攝像機(jī)成像的線性度高，使用攝像機(jī)基本模型——線性模型進(jìn)行計(jì)算機(jī)視覺任務(wù)是有效可行的。實(shí)驗(yàn)方法中使用多組線段構(gòu)成的模板組，其特征提取過程簡便且提取結(jié)果精度高。實(shí)驗(yàn)不僅為針孔線性模型的使用提供了依據(jù)，同時(shí)由于實(shí)驗(yàn)方法避免了復(fù)雜的模型運(yùn)算，計(jì)算簡單，在本實(shí)驗(yàn)條件下線性模型測(cè)量的相對(duì)誤差不超過1%，近距離測(cè)量時(shí)測(cè)量誤差不超過0.3 mm，因此在有特定精度要求的應(yīng)用場合可直接用于平面測(cè)量。