基于單目視覺(jué)的矩形靶面彈著點(diǎn)測(cè)量

王海亮，陳登旭，劉 吉，王 鵬，黃曉慧

（1.中北大學(xué) 信息化建設(shè)與管理處，山西 太原 030051；2.中北大學(xué) 信息與通信工程學(xué)院，山西 太原 030051）

引言

彈點(diǎn)位置測(cè)量廣泛應(yīng)用于武器性能參數(shù)測(cè)試，如射擊精度、密集度試驗(yàn)，檢驗(yàn)被試槍彈密度是否滿足戰(zhàn)術(shù)指標(biāo)要求。另外，檢驗(yàn)彈道一致性也需要測(cè)量彈著點(diǎn)分布。傳統(tǒng)彈著點(diǎn)測(cè)量是通過(guò)人工判讀，精度容易受人為因素和測(cè)量工具影響，且時(shí)效性低[1-2]。目前的主要方法有線圈靶、光幕靶[3-5]、聲電靶[6]、CCD 光電靶[7-8]等，這些測(cè)試手段提高了測(cè)量的精度，效率以及自動(dòng)性。上述方法雖然自動(dòng)化程度很高，但所需設(shè)備復(fù)雜，成本比較高，而且測(cè)試設(shè)備容易受到彈丸的破壞，并且這些測(cè)量方法受外界環(huán)境影響測(cè)量誤差也會(huì)增大?；趩文恳曈X(jué)技術(shù)的彈著點(diǎn)坐標(biāo)測(cè)量方法設(shè)備簡(jiǎn)單，只需要一臺(tái)相機(jī)即可，同時(shí)精度、效率較高。該方法首先是通過(guò)張正友標(biāo)定法[9]獲得相機(jī)的內(nèi)參，并且利用角點(diǎn)識(shí)別技術(shù)檢測(cè)出圖像中靶面4個(gè)角點(diǎn)位置，采用矩形P4P 方法[10-13]解出靶面坐標(biāo)相對(duì)于相機(jī)坐標(biāo)的位姿關(guān)系即外參；然后使用圖像處理技術(shù)定位圖片中彈著點(diǎn)的坐標(biāo)；最后利用單目相機(jī)成像原理解出靶面彈著點(diǎn)的實(shí)際坐標(biāo)。

1 單目視覺(jué)成像原理

1.1 相機(jī)成像坐標(biāo)轉(zhuǎn)換

相機(jī)成像過(guò)程涉及到了4個(gè)坐標(biāo)系的轉(zhuǎn)換，分別是圖像像素坐標(biāo)坐標(biāo)系、圖像物理坐標(biāo)系、相機(jī)坐標(biāo)系、世界坐標(biāo)系。

相機(jī)采集的圖片為數(shù)字圖像，在計(jì)算機(jī)中以數(shù)組的形式儲(chǔ)存，數(shù)組的每個(gè)元素為像素，值為灰度。如圖1所示，定義坐標(biāo)系O0uv為圖像坐標(biāo)系，O1XY為圖像物理坐標(biāo)系。O1是相機(jī)光軸與圖片的交點(diǎn)，X、Y軸分別與u、v軸平行。

圖1 圖像像素坐標(biāo)系和圖像物理坐標(biāo)系關(guān)系圖Fig.1 Relationship between image pixel coordinate system and image physical coordinate system

2個(gè)坐標(biāo)系的關(guān)系式為

齊次坐標(biāo)和矩陣表示為

相機(jī)坐標(biāo)系是以相機(jī)的光心Oc為坐標(biāo)原點(diǎn)，Xc、Yc軸與圖像物理坐標(biāo)系的X、Y軸平行，Zc軸為相機(jī)光軸，垂直于圖像平面。世界坐標(biāo)系則是用來(lái)描述現(xiàn)實(shí)中物體的世界位置，用OwXwYwZw表示。假設(shè)世界坐標(biāo)系中P（Xw,Yw,Zw）在相機(jī)坐標(biāo)系中的坐標(biāo)為（Xc,Yc,Zc），可以得到如下關(guān)系：

式中：R是3×3的正交單位矩陣，也稱為旋轉(zhuǎn)矩陣；t是三維平移向量。

1.2 相機(jī)成像模型

相機(jī)成像的基本模型是基于小孔成像原理的針孔模型，如圖2所示?？臻g中點(diǎn)P經(jīng)成像后在圖像平面的投影點(diǎn)為Q，P、Q和相機(jī)光心在同一直線上。

圖2 相機(jī)針孔成像模型Fig.2 Camera pinhole imaging model

假設(shè)P點(diǎn)在相機(jī)坐標(biāo)系中的坐標(biāo)為（Xc,Yc,Zc），則其投影點(diǎn)Q在圖像坐標(biāo)系下的坐標(biāo)為（x，y），相機(jī)焦距為f，根據(jù)相似三角形原理得出：

用齊次坐標(biāo)和矩陣表示上述關(guān)系得到（5）式：

式中：s為比例因子。

將（3）式和（5）式合并，得到最終的圖像像素坐標(biāo)系和世界坐標(biāo)系的轉(zhuǎn)換關(guān)系：

即:

式中：A為相機(jī)的內(nèi)參矩陣；M為外參矩陣；H為圖像坐標(biāo)系與世界坐標(biāo)系最終的映射關(guān)系：

則（7）式展開(kāi)消除s得到：

該式為空間直線方程。并且可以看出一個(gè)像素點(diǎn)對(duì)應(yīng)射線上任意一個(gè)空間點(diǎn)，因此不能通過(guò)單一像素點(diǎn)坐標(biāo)求出空間坐標(biāo)，但是由于我們測(cè)的是靶面彈著點(diǎn)坐標(biāo)，定義世界坐標(biāo)系的Xw、Yw剛好在靶面上且與靶面的邊界平行，靶面的任何位置的Zw=0，即得到了平面Z的空間方程，結(jié)合（9）式可以求出點(diǎn)的二維靶面坐標(biāo)。

2 圖像特征點(diǎn)檢測(cè)

圖像中靶面4個(gè)角點(diǎn)和彈孔位置的識(shí)別是單目視覺(jué)測(cè)試的前提。圖像特征是區(qū)分圖像的依據(jù)，包括角點(diǎn)、直線、邊緣和輪廓等，不同圖像特征的識(shí)別有不同的方法。由于在實(shí)際靶面拍攝中，得到的圖片中靶面與靶場(chǎng)背景灰度有差異，而Harris角點(diǎn)檢測(cè)[14-15]是通過(guò)計(jì)算圖像上移動(dòng)窗口的灰度變化來(lái)定位角點(diǎn)，所以在本文4個(gè)靶面角點(diǎn)的識(shí)別采用的就是Harris角點(diǎn)檢測(cè)法。首先將相機(jī)采集的圖片進(jìn)行灰度處理，如圖3所示，使之成為我們所需要的灰度圖片；接著將圖片二值化，這樣有利于去除不利于角點(diǎn)檢測(cè)的灰度信息；利用Harris角點(diǎn)檢測(cè)法檢測(cè)角點(diǎn)，并提取出所需要的角點(diǎn)像素坐標(biāo)。

圖3 靶面原圖Fig.3 Original image of target surface

圖4 靶面圖片的彈孔識(shí)別圖Fig.4 Bullet hole identification diagram of target picture

3 相機(jī)參數(shù)獲取

相機(jī)的內(nèi)參采用張正友標(biāo)定法來(lái)獲取，只需要用相機(jī)拍攝已知尺寸的標(biāo)定板在不同方向的多幅圖像，通過(guò)獲取的特征點(diǎn)的圖像坐標(biāo)和特征點(diǎn)的世界坐標(biāo)計(jì)算出相機(jī)的內(nèi)參。這種標(biāo)定方法發(fā)展已經(jīng)相對(duì)成熟，這里不做過(guò)多闡述。本文的關(guān)鍵點(diǎn)在于外參的獲取，這里運(yùn)用呈矩形分布的P4P問(wèn)題的求解方法得到靶面的世界坐標(biāo)系與相機(jī)坐標(biāo)系的X軸和Y軸之間的位姿關(guān)系。

3.1 外參解算的數(shù)學(xué)模型

圖5為外參測(cè)量示意圖。

圖5 外參測(cè)量示意圖Fig.5 Schematic diagram of external reference measurement

1）靶面的邊界角點(diǎn)P0、P1、P2、P3位于靶面上，分別在像面上對(duì)應(yīng)q0、q1、q2、q3，P0P1P2P3為矩形，其中P0P1⊥P1P3，P0P1//P2P3，|P0P1|=l1，|P2P3|=l2；

2）P0、P1、P2、P3在靶面世界坐標(biāo)下的空間坐標(biāo)已知，q0、q1、q2、q3在圖像坐標(biāo)系下的像素坐標(biāo)通過(guò)圖像處理可得；

3）相機(jī)成像的內(nèi)參矩陣A已知。

3.2 呈矩形分布的P4P 問(wèn)題的求解

像平面上的靶面角點(diǎn)在相機(jī)坐標(biāo)系下的坐標(biāo)分別為q0（x0，y0，f）、q1（x1，y1，f）、q2（x2，y2，f）、q3（x3，y3，f），其中f為相機(jī)的焦距。設(shè)光心Oc與q2q3形成的平面是S1，由兩條直線方程可以求出該平面S1的標(biāo)準(zhǔn)法向量N1，N1=(nx,ny,nz)T；又因?yàn)镻0P1//P2P3，所 以分別是光心到靶面角點(diǎn)P0、P1的距離與光心到像點(diǎn)q0、q1的距離的比值。

由

可得：

水工隧洞為了提高其抗?jié)B性及抗凍性，一般選擇硅酸鹽水泥或普通硅酸鹽水泥。在具體選擇水泥時(shí)，主要比較水泥看其K2O和Na2O含量。在水工混凝土中，所選水泥其C3A含量不應(yīng)大于8%，Na2O含量不應(yīng)大于0.6%。在骨料選擇時(shí)，應(yīng)采用非堿或低堿活性骨料。水泥、骨料在使用前必須嚴(yán)格對(duì)其堿含量進(jìn)行檢測(cè)。

另外，由于|P0P1|=l1，可得：

聯(lián)立（12）式和（13）式可以求出k0和k1。這樣P0點(diǎn)在相機(jī)坐標(biāo)系下的坐標(biāo)便可以計(jì)算出來(lái)，即：P0（xp0，yp0，zp0）=（k0x0，k0y0，k0f），P1（xp1，yp1，zp1）=（k1x1，k1y1，k1f）。

P0作為世界坐標(biāo)系的原點(diǎn)，它在相機(jī)坐標(biāo)系下的坐標(biāo)就是世界坐標(biāo)系對(duì)于相機(jī)坐標(biāo)系的平移向量，T=(xp0,yp0,zp0)T。世界坐標(biāo)系的Xw軸在相機(jī)坐標(biāo)系下的方向?yàn)?/p>

世界坐標(biāo)系的Yw軸在相機(jī)坐標(biāo)系下的方向?yàn)?/p>

將這2個(gè)向量標(biāo)準(zhǔn)化，得到（r11，r21，r31）和（r12，r22，r32），即為旋轉(zhuǎn)矩陣R的第一列和第二列向量，世界坐標(biāo)系的Zw軸在相機(jī)坐標(biāo)系下的方向向量（r13，r23，r33）可由Xw，Yw在相機(jī)坐標(biāo)系下的方向向量叉乘得到：

這樣便得到旋轉(zhuǎn)矩陣R，靶面坐標(biāo)系相對(duì)于相機(jī)坐標(biāo)系的外參便解算出來(lái)了。

4 試驗(yàn)分析

實(shí)驗(yàn)中采用的靶面大小為500 mm×500 mm，彈孔直徑約8 mm。進(jìn)行5個(gè)彈孔坐標(biāo)的測(cè)量，實(shí)驗(yàn)流程如圖6所示。

圖6 彈著點(diǎn)坐標(biāo)測(cè)量流程圖Fig.6 Flow chart of impact point coordinate measurement

4.1 相機(jī)標(biāo)定

調(diào)整好相機(jī)的鏡頭，拍攝18 張標(biāo)定圖片進(jìn)行標(biāo)定，如圖7所示。

圖7 相機(jī)內(nèi)參標(biāo)定示意圖Fig.7 Schematic diagram of camera internal reference calibration

標(biāo)定后相機(jī)的內(nèi)參為

像素平均誤差由圖8可得最大投影誤差僅為0.12像素，平均投影誤差為0.05像素，達(dá)到了亞像素級(jí)別。

圖8 相機(jī)標(biāo)定的投影誤差Fig.8 Projection error of camera calibration

4.2 彈孔坐標(biāo)測(cè)量

圖9為靶面與相機(jī)近似平行時(shí)的靶面圖。

圖9 靶面與相機(jī)近似平行時(shí)的靶面圖Fig.9 Target surface diagram when target surface is approximately parallel to camera

當(dāng)靶面與相機(jī)近似平行時(shí)，外參通過(guò)4個(gè)角點(diǎn)計(jì)算得到：

由此得到像素坐標(biāo)和靶面世界坐標(biāo)的映射矩陣為

當(dāng)靶面與相機(jī)鏡頭平面近似平行時(shí)，用單目視覺(jué)測(cè)量彈孔坐標(biāo)的實(shí)驗(yàn)結(jié)果如表1所示。

表1 靶面與相機(jī)近似平行時(shí)測(cè)量坐標(biāo)及其誤差Table1 Measuring coordinates and errors when target surface is approximately parallel to camera

但是實(shí)際的測(cè)量過(guò)程當(dāng)中，靶面與相機(jī)鏡頭平面完全平行是很難做到的，總會(huì)與靶面存在一定的角度，如圖10所示。將靶面與相機(jī)鏡頭平面調(diào)整一定的角度測(cè)量，測(cè)量結(jié)果如表2所示，可以看出即使存在角度，測(cè)量最大誤差也在2.3 mm。

圖10 靶面與鏡頭平面存在一定角度時(shí)的靶面圖Fig.10 Target surface diagram when there is certain angle between target surface and lens plane

表2 靶面與相機(jī)存在一定角度時(shí)測(cè)量坐標(biāo)及其誤差Table2 Measuring coordinates and errors when target surface and camera have certain angle

5 結(jié)論

本文提出一種基于單目視覺(jué)的彈著點(diǎn)測(cè)量方法。利用圖像處理技術(shù)識(shí)別出靶面4個(gè)角點(diǎn)以及彈孔位置，根據(jù)張正友標(biāo)定方法和矩形P4P 問(wèn)題的求解得到相機(jī)的內(nèi)外參數(shù)，并且通過(guò)單目視覺(jué)原理測(cè)量處理彈著點(diǎn)坐標(biāo)。最后結(jié)合實(shí)驗(yàn)數(shù)據(jù)分析，得出靶面與相機(jī)越接近平行測(cè)量精度越高。靶面與相機(jī)存在一定的角度，最大誤差也在2.3 mm。充分證明了該方法是一種可行、有效、精度較高的彈著點(diǎn)測(cè)量方法。但是，在實(shí)際應(yīng)用過(guò)程中光照條件、彈孔形狀等可能會(huì)對(duì)測(cè)量精度產(chǎn)生影響，后續(xù)將進(jìn)行這方面的研究，以便于該系統(tǒng)可以在實(shí)踐中得到廣泛應(yīng)用。