基于雙目相機的光學(xué)高度測量系統(tǒng)

王修文　李志偉　李宏偉　田智源　胥震宇　田燕青

摘要：根據(jù)雙目立體視覺模型，搭建一個實驗室專用的高度測量系統(tǒng)。首先使用Matlab自帶的工具箱對雙目相機進行多次標(biāo)定，獲取實驗所需的諸多參數(shù)，然后通過立體校正技術(shù)建立修正后的世界坐標(biāo)與像素坐標(biāo)之間的關(guān)系方程。在VS2015結(jié)合OpenCV的編程環(huán)境下，利用立體匹配算法和視差理論獲取目標(biāo)表面的三維空間信息。最后通過選定同一目標(biāo)的2個特征點獲取其空間坐標(biāo)，達到高度測量的目的。實驗結(jié)果顯示，該系統(tǒng)能夠有效實現(xiàn)真實場景下的三維信息測量。

關(guān)鍵詞：雙目立體視覺;相機標(biāo)定;視差圖;高度測量

【Abstract】Accordingtothebinocularstereovisionmodel，thispaperbuildsalaboratory-specificheightmeasurementsystem.ByusingtheMatlabtoolboxtocalibratethebinocularcameratoobtainmanyparametersrequiredbytheexperiment，thepaperestablishestherelationshipequationbetweenthecorrectedworldcoordinatesandthepixelcoordinatesthroughimagecorrectiontechnology.UndertheprogrammingenvironmentofVS2015combinedwithOpenCV，thestereomatchingalgorithmandtheparallaxtheoryareusedtoobtainthethree-dimensionalspatialinformationofthetargetsurface.Finally，thespacecoordinatesofthesametargetareobtainedbyselectingtwocharacteristicpointstoachievethepurposeofheightmeasurement.Theexperimentalresultsshowthatthesystemcanachieve3Dinformationmeasurementofrealsceneswell.

【Keywords】binocularstereovision;cameracalibration;disparitymap;heightmeasurement

作者簡介：王修文（1997-），男，碩士研究生，主要研究方向：圖像識別與處理;李志偉（1982-），男，副教授，碩士生導(dǎo)師，主要研究方向：光電子、圖像處理、機器視覺等。

0引言

從古至今，人類一直在嘗試使用工具描繪看見的任何事物，現(xiàn)代科技不斷向前發(fā)展的同時，新的高度測量技術(shù)也被不斷提出。對于各所高校而言，在實驗室內(nèi)更加準(zhǔn)確快速地獲得周圍物體的尺寸有助于驗證階段性的實驗成果，相比于費時、費力且效率低下的普通測量方法，雙目視覺測高技術(shù)有著多目標(biāo)同時檢測，非接觸式、高精度、高效率的優(yōu)勢。

在雙目視覺測量這一領(lǐng)域，國內(nèi)外許多學(xué)者做了大量研究與實踐。1966年，最小二乘法首次被Hallert用于標(biāo)定觀察數(shù)據(jù)的處理上，在野外立體坐標(biāo)測量儀上的應(yīng)用更是取得突破性的精確結(jié)果。周科杰等人[1]推出了一種采用雙目相機結(jié)合編碼結(jié)構(gòu)光的三維測量系統(tǒng)，該系統(tǒng)能通過移動測量儀獲得三維點云矩陣，進而完成對大型曲面的測量。雖然目前對立體視覺技術(shù)的理論研究已經(jīng)逐漸趨于完善，但由于在不同的場景下的需求也不相同，這就對整個立體視覺系統(tǒng)的魯棒性和穩(wěn)定性提出了更高的要求。

為提高獲得的相機相關(guān)參數(shù)的準(zhǔn)確性，主要對雙目視覺的標(biāo)定方法進行了改良，開創(chuàng)性地使用預(yù)標(biāo)定+單目標(biāo)定+雙目標(biāo)定的方式進行立體標(biāo)定，實驗結(jié)果最終也論證了該方法行之有效。

1雙目測高的原理

作為機器視覺的一類重要分支，雙目視覺測量技術(shù)采用一對雙目模塊來模擬人眼的視覺機制，從而獲取同一場景2個不同視角下的2幅圖像，再依據(jù)視差原理建立相應(yīng)數(shù)學(xué)模型來還原該場景下的深度信息，最后利用相似原理，計算出目標(biāo)物體同一面上最高最低點的空間三維坐標(biāo)[2]。

雙目立體視覺模型如圖1所示。圖1中，PL與PR分別是點P（x，y，z）在左右相機成像平面上的投影，OR、OL分別為左右相機光心，n為相機主光軸向量，f為相機焦距。若已知空間點P在左右像平面的投影坐標(biāo)PL和PR以及相機標(biāo)定參數(shù)，即可計算出點P的三維空間坐標(biāo)[3]。

1.1雙目標(biāo)定

雙目相機標(biāo)定要求測定參照物上每個特征點相對于世界坐標(biāo)系（XW，YW，ZW）的位置，圖像平面坐標(biāo)與三維空間坐標(biāo)間的對應(yīng)關(guān)系，這個映射關(guān)系主要由雙目相機的內(nèi)、外參數(shù)確定[4-5]。換句話說，雙目相機標(biāo)定的主要目的就是求取相機內(nèi)外參數(shù)以及相應(yīng)的畸變系數(shù)，因為這會直接影響到雙目測量的結(jié)果。

標(biāo)定方法采用由張正友教授提出的單平面棋盤格法，以下簡稱張氏標(biāo)定法[6]，標(biāo)定板如圖2所示。張氏標(biāo)定法直接將世界坐標(biāo)系與標(biāo)定板平面融合，即ZW=0，標(biāo)定板平面上任意一點P的齊次坐標(biāo)為（XW，YW，0，1），在圖像像素坐標(biāo)系下表示為（u，v，1）、圖像物理坐標(biāo)系（x，y，1）、相機坐標(biāo)系（XC，YC，ZC），用矩陣形式表示為：

由于諸多參數(shù)都是在標(biāo)定這一階段獲得，因此為了使標(biāo)定結(jié)果更加準(zhǔn)確，創(chuàng)造性地使用預(yù)標(biāo)定+單目標(biāo)定+雙目標(biāo)定的方式。

預(yù)標(biāo)定如圖3所示。在預(yù)標(biāo)定階段，首先利用Matlab的自動標(biāo)定工具箱—StereoCameraCalibrator對采集的24組棋盤格圖像來進行篩選標(biāo)定，再根據(jù)MeanErrorPixels指標(biāo)來剔除標(biāo)定過程中誤差較大的圖像對。

單目標(biāo)定如圖4所示。角點選取見圖4（a）。在第二階段，使用calib工具箱分別對篩選后的左/右視圖進行手動標(biāo)定，這一過程主要包括手動設(shè)置角點以及自動提取角點，由此得到2組單目標(biāo)定的參數(shù)，見表1。圖4（b）中則展示了單目鏡頭與標(biāo)定板之間的相對三維空間圖。

1.2立體校正

想要通過2幅圖像對一個點的深度信息進行估計，就必須嚴格保證能在2幅圖像中匹配到該點。同時，為了提高匹配的效率，左右相機的成像平面應(yīng)處于同一平面上。但是在實際操作中，僅僅通過平放攝像頭無法保證光心OR與OL保持在一條軸上，參見圖1。此時就需要使用圖像立體校正技術(shù)，把2個不同的圖像平面重新投影到同一平面上，使得2幅圖像滿足匹配條件[7-8]。

進行校正后的雙目立體視覺模型如圖6所示。由圖6可以看到，進行立體校正后，圖像畸變消除，2臺相機的X軸重合，左右相機光心OR，OL之間為基線B，光軸與相機成像平面垂直，左右成像面上的每一行都嚴格水平對齊，滿足極線約束條件，匹配點的搜索范圍也從二維降到了一維上，在這種結(jié)構(gòu)下尋找P點在左右成像面上的投影uL，uR之間的匹配關(guān)系將會十分便捷[9]。

2實驗與結(jié)果分析

2.1實驗平臺搭建

實驗室用雙目立體視覺系統(tǒng)的特點之一是成本低、操作簡單，其核心組成為一個雙目視覺模塊、專用支架和一臺計算機。使用一根USB數(shù)據(jù)線連接計算機與雙目相機，雙目視覺模塊的實物圖如圖9所示，主要參數(shù)見表2。

平臺的搭建也是十分快捷，只需將雙目相機固定在支架上，再將支架固定在實驗桌上，最后使用USB數(shù)據(jù)線與筆記本連接就完成了。整個雙目測距系統(tǒng)的軟件平臺基于Win10桌面操作系統(tǒng)，相機標(biāo)定使用Matlab2010b的標(biāo)定箱工具，立體匹配算法運行環(huán)境為MicrosoftVisualStudio2013，整個系統(tǒng)的具體運作流程如圖10所示。

2.2實驗結(jié)果

使用半全局匹配算法中的SGBM算法與局部立體匹配算法中的BM（BlockMatching）算法進行對比。

使用BM算法對圖7進行立體匹配后輸出的視差圖如圖11所示。可以從視差圖中看出整個場景的大致輪廓被基本還原，但由于錯誤匹配點較多，信息缺失十分嚴重，視差圖整體識別度比較差，因此不具備參考價值。

使用SGBM算法對圖7進行立體匹配后輸出的視差圖如圖12所示。雖然信息也有缺失，但整體輪廓較為完整，分辨率較高，且與BM算法的結(jié)果相比，不正確的匹配點更少。

由于實驗條件有限，暫時只使用了2種匹配算法。誤差結(jié)果見表3，本系統(tǒng)測量結(jié)果較為準(zhǔn)確，誤差控制在1%左右。

3結(jié)束語

利用Matlab來研發(fā)真實場景圖像對的采集和實驗所用雙目相機的標(biāo)定，并在雙目標(biāo)定這一階段結(jié)合了多種標(biāo)定方法，從而保證了所得相機內(nèi)置與外置參數(shù)的精確性。在VS2013編程環(huán)境中結(jié)合OpenCV，完成對雙目圖像的校正，在雙目匹配階段對BM和SGBM兩種算法生成的視差圖進行比較。最終得到的實驗結(jié)果表明該系統(tǒng)可以很好地實現(xiàn)真實場景的三維高度測量。

參考文獻

[1]周科杰，馮常.基于雙目視覺的三維測量技術(shù)研究[J].計算機測量與控制，2019，27（1）：22-25，31.

[2]曾勁松，薛文凱，徐博凡，等.雙目視覺引導(dǎo)機器人定位抓取技術(shù)的研究[J].組合機床與自動化加工技術(shù)，2019（1）：131-133，137.

[3]孔繁淇.基于雙目視覺的無人機測距與避障方法研究[J].科技風(fēng)，2019（1）：101.

[4]王曉寧，宋曉煒，楊蕾，等.雙目視覺下交通路標(biāo)的立體匹配算法研究[J].中原工學(xué)院學(xué)報，2018，29（6）：56-60.

[5]劉銳，陳鳳翔，陳科羽，等.基于雙目視覺的障礙物檢測方法研究[J].計算機測量與控制，2018，26（12）：67-71.

[6]陶凱.基于雙目視覺室內(nèi)環(huán)境的機器人導(dǎo)航和避障算法研究[D].南京：南京郵電大學(xué)，2018.

[7]李薇.基于雙目視覺的特定運動目標(biāo)跟蹤和實時測距方法研究[D].西安：西安理工大學(xué)，2018.

[8]朱平，甄子洋，覃海群，等.基于立體視覺和光流的無人機避障算法研究[J].電光與控制，2017，24（12）：31-35.

[9]賈寧.基于雙目視覺的家庭機器人的目標(biāo)識別與檢測[J].現(xiàn)代電子技術(shù)，2017，40（23）：51-54，58.

[10]劉維.基于雙目立體視覺的物體深度信息提取系統(tǒng)研究[D].長沙：中南大學(xué)，2009.