基于單目視覺的三角測量在儀器識(shí)別中的實(shí)現(xiàn)

楊靜

關(guān)鍵詞：單目視覺；三角測量；垂直刻度指針式儀表；AMR激光定位姿態(tài)；儀表平面

1引言

巡檢機(jī)器人通過智能識(shí)別算法結(jié)合各種環(huán)境探測器，可智能收集分析煙霧、溫濕度、PM2.5、有毒氣體、水浸、氣流組織等環(huán)境信息數(shù)據(jù)，實(shí)現(xiàn)各設(shè)備狀態(tài)信息的識(shí)別與分析[1]。同時(shí)，結(jié)合實(shí)時(shí)通信系統(tǒng)、供電系統(tǒng)、后臺(tái)軟件，可實(shí)現(xiàn)城軌交通機(jī)房設(shè)備與環(huán)境的無人巡檢。真正實(shí)現(xiàn)實(shí)時(shí)告警、遠(yuǎn)程監(jiān)測、智能巡檢的目標(biāo)。在軌道交通中的自動(dòng)化巡邏監(jiān)控中，包括各式各樣的儀器儀表，由于工作環(huán)境原因，其中大部分屬于指針式儀表，如何自動(dòng)、準(zhǔn)確、高效地完成各式儀表的數(shù)字化數(shù)據(jù)采集工作尤為重要[2]。

本文提出一種基于單目視覺的三角測量法，可高度定位，從而精準(zhǔn)地捕捉儀器儀表讀數(shù)。

2單目測量處理基本過程

2.1使用單目相機(jī)采集待檢測的儀表圖像

單個(gè)相機(jī)固定在可移動(dòng)自動(dòng)化巡邏機(jī)器人頂部，通過巡邏機(jī)器人的導(dǎo)航系統(tǒng)移動(dòng)到垂直刻度指針式儀表盤所在區(qū)域，機(jī)器人每次采集圖像的位置不固定，攝像機(jī)實(shí)時(shí)采集現(xiàn)場儀表盤以及表盤周圍背景環(huán)境的圖像[3-4]。相機(jī)事前經(jīng)過針孔模型的標(biāo)定，存有針孔模型的內(nèi)參參數(shù)和相機(jī)安裝位置的相機(jī)外參參數(shù)。

2.2實(shí)時(shí)預(yù)處理，定位有效儀表像素區(qū)域

對(duì)采集的圖像進(jìn)行預(yù)處理。因?yàn)椴杉膱D像通常含有非感興趣區(qū)域，即表盤像素區(qū)域以外的環(huán)境背景像素。為了去除背景，對(duì)圖像進(jìn)行一系列預(yù)處理，包括利用OpenCV自帶的庫函數(shù)對(duì)整幅圖像進(jìn)行高斯模糊、Canny邊緣檢測、二值化、形態(tài)學(xué)處理、頂帽變換，去除明顯的離群點(diǎn)噪聲，以及去除明顯的環(huán)境背景區(qū)域，即儀表表盤以外的區(qū)域。然后進(jìn)行輪廓提取，根據(jù)設(shè)置最大連通域的閾值和最小輪廓外接矩形的大小，最大限度保留儀表的有效區(qū)域，以得到含有儀表的圖像像素區(qū)域，以及表盤圖像像素區(qū)域。

2.3提取固定數(shù)量的消失點(diǎn)

在數(shù)字圖像領(lǐng)域，消失點(diǎn)又被稱為滅點(diǎn)[5]?？臻g上相同方向的平行線相交在圖像上的點(diǎn)即為消失點(diǎn)。因?yàn)閮x表的刻度區(qū)域以及儀表的外觀輪廓都符合曼哈頓世界的假設(shè)，即輪廓線段和表盤刻度線段都處于或近似處于空間正交狀態(tài)。所以，對(duì)上一步得到的目標(biāo)區(qū)域圖像進(jìn)行消失點(diǎn)的提取，進(jìn)一步篩選歐拉空間中X，Y，Z軸對(duì)應(yīng)的消失點(diǎn)。

3單目視覺三角測量法

3.1測量依據(jù)

在單目視覺中，僅通過單張圖像無法獲得像素的深度信息，需要通過三角測量（Triangulation）（或三角化）的方法來估計(jì)實(shí)物點(diǎn)的深度[6-8]。三角測量是指，通過在兩處觀察同一個(gè)點(diǎn)的夾角，確定該點(diǎn)的距離。三角測量最早由高斯提出并應(yīng)用于測量學(xué)中，它在天文學(xué)、地理學(xué)的測量中都有應(yīng)用。例如，我們可以通過不同季節(jié)觀察到星星的角度，估計(jì)它離我們的距離。在單目視覺中，主要用三角化來估計(jì)像素點(diǎn)的距離。

如圖1所示，考慮圖像11和12，以左圖為參考，右圖的變換矩陣為。相機(jī)光心為01和02。在11中有特征點(diǎn)P1，對(duì)應(yīng)12中有特征點(diǎn)P2。理論上直線OiP1與02P2在場景中會(huì)相交于一點(diǎn)P，該點(diǎn)即兩個(gè)特征點(diǎn)所對(duì)應(yīng)的地圖點(diǎn)在三維場景中的位置。然而，由于噪聲的影響，這兩條直線往往無法相交。因此，（又）可以通過最二小乘去求解。

按照對(duì)極幾何中的定義，設(shè)x1，x2為兩個(gè)特征點(diǎn)的歸一化坐標(biāo)，那么它們滿足：

對(duì)于單目視覺來說，無論是單目的對(duì)極幾何或是單目的三角測量，都存在一個(gè)尺度問題，如圖2和圖3所示。

尺度問題會(huì)帶來單位問題，意味著測量結(jié)果的單位不確定，這使得三角測量在實(shí)際應(yīng)用中存在一個(gè)“比例尺”問題。但在本測試中，采用了具有定位導(dǎo)航功能的AMR自動(dòng)導(dǎo)航叉車，利用了AMR的準(zhǔn)確定位姿態(tài)，為三角測量提供具有絕對(duì)尺度的姿態(tài)齊次矩陣，從而解除了單目視覺三角測量的應(yīng)用限制。

3.2仿真論證

按照立體矩形的輪廓，給定一組先驗(yàn)3D點(diǎn)，如圖4所示，并假設(shè)如下。

（1）-個(gè)理想狀態(tài)下的相機(jī)內(nèi)參矩陣。

（2）在相機(jī)的所有可視角內(nèi)，所有3D都能“被”看見。為不失一般性，仿真中采用的空間坐標(biāo)點(diǎn)取自立體矩形的邊框，具體的，是沿著立體矩陣的所有邊，以2cm為間隔，均勻取點(diǎn)。如圖4所示。

（3）在實(shí)際中，在相機(jī)的視角里面，立體矩陣會(huì)有部分遮擋而不會(huì)出現(xiàn)在相機(jī)的圖像畫面中。但在仿真中，可以假設(shè)所有點(diǎn)都能“被”看見，由此，能更好地驗(yàn)證空間3D點(diǎn)與三角測量的關(guān)系。如圖5所示。

3.3現(xiàn)場測試

測試設(shè)備：AMR叉車具備室內(nèi)自動(dòng)導(dǎo)航定位功能，能夠提供精確的激光定位數(shù)據(jù)，定位精度為+0.005 m，角度為±0.10。本測試中的單目視覺三角測量功能，使用的是AMR叉車上的相機(jī)，型號(hào)是FM830-45 RI。這是一款工業(yè)用相機(jī)，能夠以30 fps的幀率不間斷地采集1280*720的彩色圖片，并使用全局曝光的SONY CMOS，消除因曝光延時(shí)差異造成的“果凍”現(xiàn)象，確保視覺特征點(diǎn)匹配的準(zhǔn)確性和視覺測量的精度。如圖6所示。

在實(shí)際測量時(shí)，為了能定量地測試三角測量的效果和精度，本次測試使用人工布置的角點(diǎn)作為待檢測的特征點(diǎn)，這可以免掉特征匹配的步驟，消除對(duì)極幾何匹配時(shí)的誤匹配的外點(diǎn)，從而可以準(zhǔn)確地定量測量三角測量的精度。

3.4測試方法和步驟

（1）在測試現(xiàn)場，隨機(jī)選擇一個(gè)位置，使得大部分人工角點(diǎn)能夠被AMR上的相機(jī)觀測到；（2）記錄此時(shí)的AMR激光定位姿態(tài)與相機(jī)圖像畫面；（3）移動(dòng)AMR到地圖中的另一位置，并保證此位置與初始位置有一定的旋轉(zhuǎn)差異和平移，記錄下此時(shí)AMR激光定位姿態(tài)與相機(jī)圖像畫面；（4）將前后兩次的測試數(shù)據(jù)（包括AMR姿態(tài)和相機(jī)圖像）放到指定目錄，運(yùn)行事先編寫好的測試程序；（5）重復(fù)（1）～（4），記錄多次數(shù)據(jù)。如圖7和圖8所示。

3.5現(xiàn)場測試情況

基于單目視覺的三角測量，可以充分利用相機(jī)可視角度和豐富的視覺信息[9-13]。通過AMR自動(dòng)引導(dǎo)車給出的姿態(tài)齊次矩陣Rt，多次采集AMR移動(dòng)前后兩幅圖片，驗(yàn)證了通過單目視覺三角化可以正確算出角點(diǎn)對(duì)應(yīng)物體的距離。

事先編寫好的測試程序會(huì)將重投影誤差與對(duì)應(yīng)的圖像投影點(diǎn)顯示出來，以便于定性地排除測量過程中出現(xiàn)的錯(cuò)誤匹配。如圖9所示。

項(xiàng)目組打印了每個(gè)空間點(diǎn)在兩個(gè)相機(jī)坐標(biāo)系下的投影坐標(biāo)與像素坐標(biāo)——相當(dāng)于P的投影位置與看到的特征點(diǎn)位置。由于誤差的存在，它們會(huì)有一些微小的差異。以下是某一特征點(diǎn)的信息：可以看到，誤差的量級(jí)大約在小數(shù)點(diǎn)后第三位。

另外，針對(duì)單目視覺的三角測量，在使用中需要注意：三角測量是由平移得到的，有平移才會(huì)有對(duì)極幾何中的三角形約束，才談得上三角測量。因此，純旋轉(zhuǎn)是無法使用三角測量的，因?yàn)閷?duì)極約束將永遠(yuǎn)滿足。這一點(diǎn)在實(shí)際使用中要特別注意。如圖10所示。

4測試與驗(yàn)證結(jié)論

通過以上測試驗(yàn)證，可以得出以下結(jié)論。

（1）單目視覺的定位精度高：通過以上定量的測試結(jié)果可以看出，使用單目相機(jī)的情況下，定位的精度能夠達(dá)到毫米級(jí)別。

（2）基于單目視覺的深度三角測量具有一定的局限陛：如圖10的分析，三角測量的結(jié)果嚴(yán)重依賴姿態(tài)平移量，因此，測量精度與平移量有負(fù)相關(guān)的關(guān)系，即隨著姿態(tài)平移量的減少而使誤差增大；使用輔助手段提供精確的姿態(tài)矩陣，如使用具有定位功能的AMR叉車，基于視覺的深度測量方法，特別是基于單目視覺的深度測量方法是可行的，是能夠應(yīng)用于實(shí)際測量的。