基于雙目視覺的目標(biāo)識別與定位研究*

蔣 萌，王堯堯,2，陳 柏*

(1.南京航空航天大學(xué) 機(jī)電學(xué)院，江蘇 南京 210016；2.浙江大學(xué) 流體動力與機(jī)電系統(tǒng)國家重點實驗室，浙江 杭州 310027)

0 引 言

近年來，人們將機(jī)器視覺應(yīng)用到交通[1]、醫(yī)療[2-3]、生產(chǎn)[4-5]、生活等多個領(lǐng)域[6]，從而提高了機(jī)器人作業(yè)的自主性與智能性。

機(jī)器視覺分為單目視覺技術(shù)與多目視覺技術(shù)。在對物體進(jìn)行識別、定位、分類等操作中，常常需要獲取目標(biāo)的三維信息，單目視覺無法恢復(fù)場景的深度信息，而基于結(jié)構(gòu)光[7]、激光[8]、物理傳感器的主動測距方法雖能實現(xiàn)快速、準(zhǔn)確、無干預(yù)地三維測量，但是設(shè)備成本較高，無法達(dá)到普及應(yīng)用。相較之下，基于雙目視覺的三維重建方法，具有設(shè)備要求較低、實施較為簡易、算法時空復(fù)雜度較低等優(yōu)勢，受到了國內(nèi)外各界學(xué)者的關(guān)注與研究。

來自Loccioni的STROPPA L、CRISTALLI C[9]設(shè)計了應(yīng)用于生產(chǎn)線上檢測插件器質(zhì)量的雙目視覺檢測系統(tǒng)，最終測量得到的結(jié)果表明，基于雙目視覺的測量方法在分辨率、檢測速度及穩(wěn)定性上均優(yōu)于其他非接觸測量方法；瓦倫西亞理工大學(xué)的LVORRA E等[10]利用雙目立體視覺重建了葡萄局部三維模型，重建誤差小于1 mm。相較國外，國內(nèi)在立體視覺方面的研究起步較晚，哈爾濱工業(yè)大學(xué)的李勝利[11]針對堆疊工件的識別與定位問題，采用Sobel算子與區(qū)域增長法相結(jié)合的算法檢測工件邊緣，然后基于梯度方向的橢圓擬合檢測工件，取得了較Hough變換和最小二乘法更精確的檢測結(jié)果，顯示基于支持向量機(jī)的方法具有較高的穩(wěn)定性；西南科技大學(xué)的張華、夏菠等[12]采用雙目視覺系統(tǒng)重建稀疏特征匹配點的三維點云，并在傳統(tǒng)RANSAC算法的基礎(chǔ)上，加入動態(tài)閾值更新和姿態(tài)估計收斂判斷，降低誤匹配的同時提高了系統(tǒng)的實時性，實現(xiàn)了機(jī)器人在室內(nèi)、室外環(huán)境下姿態(tài)的準(zhǔn)確輸出。

針對空間物體的三維重建問題，本文將對基于雙目視覺的目標(biāo)識別與定位進(jìn)行研究。

1 雙目視覺系統(tǒng)及其標(biāo)定

1.1 雙目視覺模型及投影關(guān)系

相機(jī)成像過程丟失了場景的深度信息,雙目視覺則可克服這一缺點。

雙目視覺的原理如圖1所示。

圖1 雙目測距原理圖Ol，Or—左右兩個相機(jī)的光心；pl，pr—目標(biāo)P分別在左右相機(jī)的成像平面上所成的像點；f—相機(jī)焦距；Z—目標(biāo)與觀測位置的距離；b—兩個相機(jī)放置的水平距離，稱作基線

假設(shè)目標(biāo)點P在左圖像平面所成的像點pl的坐標(biāo)為(x1,y1)，在右圖像平面上所成的像點pr的坐標(biāo)為(x2,y2)。則視差d=x1-x2。依據(jù)相似三角形原理易得:

(1)

為確定空間一點的三維位置與其在圖像中的對應(yīng)點之間的關(guān)系，必須對視覺系統(tǒng)進(jìn)行標(biāo)定，即建立相機(jī)成像模型，通過實驗及計算的方法求解模型的參數(shù)。三維空間點Pw投影到像平面點p的過程如圖2所示。

圖2 相機(jī)投影模型1—相機(jī)；2—成像平面；3—實際場景

整個投影過程涉及世界坐標(biāo)系、相機(jī)坐標(biāo)系到圖像坐標(biāo)系及像素坐標(biāo)系之間的轉(zhuǎn)換，根據(jù)相機(jī)的透視模型易得投影關(guān)系為：

(2)

式中：M1—相機(jī)的內(nèi)部參數(shù)矩陣；M2—相機(jī)的外部參數(shù)矩陣。

1.2 雙目視覺系統(tǒng)標(biāo)定實驗

實際上，相機(jī)內(nèi)參還應(yīng)包含鏡頭的畸變系數(shù)k，即相機(jī)內(nèi)參數(shù)為(f,k,u0,v0,dx,dy)，外參數(shù)為(tx,ty,tz,α,β,γ)。而求解相機(jī)的內(nèi)外參數(shù)、消除畸變的過程就是相機(jī)標(biāo)定的過程。本文采用張正友標(biāo)定法對搭建的視覺系統(tǒng)進(jìn)行標(biāo)定。

實驗采集15組不同姿態(tài)下的標(biāo)定板圖像，提取其特征點進(jìn)行標(biāo)定實驗，其中一組過程如圖3所示。

圖3 相機(jī)標(biāo)定過程

左右兩個相機(jī)的參數(shù)標(biāo)定結(jié)果如表(1，2)所示。

表1 左右相機(jī)的內(nèi)部參數(shù)

表2 左右相機(jī)的相對位姿

其中，兩相機(jī)布置的實際水平距離為5.03 cm，標(biāo)定結(jié)果為5.21 cm，通過對比表(1，2)實際參數(shù)值與標(biāo)定參數(shù)值，可發(fā)現(xiàn)標(biāo)定誤差很小，足以滿足后期三維重建的精度要求。

2 描述子模板匹配識別算法

常用的模板匹配方法有基于灰度、基于相關(guān)性、基于形狀的模板匹配等等，但這些方法往往易受到光照的影響。故本文采用基于描述子的模板匹配方法，將檢測到的特征點與其描述子相結(jié)合，提高匹配的準(zhǔn)確性。

對特征的描述方式主要有兩大類，一類是用于處理角點、邊緣等局部特征的強(qiáng)特征描述方式，其中應(yīng)用最廣泛的是由LOWE D G[13]提出的SIFT算法；另一類則是將特征匹配作為分類問題處理。SIFT算法雖然匹配特性穩(wěn)定，但計算量大，運算時間較長，無法保證實時性；隨機(jī)樹算法相較于其他機(jī)器學(xué)習(xí)算法可以更高效快速的解決多類別分類問題，故本文采用基于Harris角點檢測與隨機(jī)樹算法相結(jié)合的特征匹配算法[14]。

2.1 基于隨機(jī)樹的特征匹配識別

隨機(jī)樹模型由根節(jié)點與葉節(jié)點構(gòu)成，由樹根向下分出兩個節(jié)點，每個節(jié)點再分出兩個節(jié)點，依次遞歸至底層節(jié)點不再產(chǎn)生分支，成為樹葉。每一個節(jié)點處都有一個判定公式，從樹根輸入的待測數(shù)據(jù)經(jīng)過判定公式的判定，決定其向下進(jìn)入左節(jié)點或是右節(jié)點，到達(dá)下一結(jié)點后再次進(jìn)行判定，直至其到達(dá)底層的樹葉。

基于隨機(jī)樹的模板匹配算法模型如圖4所示。

圖4 基于隨機(jī)樹的模板匹配算法模型

在本文構(gòu)建的基于隨機(jī)樹的特征匹配算法中，輸入根節(jié)點的數(shù)據(jù)即為特征點及其周圍的圖像塊patch。節(jié)點處采取的判定方法是在特征點m的圖像塊patch中隨機(jī)選取兩個像素點m1和m2，對它們的灰度值進(jìn)行比較，判定公式如下：

(3)

采用隨機(jī)樹算法對特征進(jìn)行模式識別分類，首先要對特征點及其描述子進(jìn)行樣本訓(xùn)練。本研究選取模板的正視圖作為初始模板圖像，通過Harris算法檢測得到模板上的N個特征點，對其進(jìn)行編號得K={k1...kN}。以每個特征點為中心建立n×n像素的圖像塊patch，對這些圖像塊進(jìn)行離線訓(xùn)練，對待檢測圖像上的特征點k建立同樣大小的圖像塊p(k)，則識別的關(guān)鍵問題為判定p(k)中是否含有K中的一個特征點，以及它是哪一個特征點。即確定p(k)的類別Y(p)∈C={-1,1,2,...,N}，其中-1表示p(k)中不包含K中的特征點。

為了增強(qiáng)算法對目標(biāo)位置及光照變化的魯棒性，需要對大量多尺度、多視角狀態(tài)下的特征點樣本進(jìn)行訓(xùn)練，由于人工采集較為繁瑣，可采用計算機(jī)隨機(jī)生成大量圖像樣本。當(dāng)目標(biāo)物基本不發(fā)生變形時，特征點周圍的圖像塊可視為平面模型，則可通過仿射變換隨機(jī)生成訓(xùn)練樣本。對特征點及圖像塊進(jìn)行仿射變換：

(4)

式中：Rθ—目標(biāo)旋轉(zhuǎn)變換矩陣；Rφ—尺度變換軸旋轉(zhuǎn)矩陣；S—圖像的尺度變化；θ,φ∈[-π,+π]；S=diag{λ1,λ2}，本文中選取λ1,λ2∈[0.4,1.2]。

通過隨機(jī)生成參數(shù)得到不同的仿射矩陣A，對K中每個特征點及其圖像塊生成與其對應(yīng)的多個樣本集合。

由于訓(xùn)練樣本以及概率測試的數(shù)據(jù)相當(dāng)龐大，優(yōu)化隨機(jī)樹變得尤為困難，故通常采取增加隨機(jī)樹數(shù)量的方式來增強(qiáng)識別的穩(wěn)定性。在樣本訓(xùn)練階段，大量的圖像塊樣本輸入到隨機(jī)樹系統(tǒng)中，其中有的樣本包含K中的特征點，有的樣本不包含K中的特征點。當(dāng)全部樣本均達(dá)到樹葉后，便可得到每片葉子對于K中特征點的概率分布：

Pη(l,p)(Y(p)=c)

(5)

式中：η(l,p)—圖像塊p所到達(dá)的Tl棵樹的樹葉。

該概率分布即為訓(xùn)練樣本中到達(dá)η處的c類圖像塊與到達(dá)η處的所有圖像塊的比值。

在檢測階段，為確定輸入的圖像塊p是否含有K中的特征點，對應(yīng)的是哪一個特征點，對p在不同樹中所達(dá)到的葉片對應(yīng)的概率分布求取平均概率分布，平均概率分布中概率最大的特征點，即為待檢測圖像塊對應(yīng)的特征點：

(6)

2.2 基于隨機(jī)樹的目標(biāo)識別實驗

在進(jìn)行基于隨機(jī)樹的特征匹配識別算法性能驗證之前，首先要確定算法的各項參數(shù)。

本文實驗選定的目標(biāo)物體的模板如圖5所示。

圖5 實驗選定模板

根據(jù)實驗的實際情況，本研究設(shè)置目標(biāo)沿著模板法向量的旋轉(zhuǎn)角度范圍為[-π,+π]，縮放比例為[0.4,1.2]。則還需要確定的參數(shù)有隨機(jī)樹的深度Depth，隨機(jī)樹的數(shù)目Number以及圖像塊的尺寸PatchSize。

本研究選取Sample1，對不同參數(shù)條件的算法進(jìn)行匹配時間與匹配率的測試。實驗效果如圖6所示。

圖6 不同參數(shù)對應(yīng)的算法匹配率及匹配時間

良好的匹配性能應(yīng)同時兼具較高的匹配率與較快的匹配速度。由實驗結(jié)果可見：當(dāng)隨機(jī)樹的深度Depth、隨機(jī)樹的數(shù)目Number以及圖像塊的尺寸PatchSize分別取11、30、17時，算法可以實現(xiàn)以較快的匹配速度達(dá)到較高的匹配率。

識別實驗設(shè)置的9幅樣本如圖7所示。

圖7 算法識別效果圖Sample1—目標(biāo)旋轉(zhuǎn)的情況；Sample(2～4)—圖像不同程度旋轉(zhuǎn)與傾斜的情況；Sample6—遮擋的情況；Sample(7，8)—代表過暗過明的情況；Sample9—雜亂背景的情況

可見采用上述算法，不同姿態(tài)和環(huán)境下的目標(biāo)物體均可被準(zhǔn)確識別。

各個樣本的匹配率如圖8所示。

圖8 實驗樣本與模板匹配率

由實驗結(jié)果可見：物體傾斜角度越大，檢測到匹配到的特征點越少，匹配率越低；同樣，在過暗或過量的環(huán)境下，圖像對應(yīng)的灰度值總體偏低或偏高，相應(yīng)地會損失一些匹配點，匹配率也較低。

3 三維重建與定位

3.1 雙目視覺系統(tǒng)的立體匹配

通過特征點匹配識別出目標(biāo)物體后，為了對目標(biāo)物進(jìn)行定位，需要確定匹配的特征點對應(yīng)在三維空間的位置信息，由此求解目標(biāo)物體的位姿。

對特征點的三維重建，關(guān)鍵是求解其對應(yīng)的深度信息。雙目立體視覺系統(tǒng)中，通常采取立體匹配的方法對采集到的兩幅圖像進(jìn)行匹配，獲得對應(yīng)的視差圖，恢復(fù)圖像的深度信息。需要注意的是，只有在兩幅圖像是行對準(zhǔn)的情況下，才可采用式(1)表示的關(guān)系計算視差，而實際應(yīng)用中，兩臺相機(jī)幾乎不可能有準(zhǔn)確的共面，故進(jìn)行立體匹配的兩幅圖像必須先通過立體校正實現(xiàn)行對準(zhǔn)，這樣不但可以提高匹配的準(zhǔn)確性，也可以縮短匹配時間。

根據(jù)采取的最優(yōu)化理論方法的不同，立體匹配分為基于全局的立體匹配算法與基于局部的立體匹配算法，基于全局的立體匹配算法計算量大運算時間長，故本文選擇基于局部的區(qū)域匹配算法，對一幅圖像上給定的一點，選取該像素點鄰域內(nèi)的一個大小為(2m+1)×(2n+1)子窗口(通常m=n)，在另一幅圖像的一個區(qū)域內(nèi)，沿著該點所在的極線，依據(jù)某種相似性判斷標(biāo)準(zhǔn)進(jìn)行搜索，尋找與子窗口圖像最為相似的子圖。常用的相似性判斷標(biāo)準(zhǔn)有SAD，SSD，NCC等，其中SAD與SSD算法直接比較像素及其子窗口的灰度值，而NCC算法則是補(bǔ)償子窗口內(nèi)的平均灰度值及其協(xié)方差。NCC算法相較SAD、SSD算法，對光照強(qiáng)度的變化更穩(wěn)定，本文采用NCC算法對兩幅圖進(jìn)行匹配。兩幅圖像的相似度S為：

(7)

S的值越高表明兩幅圖越相似，S為1，則兩幅圖相關(guān)性很高，S為-1則表明兩幅圖不相關(guān)。匹配結(jié)束之后，則可得對應(yīng)像素點之間的視差d=x2-x1，如1.1節(jié)所述。

為提高立體匹配的準(zhǔn)確性及效率，本文采取了以下措施：(1)將模板匹配識別出的目標(biāo)物所在區(qū)域設(shè)置為ROI區(qū)域，僅將該ROI區(qū)域與另一幅圖像進(jìn)行立體匹配；(2)在進(jìn)行搜索時，給定一個合理的視差范圍，約束搜索空間，如式(8，9)所示：最小視差為場景中距離視覺系統(tǒng)最近點對應(yīng)的列坐標(biāo)之差，最大視差為場景中距離視覺系統(tǒng)最遠(yuǎn)點對應(yīng)的列坐標(biāo)之差；(3)采用圖像金字塔的方法提高匹配速度，視差搜索范圍應(yīng)用于圖像金字塔的頂層圖像，下層圖像對應(yīng)的視差搜索范圍自動進(jìn)行調(diào)整。

(8)

(9)

立體視覺的最終目的是恢復(fù)景物可視表面的完整信息，目前，無論哪種匹配方法都不能完全恢復(fù)出所有圖像點的視差，因此必須進(jìn)行最終的表面內(nèi)插重建。深度插值、誤差校正和精度改善是立體匹配的后處理部分。

3.2 三維重建與位姿求解實驗

通過上述對兩幅圖像的立體匹配結(jié)合視覺系統(tǒng)的標(biāo)定結(jié)果，則可重建出圖像上一點p(u,v)對應(yīng)的世界坐標(biāo)pw=(xw,yw,zw)。

為驗證算法重建的精度，筆者對所選樣本圖像中目標(biāo)物體頂點的三維重建結(jié)果在X、Y、Z方向的誤差進(jìn)行分析。分別計算出各頂點在X、Y、Z方向的誤差，對4個頂點在同一方向的上的誤差求取均值，得到三維重建在3個方向上的誤差結(jié)果，如表3所示。因Sample6的一頂點被遮擋，故不予考慮。

表3 頂點三維重建在X、Y、Z方向的誤差

可見，本文所采用的算法重建精度較高。其中，在物體傾斜越大的方向上，對應(yīng)的重建誤差越大。

本研究在完成對特征點的三維重建之后，根據(jù)2D-3D匹配點的信息，對位姿進(jìn)行求解。在匹配的特征點對中，任選4組點對，取其中重投影誤差最小的解。再多次取任意4組點對，進(jìn)行上述處理，依據(jù)Levenberg-Marquardt算法反復(fù)進(jìn)行迭代，取重投影誤差最小的解作為待求解位姿。

本文對實驗設(shè)置的9幅樣本進(jìn)行位姿求解，定位結(jié)果如圖9所示。

圖9 目標(biāo)頂點三維重建及定位結(jié)果

實驗結(jié)果驗證：對不同條件下物體，均可進(jìn)行有效、準(zhǔn)確的定位。

4 結(jié)束語

(1)為解決空間三維物體的識別與定位問題，本文搭建了平行的雙目立體視覺系統(tǒng)，建立了雙目視覺對應(yīng)的成像模型，采用張正友方法對視覺系統(tǒng)進(jìn)行標(biāo)定，消除光學(xué)畸變，獲得兩個相機(jī)的內(nèi)部參數(shù)及相對位姿。實驗對比顯示：標(biāo)定結(jié)果精度較高。

(2)針對場景中目標(biāo)的識別問題，本文采用基于描述子的模板匹配方法，將角點檢測算法與隨機(jī)樹算法相結(jié)合，對目標(biāo)進(jìn)行分類識別；以匹配時間和匹配率為標(biāo)準(zhǔn)，確定算法的最佳參數(shù)。經(jīng)實驗驗證：對旋轉(zhuǎn)、遮擋、傾斜等各種條件下的物體，算法均能快速、準(zhǔn)確地進(jìn)行識別。

(3)基于NCC算法，本文對同一場景對應(yīng)的兩幅圖像進(jìn)行了立體匹配，求取視差，結(jié)合標(biāo)定結(jié)果對特征點進(jìn)行三維重建，并根據(jù)特征點對在圖像及實際場景中對應(yīng)的2D-3D位置信息求解目標(biāo)位姿。實驗結(jié)果證明：三維重建精度較高，對不同條件下的目標(biāo)物體均可準(zhǔn)確定位。

參考文獻(xiàn)(References):

[1] JAAFARI I E, ANSARI M E, KOUTTI L. Fast edge-based stereo matching approach for road applications[J].Signal,ImageandVideoProcessing,SpringerLondon,2017,11(2):267-274.

[2] 董 峰,孫立寧,汝長海.基于雙目視覺的醫(yī)療機(jī)器人擺位系統(tǒng)測量方法[J].光電子·激光,2014(5):1027-1034.

[3] 呂家國,蔣曉瑜,張鵬煒,等.醫(yī)療機(jī)器人雙目視覺硬件系統(tǒng)設(shè)計與實現(xiàn)[J].中國光學(xué),2014,7(2):307-314.

[4] ZHAO D, FENG W, SUN G, et al. High precision measurement system of micro-electronic connector based on machine vision[J].JournalofAppliedSciences,2013,13(22):5363-5369.

[5] STROPPA L, CASTELLINI P, PAONE N. Self-optimizing robot vision for online quality control[J].ExperimentalTechniques,2016,40(3):1051-1064.

[6] AHMED A A, ELBASHIR M K ,OSMAN A A. Distance alert system using stereo vision and feature extraction[C]. International Conference on Communication, Control, Computing and Electronics Engineering, Khartoum: IEEE,2017.

[7] GUEHRING J. Dense 3D surface acquisition by structured light using off-the-shelf components[J].ProceedingsofSPIE,2000(4309):220-231.

[8] KOCH T, BREIER M, LI W. Heightmap generation for printed circuit boards (PCB) using laser triangulation for pre-processing optimization in industrial recycling applications[C]. IEEE International Conference on Industrial Informatics, Bochum: IEEE,2013.

[9] STROPPA L, CRISTALLI C. Stereo vision system for accurate 3D measurements of connector pins’ positions in production Lines[J].ExperimentalTechniques,2017,41(1):69-78.

[10] IVORRA E, SáNCHEZ A J, CAMARASA J G, et al. Assessment of grape cluster yield components based on 3D descriptors using stereo vision[J].FoodControl,2015,50(4):273-282.

[11] 李勝利.基于雙目立體視覺的工件識別與定位技術(shù)研究[D].哈爾濱：哈爾濱工業(yè)大學(xué)機(jī)電工程學(xué)院,2016.

[12] 張 華,夏 菠.基于雙目視覺的機(jī)器人自定位方法研究[J].華中科技大學(xué)學(xué)報:自然科學(xué)版,2015,43(s1):104-108.

[13] LOWE D G. Distinctive image features from scale-invariant keypoints[J].InternationalJournalofComputerVision,2004,60(2):91-110.

[14] HARRIS C, STEPHENS M. A combined corner and edge detector[R]. London: The Plessey Company PLC,1988.