基于邊緣約束的快速運動物體三維重建算法

王歡，葉璽臣

(滁州學(xué)院 電子與電氣工程學(xué)院，安徽 滁州 239000)

?

基于邊緣約束的快速運動物體三維重建算法

王歡，葉璽臣

(滁州學(xué)院 電子與電氣工程學(xué)院，安徽 滁州 239000)

在手術(shù)環(huán)境中，醫(yī)生的頭、手等部位遮擋燈光產(chǎn)生陰影，會在一定程度上影響手術(shù)質(zhì)量。為了保證手術(shù)質(zhì)量，就必須檢測出這些運動物體，并根據(jù)其三維信息進(jìn)行調(diào)光以減弱產(chǎn)生的陰影。本文提出一種快速三維重建方法。該方法采用QT開發(fā)環(huán)境并結(jié)合OpenCV開發(fā)，提高了開發(fā)效率，可移植性強；運用基于邊緣約束的方法，提高了三維重建的速度和精度。實驗證明，本文提出的快速三維重建算法動態(tài)響應(yīng)速度快，準(zhǔn)確性高，達(dá)到設(shè)計要求。

運動物體；三維重建；OpenCV

0 引言

三維重建是計算機(jī)視覺研究領(lǐng)域的重要課題，其相關(guān)技術(shù)已在工業(yè)、醫(yī)療等領(lǐng)域得到廣泛應(yīng)用。三維重建過程一般包括：攝像頭標(biāo)定、圖像采集、圖像匹配、圖像重建等步驟[1]。其中，是否能準(zhǔn)確對攝像機(jī)內(nèi)外部參數(shù)標(biāo)定以及立體匹配是三位重建中的難點。

OpenCV是Open Source Computer Vision Library的簡稱，是一種開源、可跨平臺使用的計算機(jī)視覺庫，已廣泛應(yīng)用于各種嵌入式系統(tǒng)應(yīng)用中。

在手術(shù)環(huán)境中，醫(yī)生的頭，手[2]等部位遮擋燈光產(chǎn)生陰影，會在一定程度上影響手術(shù)質(zhì)量，為了保證手術(shù)質(zhì)量，就必須檢測出這些運動物體，并根據(jù)運動物體的模型對無影燈進(jìn)行調(diào)光。傳統(tǒng)的三維重建多針對于靜態(tài)物體，實時性相對較差，本文提出一種基于邊緣約束的快速三維重建方法，提高了開發(fā)效率，具有執(zhí)行速度快、實時性好、可移植性強的特點，便于后期應(yīng)用于嵌入式系統(tǒng)中。

1 基于邊緣約束的快速運動物體三維重建

1.1 攝像機(jī)參數(shù)標(biāo)定

本文采用張氏標(biāo)定法基礎(chǔ)上再利用Brown算法進(jìn)行標(biāo)定[3]。標(biāo)定板采用11×10黑白格矩陣形式排列，方格尺寸為20mm×20mm，共選取18對圖像進(jìn)行標(biāo)定。圖1為標(biāo)定中對標(biāo)定板的焦點提取圖。

圖2 重投影示意圖

1.2 立體校正

立體校正使得兩攝像頭所采集圖像進(jìn)行重投影之后所獲得的圖像的每一像素行精確對準(zhǔn)，從而提高立體匹配的可靠性[5]，重投影示意圖如圖2。

本文使用Bouguet提出極線校正算法對所采集的圖像進(jìn)行校正，結(jié)果如圖3中所示。

圖3 校正結(jié)果

圖3為左攝像頭圖像校正結(jié)果，可以看出距離圖像中心點越遠(yuǎn)的區(qū)域，圖像發(fā)生的畸變也越嚴(yán)重，校正后產(chǎn)生的邊緣缺損，像素點全部置0。

1.3 運動物體提取

為了對運動物體進(jìn)行三維重建，必須先提取出場景中的運動物體，目前對于運動物體的檢測方法可以分為三類：光流法[6]、背景差分法[7]和相鄰幀差法[8]。本文采用高斯混合模型的方法提取運動物體，運動物體提取結(jié)果如圖4所示。

圖4 運動物體提取結(jié)果

圖4為左攝像頭中運動物體檢測結(jié)果，其中圖(a)為背景，圖(b)為當(dāng)前圖像，圖(c)為提取出的運動物體(藍(lán)色小人)，因左右攝像頭提取結(jié)果類似，這里僅以左攝像頭實驗結(jié)果為例，可以看到提取出的結(jié)果與運動物體所在區(qū)域基本吻合，符合系統(tǒng)要求。

1.4 立體匹配

得到運動物體區(qū)域后，即可進(jìn)行立體匹配?？s減搜索空間從而提高立體匹配速度，并保證匹配點的準(zhǔn)確性，是本算法要解決的核心問題[9]。本文算法在完成提取遮擋物區(qū)域后，采用邊緣約束法縮減匹配區(qū)域，再利用視差約束排除誤匹配點，最后采用平滑約束對結(jié)果數(shù)據(jù)進(jìn)行平滑，減少空洞和噪聲，得到最終立體匹配結(jié)果。算法流程圖如圖5。

圖5 快速匹配算法流程圖

(1)匹配區(qū)域縮減

Scharstein[10]的研究提出在某些應(yīng)用情況下，為了更高的提升立體匹配速度，可不必對目標(biāo)物體進(jìn)行稠密匹配，只需對其邊緣部分進(jìn)行匹配即可達(dá)到應(yīng)用目的。因此，本文在檢測到運動物體后，采用邊緣提取算法，僅保留運動物體的邊沿部分，再結(jié)合形態(tài)學(xué)的方法對所得區(qū)域進(jìn)行擴(kuò)充，避免因待匹配區(qū)域面積過小影響匹配結(jié)果，最后利用邊緣約束排除待匹配區(qū)域之外像素點，即得到最終待匹配區(qū)域。

圖6 深度計算三角原理圖

(2)立體匹配

待匹配區(qū)域已進(jìn)行縮減，匹配中只需對圖像中的非0像素點進(jìn)行匹配即可。同時，為了進(jìn)一步提高匹配速度，縮減匹配計算量，應(yīng)盡量選擇較小的匹配窗口。本文在匹配時，沿極線的方向，采用用3x3的窗口進(jìn)行匹配，計算出圖像對應(yīng)的視差圖。

(3)深度約束

獲得視差數(shù)據(jù)后，根據(jù)標(biāo)定所得攝像頭參數(shù)集合三角原理計算出運動物體外輪廓像素點三維數(shù)據(jù)。計算原理圖如圖6所示。

根據(jù)pl、pr的坐標(biāo)(以左攝像頭為原點)分別為(xl，yl)、(xr，yr)，可計算出點P(X，Y，Z)的坐標(biāo)：

(3)

(4)

(5)

其中，d為左、右圖像中同一像素點所對應(yīng)視差，攝像頭中心距b和焦距f已知且不變，由式(3)可得，某一像素點的深度與其視差成反比例關(guān)系，故深度約束可近似為視差約束。因此，目標(biāo)運動遮擋物應(yīng)滿足的深度范圍(Ymin，Ymax)(距離攝像頭正常距離)可對應(yīng)視差范圍(dmin，dmax)，掃描視差數(shù)據(jù)，若某點視差數(shù)據(jù)不在(dmin，dmax)范圍之內(nèi)，則排除此點，同時計數(shù)值加1。掃描完畢后，若排除的點個數(shù)大于總匹配點個數(shù)的5%，則去除不合要求點后，再次匹配。否則，將不合要求的點視差數(shù)據(jù)置為0，進(jìn)入下一步。

(4)平滑約束

對匹配區(qū)域內(nèi)已經(jīng)置0的像素點的所對應(yīng)的視差數(shù)據(jù)點作為種子點，對其周圍區(qū)域的點進(jìn)行平滑濾波后，得到最終的視差數(shù)據(jù)。

1.4 三維重建及顯示

計算出視差數(shù)據(jù)后，根據(jù)式(3)、(4)和(5)計算運動遮擋物輪廓的三維信息，并進(jìn)行三維重建。

2 實驗與比較

本文在Windows系統(tǒng)下，結(jié)合OpenCV、OpenGL庫，實現(xiàn)對運動物體的提取及三維重建，實驗結(jié)果如圖8。

圖7 三維重建實驗結(jié)果

圖7(a) 、7(b)為背景圖，圖7(c) 、7(d)為當(dāng)前圖像。圖7(e)、圖7(f)分別為采用局部匹配和傳統(tǒng)半全局匹配方法匹配得到的視差圖，圖中存在空洞，部分區(qū)域無法匹配，且未能排除不滿足要求的運動物體。圖7(g)為采用本文算法計算得到的視差圖，可見，得到的視差圖平滑、清晰，且排除了不滿足要求的運動物體。圖7(h)、7(i)和7(j)為重建結(jié)果，重建結(jié)果基本與原運動物體相符，符合實驗預(yù)期。

本文也對各算法匹配時間進(jìn)行了比較，各算法運算時間如表1所示。

表1 不同算法匹配用時

如表1所示，本文提出的算法，只針對目標(biāo)運動物體特征點較密集的邊緣區(qū)域進(jìn)行立體匹配及重建，相對于傳統(tǒng)半全局匹配算法既減少了匹配時間，同時滿足了應(yīng)用要求，達(dá)到算法設(shè)計預(yù)期。

3 結(jié)語

本文采用設(shè)計的快速運動物體重建算法對運動物體的進(jìn)行三維重建。實驗結(jié)果證明本算法可以快速、有效地完成對運動物體的三維重建，重建效果符合預(yù)期要求，有一定的實用價值和工程應(yīng)用意義。

[1] 劉釗．基于計算智能的計算機(jī)視覺及其應(yīng)用研究[D]．武漢：武漢科技大學(xué)，2011.

[2] 邢麗冬，錢志余，等．基于圖像跟蹤的LED無影燈自動調(diào)光方法的研究[J]．中國機(jī)械工程，2012，23(8)：923-927.

[3] Zhang．A Flexible New Teehnique for Camera Calibration[J]．IEEE Transactions On Pattern Analysis and Machine Intelligenee,2000,22(11) :1330-1334.

[4] 蔣文娟．基于雙目立體視覺的三維重建[D].南京：南京航空航天大學(xué)．2008．

[5] 王煒強，徐進(jìn)．基于寬基線立體視覺的遠(yuǎn)距離三維重建 [J]．浙江大學(xué)學(xué)報(工學(xué)版)，2010(6)：1073-1078．

[6] 朱克忠.基于光流法對移動目標(biāo)的視頻檢測與應(yīng)用研究[D].合肥：合肥工業(yè)大學(xué)，2007.

[7] Zheng J, David D, Zhang Y, et al. An Algorithm for Video Monitoring under a Slow Moving Background[J].IEEE Proceedings of First International Conference on Machine Learning and Cybernetics，2003(3):1626-1629.

[8] Du Y，Zhou A，Yuan F.Moving Object Detection for Video Monitoring Systems[C].∥Proceedings of The 8thInternational Conference on Electronic Measurement and Instruments. 2007(2): 814-817.

[9] 王玲玲．基于雙目立體視覺的水下三維重建[D]．杭州：浙江大學(xué)，2011．

[10] D.Scharstein, Stereo Vision for View Synthesis[J]． Computer Vision and Pattern Recognition, 1996(6):852～858.

責(zé)任編輯：程艷艷

Algorithm of 3D Reconstruction for Fast Moving Targets Based on Edge Restriction

WANG Huan，YE Xichen

(College of Electronic and Electrical Engineering，Chuzhou University，Chuzhou 239000，China)

In surgical environment，the shadow caused by the motions of doctor’s head, hands and other parts will have influences on the quality of surgery to some extent. In order to solve this problem, the effective detection on these moving targets is necessary, and light-adjusting should be made according to their 3D information to reduce the shadow. This paper gives a fast 3D-reconstruction method, in which QT environment is combined with OpenCV to improve the efficiency of development, having strong transplantable capability; at the same time, a method based on edge restriction is applied to improve the speed and precision of 3D reconstruction. The experimental result shows that the algorithm of fast 3D reconstruction has fast dynamic response speed and high accuracy，meeting the design requirements.

moving target; 3D reconstruction; OpenCV

2016-08-26

安徽省科技廳自然科學(xué)研究重點項目(KJ2016A528)

王歡(1986-)，男，安徽滁州人， 助教，碩士，主要從事電子信息方面研究。

TP391

A

1009-3907(2016)10-0027-06