基于雙目感知的立體視覺(jué)集成

楊陽(yáng)（四川大學(xué)計(jì)算機(jī)學(xué)院，成都　610000）

基于雙目感知的立體視覺(jué)集成

楊陽(yáng)
（四川大學(xué)計(jì)算機(jī)學(xué)院，成都610000）

0　引言

計(jì)算機(jī)視覺(jué)技術(shù)在近年來(lái)得到了飛速發(fā)展，廣泛應(yīng)用于工、農(nóng)、醫(yī)、軍領(lǐng)域，主要包括：軍事沙盤(pán)應(yīng)用，工業(yè)非接觸測(cè)量檢校，醫(yī)學(xué)顯微手術(shù)設(shè)備應(yīng)用等。而基于其理論和算法的研究也在近年來(lái)逐漸深入。計(jì)算機(jī)視覺(jué)是一種實(shí)現(xiàn)計(jì)算機(jī)“看”的綜合學(xué)科，涵蓋了生物理論、神經(jīng)科學(xué)、計(jì)算機(jī)科學(xué)、數(shù)學(xué)理論研究、機(jī)器智能等方向。其實(shí)現(xiàn)方法大致分為多視圖立體視覺(jué)和雙目立體視覺(jué)。多視圖立體視覺(jué)主要采用圍繞同一場(chǎng)景的多角度拍攝圖像，進(jìn)而從重復(fù)讀較高的多幅圖像中，獲取場(chǎng)景三維信息的方法。而雙目立體視覺(jué)，是采用雙目攝像機(jī)，模仿生物眼睛工作原理，如圖1所示。

圖1　雙目立體視覺(jué)工作原理模型圖

左攝像機(jī)模仿左眼，獲取場(chǎng)景偏左的信息，其圖像整體偏右。而右邊的攝像機(jī)主要模仿右眼的功能，獲取場(chǎng)景偏右的信息，圖像整體偏左。根據(jù)左右圖像中重復(fù)場(chǎng)景信息的信息點(diǎn)的位置偏差，求得視差，進(jìn)而得到視差圖。視差圖是三維重建中的必要信息，是得到三維場(chǎng)景立體信息的重要需求。根據(jù)所得視差圖，建立立體信息，進(jìn)而得到空間三維坐標(biāo)，即點(diǎn)云。如圖1所示：O1，O2是兩個(gè)攝像機(jī)工作平面的光心，是攝像機(jī)內(nèi)在參數(shù)；其中的P（x，y，z）是空間真實(shí)場(chǎng)景中的信息點(diǎn)；而P1，P2分別是物點(diǎn)在兩個(gè)攝像機(jī)中對(duì)應(yīng)的像點(diǎn)；兩個(gè)光心之間的距離稱為基線；兩個(gè)對(duì)應(yīng)像點(diǎn)之間的距離稱為視差。有圖可知，物點(diǎn)、像點(diǎn)對(duì)、光心之間的連線構(gòu)成了一個(gè)三角形，使得所需要求的視差和基線及攝像機(jī)焦距等構(gòu)成了數(shù)學(xué)上的三角關(guān)系，故而通過(guò)攝像機(jī)光心距離及攝像機(jī)焦距，可計(jì)算像點(diǎn)位移差值。具有“看”能力的計(jì)算機(jī)，因其強(qiáng)大的三維重建能力，得到了廣泛的應(yīng)用，也在科研領(lǐng)域得到了廣泛的關(guān)注，國(guó)內(nèi)外的科學(xué)家都在其領(lǐng)域做出很多貢獻(xiàn)。

本文所述的基于雙目感知的立體視覺(jué)集成框架，是基于人眼工作原理的雙目視覺(jué)的擴(kuò)充應(yīng)用。其中包括的模塊主要有：圖像預(yù)處理、立體匹配、點(diǎn)云處理及顯示。多模塊的集成處理，使得從空間場(chǎng)景到最后的立體信息顯示成為了可能。本文主要針對(duì)在框架設(shè)計(jì)中使用到的技術(shù)和原理進(jìn)行簡(jiǎn)要介紹，為以后的研究提供理論依據(jù)和算法基礎(chǔ)。

1　圖像預(yù)處理

由雙目攝像機(jī)獲取的圖像信息，會(huì)因外界環(huán)境的不確定因素，受到一定的干擾，故在進(jìn)行三維重建前，需通過(guò)圖像預(yù)處理，進(jìn)行噪聲的前期處理。圖像預(yù)處理主要包括：圖像平滑處理、圖像銳化處理及圖像區(qū)域分割。所謂平滑處理主要是采用3×3的窗口，使用中值濾波的方法，在原圖像上，處理高頻噪聲，進(jìn)而使得圖像信息在三維重建前得到垃圾信息的過(guò)濾。而圖像銳化處理主要是采用拉普拉斯變換操作，增大圖像信息中的所需要的信息區(qū)域的信息強(qiáng)度，使其發(fā)揮更大的作用。而與此同時(shí)，區(qū)域分割主要使用設(shè)定的閾值，進(jìn)行相應(yīng)條件下的分割，得到預(yù)期的有效信息和無(wú)效信息的分離。

本文提出的框架中綜合使用了圖像預(yù)處理中的兩項(xiàng)預(yù)處理技術(shù)。

首先采用圖像平滑處理進(jìn)行圖像信息的高頻噪聲的去除，使得高頻自然光和反光的影響得到改善，減少對(duì)立體匹配算法的影響，提高圖像質(zhì)量；然后使用圖像銳化處理，進(jìn)行圖像信息中的物體邊緣信息的微銳化，使得在重建中影響度較高的圖像邊緣具備較大的權(quán)值，方便之后的立體匹配操作的實(shí)施和三維重建的進(jìn)行，使得框架工作速率得到一定的提升。

2　立體匹配

立體匹配問(wèn)題是計(jì)算機(jī)視覺(jué)中的瓶頸問(wèn)題，其算法的選擇和優(yōu)化，將直接影響計(jì)算機(jī)視覺(jué)整體的處理效果。所謂立體匹配，是通過(guò)算法進(jìn)行左右圖像中的對(duì)應(yīng)像素點(diǎn)的搜索，進(jìn)而完成視差計(jì)算，得到是插圖。其簡(jiǎn)單工作原理模型圖如圖2所示：圖中p0為原圖像點(diǎn)，其坐標(biāo)為（x1，y1），q0為待尋找圖像中的測(cè)試點(diǎn)，其坐標(biāo)為（x2，y2）。

立體匹配算法根據(jù)其工作原理可劃分為特征匹配算法，區(qū)域匹配算法及相關(guān)算法。

其中的特征匹配算法，采用圖像的局部信息特征，進(jìn)行左圖像和右圖像間的像素點(diǎn)的對(duì)應(yīng)尋找。該類算法的算法原理是基于局部特征，故其運(yùn)算量較少，使得立體匹配的速度較快，可實(shí)現(xiàn)實(shí)時(shí)匹配。與此同時(shí)，特征匹配算法所得到的視差圖，因其局部的特征所以較稀疏，最終重建的三維信息點(diǎn)云也相對(duì)較稀疏，所承載的空間三維信息不足，在很多實(shí)際應(yīng)用場(chǎng)景中并不適用。

圖2　局部立體匹配工作原理模型示意圖

區(qū)域匹配算法又可進(jìn)一步根據(jù)其搜索區(qū)域的大小劃分為局部匹配算法和全局匹配算法。全局匹配算法是一種基于像素的匹配算法。圖像信息隨著其分辨率的增加，其像素信息量也隨著增加，故基于像素級(jí)別的全局匹配算法的運(yùn)算量龐大，但是其獲取的視差圖相對(duì)稠密，所承載的空間信息充足，典型的代表算法包括圖割等。局部立體匹配算法根據(jù)其匹配區(qū)域選擇方法可劃分為自適應(yīng)窗口匹配算法及自適應(yīng)權(quán)值匹配算法等。其通過(guò)特定的窗口選擇，進(jìn)行區(qū)域的匹配，實(shí)現(xiàn)精度和速度的折中。

相關(guān)算法中較為熟知的算法包括：自相關(guān)算法、互相關(guān)算法及相位相關(guān)算法。

本文所述框架主要采用局部匹配算法中的典型算法基于窗口的相位相關(guān)算法。該算法采用圖像信息的頻域特征，進(jìn)行特征匹配。圖像信息的頻域特征是圖像信息的傅里葉變換后的的結(jié)果，以歸一化互功率譜的形式呈現(xiàn)。頻域信息的選擇具有一定的優(yōu)點(diǎn)，其承載的信息不僅包含圖像的灰度信息，還涉及了圖像的變換梯度信息，從橫向和縱向兩個(gè)維度進(jìn)行信息的考量和比較，具有更強(qiáng)的實(shí)際應(yīng)用價(jià)值。而互功率譜中的信息變化，會(huì)更貼近于真實(shí)圖像中的匹配點(diǎn)的變化，其變化特征主要以峰值形式出現(xiàn)，最大值處即是所要找的匹配點(diǎn)處。

3　點(diǎn)云處理顯示

三維點(diǎn)云的處理顯示可通過(guò)特別定制的軟件進(jìn)行操作，其操作流程簡(jiǎn)單，操作類別完善度較高，但缺點(diǎn)是集成能力不足。故本文所述框架選擇近年來(lái)提出并流行的PCL（Point Cloud Library）點(diǎn)云庫(kù)進(jìn)行集成化處理，將基于雙目感知的立體視覺(jué)系統(tǒng)的處理模塊進(jìn)行集成。PCL是基于C++進(jìn)行研發(fā)的開(kāi)源庫(kù)，其中提供了關(guān)于點(diǎn)云的基礎(chǔ)算法理論是實(shí)現(xiàn)，包括：點(diǎn)云預(yù)處理、點(diǎn)云濾波、點(diǎn)云融合、點(diǎn)云顯示、點(diǎn)云表面網(wǎng)格形成等。基于PCL的平臺(tái)集成研究，可在其基礎(chǔ)理論和基礎(chǔ)算法研究基礎(chǔ)上，進(jìn)行算法的改進(jìn)，及根據(jù)實(shí)際場(chǎng)景的算法的選擇。PCL的優(yōu)點(diǎn)是開(kāi)源，可通過(guò)其提供代碼減少基礎(chǔ)開(kāi)發(fā)工作量，而將重心放到算法優(yōu)化的領(lǐng)域。

PCL處理中較為重要的是點(diǎn)云的融合處理，即通過(guò)多個(gè)點(diǎn)云，進(jìn)行點(diǎn)云的矯正和配準(zhǔn)之后，實(shí)現(xiàn)多個(gè)同場(chǎng)景不同設(shè)備的點(diǎn)云之間的信息互補(bǔ)，去掉多余點(diǎn)云信息，并實(shí)現(xiàn)有效信息的交叉和互補(bǔ)。PCL中另外的開(kāi)發(fā)點(diǎn)在于其界面信息處理和點(diǎn)云顯示之間的融合，問(wèn)題只在于如何多線程高速處理點(diǎn)云顯示及相關(guān)操作。

4　基于雙目感知的立體視覺(jué)集成

根據(jù)算法概述，可知其操作流程圖如圖3所示。

5　結(jié)語(yǔ)

基于雙目感知的立體視覺(jué)集成，打破了原來(lái)的模塊分離模式，實(shí)現(xiàn)了從二維圖像獲取到三維點(diǎn)云顯示的一體式操作集成。在其算法和策略選擇上，主要依據(jù)速度和質(zhì)量雙重選擇標(biāo)準(zhǔn)。其集成本身需要數(shù)據(jù)輸入和輸出的一致性選擇及傳遞，涉及到數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)和點(diǎn)云結(jié)構(gòu)設(shè)計(jì)，相應(yīng)的結(jié)構(gòu)轉(zhuǎn)換需要設(shè)定特定的函數(shù)，最終實(shí)現(xiàn)一體化操作效果。但在基礎(chǔ)算法選擇方面，可在日后進(jìn)行算法理論的進(jìn)一步完善和整理，并在此基礎(chǔ)之上進(jìn)行算法和框架結(jié)構(gòu)的優(yōu)化開(kāi)發(fā)。針對(duì)立體匹配算法的選擇，應(yīng)在以后的工作中擴(kuò)充選擇維度，使得在不同應(yīng)用場(chǎng)景中各有長(zhǎng)處的算法得到充分的利用，并提供可操作選擇的參數(shù)窗口，使得算法的靈活性和可用性得到提升。

圖3　

[1]朱德海，郭浩，蘇偉等.點(diǎn)云庫(kù)PCL學(xué)習(xí)教程.北京航空航天出版社，2012-10-1

[2]馬婷.點(diǎn)云數(shù)據(jù)的顯示與配準(zhǔn)，2007.

[3]J.Sun，N.Zheng，and H.Shum.Stereo Matching Using Belief Propagation.In ECCV，page II:510 ff.，2002.

[4]郭永彩，魏朋玉，高潮.采用多級(jí)動(dòng)態(tài)規(guī)劃實(shí)現(xiàn)立體匹配[J].光學(xué)精密工程，2009，17(7):1745.

[5]Achanta R，Shaji A，Smith K，et al.SLIC Superpixels Compared to State-of-the-Art Superpixel Methods[J].Pattern Analysis and Machine Intelligence，IEEE Transactions on，2012，34(11):2274-2282.

[6]Thomas H.Cormen and Charles E.Leiserson.算法導(dǎo)論[M].潘金貴，顧鐵成.北京:機(jī)械工業(yè)出版社出版，2006，324

Binocular Stereo Vision;Depth Map;the Point Cloud Processing;Stereo Matching

Stereo Vision Integration Based on Binocular Views

YANG Yang

(College of Computer Science，Sichuan University,Chengdu 610065)

1007-1423（2016）05-0063-04

10.3969/j.issn.1007-1423.2016.05.014

楊陽(yáng)（1990-），女，黑龍江海倫人，碩士，研究方向?yàn)橛?jì)算機(jī)視覺(jué)與圖像處理

2015-12-22

2016-02-05

雖然計(jì)算機(jī)視覺(jué)的應(yīng)用場(chǎng)景拓寬，關(guān)于雙目視覺(jué)的算法和理論研究達(dá)到一定的深度。雙目立體視覺(jué)感知是通過(guò)雙目攝像機(jī)在接近平行且距離較近的位置上獲取同一場(chǎng)景不同角度的圖像，進(jìn)而通過(guò)二維圖像獲取三維信息?；陔p目視覺(jué)工作原理，提出一種綜合的雙目感知立體視覺(jué)集成框架，其中主要包括圖像預(yù)處理模塊，立體匹配算法模塊、點(diǎn)云融合顯示模塊。在其使用算法方面進(jìn)行簡(jiǎn)要介紹，并達(dá)到集成處理效果。

雙目；立體視覺(jué)；深度感知；點(diǎn)云處理；立體匹配

As the application of computer vision scene is broad,the theoretical studies algorithms of binocular vision have achieved a certain depth. The binocular stereo vision is to access images in different perspectives on the same scene by binocular cameras at a close range and in parallel,and then obtain 3D information from 2D images.Puts forward a comprehensive binocular stereo vision integration framework based on the binocular visions,which includes image preprocessing module,stereo matching algorithm module,point cloud fusion and display module.Carries out the brief introduction of basic algorithms and achieves the integration.