基于邊緣和像素類型標(biāo)記的立體匹配算法

基于邊緣和像素類型標(biāo)記的立體匹配算法

蘇志斌，鄒芳菊，呂朝輝

(中國傳媒大學(xué)自動(dòng)化系，北京100024)

摘要：提出一種基于邊緣圖像特征和像素類型標(biāo)記的立體匹配算法，利用邊緣信息及視差在邊緣和非邊緣區(qū)域的分布特征，指導(dǎo)有效初始視差在掃描線方向的傳遞。并且根據(jù)標(biāo)記值對(duì)部分不可靠的像素點(diǎn)進(jìn)行反向賦值和邊緣內(nèi)中值濾波處理，達(dá)到視差精化目的。實(shí)驗(yàn)證明這種方法對(duì)于整體視差范圍不太大的遠(yuǎn)距離圖像，能夠獲得較為精確的稠密視差圖。

關(guān)鍵詞：邊緣；像素類型標(biāo)記；視差；立體匹配

中圖分類號(hào)：TP751文獻(xiàn)標(biāo)識(shí)碼：A

收稿日期：2015-02-15

基金項(xiàng)目：“十二五”國家科技支撐計(jì)劃重大項(xiàng)目“演出呈現(xiàn)關(guān)鍵技術(shù)研發(fā)與應(yīng)用示范(項(xiàng)目編號(hào)：2012BAH38F00)”資助

作者簡介：蘇志斌(1987-)，女(漢族)，新疆烏魯木齊人，中國傳媒大學(xué)在讀博士. E-mail： seedszb@cuc.edu.cn

Stereo Matching Based on Edge Feature and Pixel Labels

SU Zhi-bin，ZOU Fang-ju，LV Chao-hui

(Department of Automation，Communication University of China，Beijing 100024，China)

Abstract：This paper proposed a new stereo matching algorithm which used the edge feature and pixel labels to obtain the dense disparity map. The edge information and distribution of disparity around the edge area and non-edge area could provide effective guidance for the delivery of reliable original disparity through the label of each pixel designed in our method. After disparity optimization for the whole pixels along the scanline，the areas with special pixel labels were refined in opposite direction or in certain non-edge regions. Experiment results demonstrate the accuracy of our method for the disparity map generated by stereo images captured in a long distance.

Keywords：edge；pixel labels；disparity；stereo matching

1引言

在基于雙目立體視覺的圖像信息采集和視頻處理中，立體匹配是其中的熱門研究方向之一。通過立體匹配獲得的稠密視差圖有助于分析采集處理中的技術(shù)問題，當(dāng)精度達(dá)到一定要求后，還能夠結(jié)合單眼二維圖像進(jìn)行原始場景的還原。然而對(duì)于自然圖像，受到噪聲、低紋理、重復(fù)紋理及遮擋等多方面因素的影響，獲得高精度的稠密視差圖像依然是一個(gè)非常困難的問題[1]?，F(xiàn)有的立體匹配算法主要有兩個(gè)分支：基于局部的立體匹配算法和基于全局的立體匹配算法。經(jīng)典的局部匹配算法有自適應(yīng)權(quán)重(Adaptive Weight)，基于Census或AD-census組合的匹配度量方法等；經(jīng)典的全局算法有動(dòng)態(tài)規(guī)劃(Dynamic Programming，DP)，圖割(Graph Cut，GC)和置信度傳播(Belief Propagation，BP)等[2]。全局匹配算法是從早期的局部匹配算法發(fā)展而成，一定程度上依賴局部匹配算法對(duì)初始值的準(zhǔn)確估計(jì)，兩種算法在性能上各具優(yōu)劣。然而基于局部匹配的算

法由于模型結(jié)構(gòu)簡單，對(duì)每個(gè)像素的獨(dú)立運(yùn)算可以通過并行優(yōu)化加速等特點(diǎn)，更適于實(shí)時(shí)的處理[3]，是立體匹配算法中一個(gè)重要的研究內(nèi)容。

邊緣圖像是一類重要的底層特征，然而在現(xiàn)有的局部立體匹配算法中，基于邊緣圖像特征的研究相對(duì)較少。本文提出一種基于邊緣圖像特征和像素類型標(biāo)記的立體匹配算法，充分利用邊緣信息及視差在邊緣和非邊緣區(qū)域的分布特征，指導(dǎo)有效視差在掃描線方向的傳遞。

2算法流程及實(shí)現(xiàn)

本章節(jié)主要闡述算法各部分的主要內(nèi)容。圖 1給出的是算法的主要流程。整個(gè)算法的核心思想是基于像元的局部匹配方法，具體分為4個(gè)部分：1)生成以左眼圖像為基準(zhǔn)的初始化視差圖和可信度圖；2)以左眼為基準(zhǔn)圖像，生成邊緣點(diǎn)圖；3)在局部像素范圍內(nèi)，根據(jù)鄰域像素類型標(biāo)記和邊緣點(diǎn)特征，綜合基準(zhǔn)圖像的初始化視差圖和標(biāo)記值進(jìn)行單個(gè)像素的視差優(yōu)化，并賦予優(yōu)化后像素點(diǎn)的標(biāo)記值。4)行內(nèi)和區(qū)域內(nèi)視差結(jié)果精化。

2.1　初始視差圖和可信度圖獲取

考慮到處理時(shí)間和準(zhǔn)確率的平衡，初始視差圖的獲取采用固定窗口的經(jīng)典局部匹配算法。為了獲得盡可能多的初始準(zhǔn)確點(diǎn)，采用文獻(xiàn)[4]的方法構(gòu)造結(jié)合SAD度量和census度量的魯棒性較強(qiáng)的相似性測(cè)度代價(jià)函數(shù)CSAD-Census，如公式(1)、(2)所示。

圖1　基于邊緣和像素類型標(biāo)記的立體匹配算法流程圖

CSAD-Census=ρ(CSAD(p，d)，λSAD)

+ρ(Ccensus(p，d)λcensus)

(1)

(2)

通過函數(shù)ρ的加入，能夠?qū)⒋鷥r(jià)函數(shù)取值的范圍控制在0和1之間，同時(shí)避免了過大的偏差，有助于尋找最佳初始匹配點(diǎn)。

可信度在本文的算法中僅作為像素類型在標(biāo)記過程中的參考因素，并不是唯一指導(dǎo)可靠像素傳遞的因子，因此選用實(shí)現(xiàn)簡單，適用性和準(zhǔn)確度較高的PKR準(zhǔn)則，并根據(jù)文獻(xiàn)[3]的方法計(jì)算像素的可信度conf(x，y)，當(dāng)像素可信度超過閾值時(shí)，認(rèn)為是可信點(diǎn)。

2.2　邊緣圖像獲取及邊緣方向檢測(cè)

左眼基準(zhǔn)圖像采用基于canny的算子檢測(cè)圖像邊緣。canny算法是目前公認(rèn)的性能優(yōu)良的算法，能夠有效地提取較弱的邊緣，有助于理解圖像構(gòu)成和分割預(yù)判發(fā)生視差跳變的區(qū)域。為獲得足夠數(shù)量的邊緣點(diǎn)，本文對(duì)左眼圖像的RGB通道分別提取邊緣并合成邊緣圖像。

原始邊緣圖像中的單個(gè)邊緣檢測(cè)值無法直接體現(xiàn)其方向，但是可以通過邊緣像素點(diǎn)鄰域內(nèi)其他值的分布總和來區(qū)分，因此本文提出一種在鄰域給定區(qū)域內(nèi)判斷邊緣邏輯值分布情況的算法來獲得邊緣點(diǎn)的方向特征。邊緣方向的判斷分兩步進(jìn)行：

(1)判斷左右類/上下類邊緣：在以x，y為中心的3×3十字范圍內(nèi)，若左右兩側(cè)像素邊緣邏輯值均為0，而上下兩側(cè)像素邏輯值均為1時(shí)，當(dāng)前邊緣點(diǎn)為左右類邊緣點(diǎn)；反之則為上下類邊緣點(diǎn)。當(dāng)遇到上下左右的邊緣點(diǎn)邏輯值都為1的特殊情況時(shí)，認(rèn)為當(dāng)前點(diǎn)屬于左右類邊緣點(diǎn)。

(2)在(1)的基礎(chǔ)上，繼續(xù)預(yù)判該邊緣屬于左側(cè)/右側(cè)邊緣點(diǎn)或上方/下方邊緣點(diǎn)。以左/右邊緣點(diǎn)的判定為例，比較當(dāng)前點(diǎn)同左側(cè)像素點(diǎn)的色彩差值，若小于或等于給定色彩閾值，則判定該點(diǎn)屬于左側(cè)邊緣，用Ⅰ類邊緣點(diǎn)表示；若大于色彩閾值，則判斷改點(diǎn)屬于右側(cè)邊緣，用Ⅱ類邊緣點(diǎn)表示。對(duì)上下類邊緣點(diǎn)的判定類似，區(qū)別是比較當(dāng)前點(diǎn)同上方像素點(diǎn)的色差值。

在視差傳遞的過程中，邊緣點(diǎn)同視差傳遞的關(guān)系規(guī)定如下：

2.3　像素類型標(biāo)記方法

根據(jù)邊緣點(diǎn)圖對(duì)像素類型的劃分，將整個(gè)視差圖像的特征區(qū)分為邊緣視差點(diǎn)和非邊緣視差點(diǎn)。下表 1給出了具體像素類型的標(biāo)記方法。

表1　像素類型標(biāo)記方法

在標(biāo)記像素的實(shí)現(xiàn)過程中，為了簡化對(duì)像素類型的判斷，我們將類型特征值賦予經(jīng)過優(yōu)化運(yùn)算后的可信值中，每個(gè)點(diǎn)的可信度值在經(jīng)過視差優(yōu)化后便不具備其他作用，查詢鄰域像素類型時(shí)直接讀取該點(diǎn)的可信圖值即可。標(biāo)記值的大小主要用于區(qū)分各類像素點(diǎn)，實(shí)際可以取0-255之間的任意值。

2.4　基于邊緣和像素類型標(biāo)記的初始視差優(yōu)化

根據(jù)邊緣圖獲得像素類型及具體標(biāo)記方法之后，優(yōu)化算法的主要任務(wù)就是沿著從上到下，從左到右的掃描線方向?qū)γ總€(gè)像素點(diǎn)進(jìn)行逐點(diǎn)的初始視差優(yōu)化。對(duì)于每個(gè)待優(yōu)化像素點(diǎn)，提取其邊緣信息，視差信息和可信度信息，并且檢查其鄰域內(nèi)左方的(x-1，y)點(diǎn)和上方的(x，y-1)點(diǎn)的可信圖值(此時(shí)為像素類型標(biāo)記值)和視差值。下文中用disp(x，y)表示x，y點(diǎn)的視差值，常數(shù)DISM表示跳變閾值，這里為一個(gè)視差像素所代表的等級(jí)數(shù)。整個(gè)像素優(yōu)化的過程中應(yīng)遵循如下原則：

(1)當(dāng)前點(diǎn)標(biāo)記值非104或非102時(shí)，當(dāng)前點(diǎn)視差同左側(cè)及上側(cè)相比不應(yīng)發(fā)生大的跳變，若超過跳變閾值DISM，則直接將左側(cè)或上側(cè)的視差值賦予當(dāng)前點(diǎn)。

(2)若(1)的情況下發(fā)生當(dāng)前點(diǎn)同左側(cè)或上側(cè)像素視差在DISM范圍內(nèi)的變化，接受當(dāng)前點(diǎn)視差的條件是：在3*3鄰域內(nèi)滿足變化方向和視差跳變范圍小于等于DISM的點(diǎn)數(shù)超過一定閾值。該閾值視當(dāng)前點(diǎn)的可信度而定，可信點(diǎn)的跳變點(diǎn)數(shù)閾值小于非可信點(diǎn)的閾值。

(3)當(dāng)前點(diǎn)為非邊緣點(diǎn)，同時(shí)左側(cè)和上方像素點(diǎn)的標(biāo)記值都為42時(shí)，當(dāng)前點(diǎn)的變化視差可以是增大的方向，也可以是減小的方向。而當(dāng)左側(cè)和上側(cè)的標(biāo)記值為22時(shí)，變化視差只允許向減小的方向進(jìn)行。

(4)當(dāng)前點(diǎn)為非邊緣點(diǎn)，左側(cè)同上方的標(biāo)記值為103或101時(shí)，若當(dāng)前點(diǎn)可信，disp(x，y)可直接用于鄰域視差值比較；若當(dāng)前點(diǎn)不可信，取當(dāng)前點(diǎn)右側(cè)鄰域內(nèi)的視差均值作為當(dāng)前點(diǎn)的視差值，再分別同上方和左側(cè)像素點(diǎn)比較視差值。若當(dāng)前點(diǎn)的視差值大于左側(cè)及上側(cè)，認(rèn)為是非遮擋點(diǎn)，在傳遞過程中以42作為標(biāo)記值。若當(dāng)前視差值小于等于左側(cè)及上側(cè)，則認(rèn)為是可能發(fā)生遮擋的點(diǎn)，傳遞過程中以22作為標(biāo)記值。

(5)當(dāng)前點(diǎn)為非邊緣點(diǎn)，而左側(cè)或上側(cè)為邊緣點(diǎn)，需要進(jìn)行同邊緣點(diǎn)方向相關(guān)的梯度檢測(cè)，判斷是否存在小范圍內(nèi)邊緣缺失的情況，并進(jìn)行補(bǔ)邊。

(6)對(duì)于圖像左邊界處的點(diǎn)，由于受到邊界對(duì)象截取后圖像不完整匹配的影響，即使使用鄰域信息也未必能獲取正確的視差值，對(duì)于這些點(diǎn)先按照(3)中左側(cè)和上方像素點(diǎn)的標(biāo)記值都為42的方式在令視差不發(fā)生大波動(dòng)的條件下傳遞，再將像素類型標(biāo)記為11。在遇到邊緣或上方有可信度等于42的點(diǎn)后，標(biāo)記值為11的像素點(diǎn)停止視差傳遞。為保證準(zhǔn)確性，被標(biāo)記為11的點(diǎn)需要通過反向填充的方式處理。

2.5　視差結(jié)果精化

2.5.1　反向檢測(cè)賦值

根據(jù)標(biāo)記原則，像素類型值為11和22的點(diǎn)是不可靠的非邊緣點(diǎn)，考慮到每一個(gè)像素點(diǎn)的視差優(yōu)化同時(shí)受到來自左側(cè)和上方兩部分像素點(diǎn)的影響，選擇在每行的精化運(yùn)算結(jié)束后，對(duì)本行中類型值為11和22的點(diǎn)進(jìn)行反向填值，即將右側(cè)經(jīng)過優(yōu)化后更加可靠的視差傳遞給左側(cè)視差波動(dòng)較大的點(diǎn)。

2.5.2　邊緣內(nèi)中值濾波

上述的反向賦值完成了水平掃描線方向的視差精化，而垂直方向的視差可以通過邊緣內(nèi)中值濾波來進(jìn)行處理。邊緣內(nèi)中值濾波的基本思想是以標(biāo)記值為22的邊緣內(nèi)點(diǎn)為中心，形成左右上下寬度不大于BLOCK的濾波窗口，并且從中心起遇到標(biāo)記值大于100或標(biāo)記值為11或42的點(diǎn)停止，如圖 2所示。

圖2　邊緣內(nèi)中值濾波窗口示意圖

進(jìn)行邊緣內(nèi)中值濾波的過程中，需要注意以下3點(diǎn)：

1)中值濾波包括不規(guī)則窗口區(qū)域內(nèi)的所有點(diǎn)。為區(qū)分經(jīng)過濾波處理的點(diǎn)，將整個(gè)窗口內(nèi)的標(biāo)記值由22更改為23。在下一輪中值濾波時(shí)，將標(biāo)記值為22和23的點(diǎn)均列入新窗口內(nèi)的中值濾波序列中，然而結(jié)果僅對(duì)標(biāo)記值為22的點(diǎn)進(jìn)行重賦值。

2)在邊緣數(shù)量較多的區(qū)域，邊緣內(nèi)中值濾波代價(jià)較準(zhǔn)確度而言意義不大。因此在確定濾波窗口時(shí)加入額外的約束條件，即對(duì)于以(x，y)為中心的點(diǎn)，當(dāng)且僅當(dāng)水平方兩側(cè)寬度不大于BLOCK的濾波窗口內(nèi)均為非邊緣點(diǎn)時(shí)，進(jìn)行邊緣內(nèi)中值濾波，否則將跳過當(dāng)前點(diǎn)向右側(cè)和下方繼續(xù)尋找。

3)當(dāng)視差范圍超過一定程度，同時(shí)圖像中含有大量連續(xù)變化的視差時(shí)(例如存在斜面，曲面等)，邊緣內(nèi)中值濾波的平滑作用可能會(huì)使準(zhǔn)確率降低。此時(shí)，應(yīng)考慮使用尺寸較小的濾波窗口。

3實(shí)驗(yàn)結(jié)果及分析

本文算法實(shí)驗(yàn)硬件環(huán)境為Inter(R)core處理器，CPU主頻為2.4GHz，操作系統(tǒng)windows 7，編程工具Visual Studio 2008。算法的有效性通過Middleburry網(wǎng)站提供的立體圖像庫中的經(jīng)典圖像進(jìn)行驗(yàn)證。圖3為其中代表性的圖像對(duì)之一Tsukuba的匹配算法驗(yàn)證結(jié)果。其中涉及的主要參數(shù)為：λSAD=10，λcensus=1，DISM=1，BLOCK=10。計(jì)算初始視差值的過程中，SAD窗口大小為3×3，census窗口大小為5×5。

從Tsukuba的驗(yàn)證結(jié)果可以看出，在攜帶邊緣特征的像素類型標(biāo)記指導(dǎo)下，算法在保證視差準(zhǔn)確率的同時(shí)，還能夠形成平滑效果，同時(shí)在一定程度上還原邊緣的位置。然而受到初始邊緣檢測(cè)的影響，在一些邊緣缺失區(qū)域，若左右兩側(cè)的視差值相差正好同設(shè)置的跳變閾值DISM相等，則很難通過優(yōu)化算法中的補(bǔ)邊處理還原這部分的邊緣。若要改變這一情況，需要優(yōu)化邊緣提取算法，或結(jié)合其他基于像素色彩特征的方法將邊緣更準(zhǔn)確地提取出來。

表 2給出的是本文算法同其他算法在Middleburry網(wǎng)站上的測(cè)試結(jié)果和排名。其中nonocc表示非遮擋區(qū)域視差錯(cuò)誤點(diǎn)率，all表示整體誤點(diǎn)率，disc表示視差不連續(xù)區(qū)域的誤點(diǎn)率。對(duì)比Tsukuba的結(jié)果顯示，在整體視差精度上，本文算法優(yōu)于傳統(tǒng)的DP算法和GC算法；在非遮擋區(qū)域，本文算法優(yōu)于全局DP算法和局部的RTCensus算法，略低于GC算法。然而對(duì)于Venus而言，本文算法雖然優(yōu)于DP算法，卻在準(zhǔn)確率上低于GC等其他全局和局部算法。這是因?yàn)閂enus圖像含有大量的斜面，表現(xiàn)為連續(xù)變化的視差，而本文算法處理的是一個(gè)像素精度的初始匹配結(jié)果，乘以尺度系數(shù)后精度有所下降。

(a)　　　　　　　　　　　　(b)　　　　　　　　　　　　(c)

(d)　　　　　　　　　　　　(e)　　　　　　　　　　　　(f) 圖3　tsukuba圖像立體匹配結(jié)果 (a.經(jīng)過基于邊緣和像素類型標(biāo)記的初始視差優(yōu)化的匹配結(jié)果；b.經(jīng)過視差初始化后得到的像素類型標(biāo)記圖；c.經(jīng)過視差精化后得到的最終結(jié)果圖，最終結(jié)果進(jìn)行了5*5的中值濾波處理；d.視差真值圖；e.和真值相比的誤差圖；f.和真值相比的符號(hào)誤差圖)

表2　同其他算法的主要結(jié)果比較

注：Error Threshold = 1。

4結(jié)論

本文算法整體上屬于基于像元的局部立體匹配方法，但不同于傳統(tǒng)的基于顏色、可信度傳遞及一致性檢測(cè)的匹配算法，本文提出了一種基于邊緣和類型標(biāo)記的立體匹配算法，算法復(fù)雜度較低，且對(duì)于大面積的非邊緣區(qū)域，在沒有進(jìn)行平面或曲面擬合的情況下，依靠標(biāo)記值的傳遞原則，能保留一定的視差漸變過程，同時(shí)滿足精度的需求。從仿真結(jié)果分析，該算法適用于視差整體范圍較小的遠(yuǎn)距離場景。此外，通過像素類型標(biāo)記，能夠在原始邊緣圖像的基礎(chǔ)上，結(jié)合對(duì)應(yīng)的視差信息進(jìn)一步獲得封閉的圖像邊緣，有助于對(duì)圖像區(qū)域的提取、分析和其他處理。但是，由于算法對(duì)視差優(yōu)化和精化的過程受到邊緣圖像的制約，視差對(duì)象的邊緣提取的越準(zhǔn)確，越有利于視差的匹配優(yōu)化；反之當(dāng)邊緣不足時(shí)，會(huì)較大程度地影響匹配結(jié)果。為滿足算法的適用性和準(zhǔn)確性，還需要進(jìn)一步研究像素類型標(biāo)記值在視差傳遞中的判定和約束方法。本文算法所還原的視差在尺度放大前為一個(gè)像素精度，對(duì)于連續(xù)變化的平面或曲面，還需要研究亞像素精度的視差優(yōu)化方法。

參考文獻(xiàn)

[1]李治江，馮謹(jǐn)強(qiáng)，曹文冬，曹麗琴，楊萍. 基于邊緣特征和可信度的立體匹配算法[J]. 包裝工程，2014，35(23)：47-51.

[2]Sun X，Mei X，Zhou M，et al. Stereo matching with reliable disparity propagation[C].3D Imaging，Modeling，Processing，Visualization and Transmission (3DIMPVT)，2011 International Conference on，2011：132-139.

[3]施陳博. 快速圖像配準(zhǔn)和高精度立體匹配算法研究[D].北京：清華大學(xué)，2011.

[4]Mei X，Sun X，Zhou M，et al. On building an accurate stereo matching system on graphics hardware[C].Computer Vision Workshops (ICCV Workshops)，2011 IEEE International Conference on，2011：467-474.

[5]Hu X，Mordohai P. Evaluation of stereo confidence indoors and outdoors[C].Computer Vision and Pattern Recognition (CVPR)，2010 IEEE Conference on，2010：1466-1473.

[6]Humenberger，Martin，et al. A fast stereo matching algorithm suitable for embedded real-time systems[J]. Computer Vision and Image Understanding，2010，114(11)：1180-1202.

[7]Boykov Y，Veksler O，Zabih R. Fast approximate energy minimization via graph cuts[J]. Pattern Analysis and Machine Intelligence，IEEE Transactions on，2001，23(11)：1222-1239.

[8]Scharstein D，Szeliski R. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms[J]. International journal of computer vision，2002，47(1-3)：7-42.

(責(zé)任編輯：王謙)