基于多尺度紋理特征的最小二乘法深度信息估計方法

牛連丁 陳婷婷 張立志

摘 要：由于二維圖像三維化技術重建三維場景可以低成本、高效率地提供三維顯示資源，使得該技術成為圖像處理領域重要的研究課題。深度線索的提取是重建三維場景的重要研究內容之一。為了更好的描述紋理特征與場景深度之間的關系，提出了一種基于多尺度紋理特征的最小二乘深度信息估計方法。通過構建多尺度模型、紋理濾波的方法捕捉頭像的多尺度紋理梯度、紋理變化等特征作為訓練樣本；并進行訓練，得到紋理線索與場景深度間的關系參量；最后用該參量來估計待測樣本的深度。實驗結果表明，該方法對場景深度信息的估計具有較好的效果。

關鍵詞：多尺度紋理，最小二乘方法，深度估計

中圖分類號：TP391 文獻標識號：A

The Least-square Depth Information Estimation Method based on Multi-scale Texture Features

NIU Lianding1， CHEN Tingting 2， ZHANG Lizhi2

（1 Network and Educational Technology Center， Harbin University of Commerce， Harbin 150028， China；2 Department of Computer and Information Engineering， Harbin University of Commerce， Harbin 150028， China）

Abstract： With the advantage of low cost and high efficiency for 3D display market， the technique of 3D scene reconstruction from 2D scene image has been the main research contents in the field of image processing. For the 3D reconstruction， the extraction of depth cues is one of the most important contents. Therefore， the paper proposes a least-square depth estimation method based on multi-scale texture features， which can better describe the relationship between the texture features and the scene depth. By using the methods of constructing multi-scale model and texture filtering， the paper captures the features of the texture gradient and texture variations as the training sample sets， and then trains these samples to get the relationship parameters between texture cues and scene depth， which can finally be applied to estimate the depth of the test sample sets. The experimental results show that the proposed method performs well in scene depth information extraction.

Keywords： Multi-scale Texture； Least-square； Depth Estimation； Texture Feature

0 引言

由于三維影像可以帶給受眾更加逼真的臨場感，在各領域中都得到了廣泛的應用[1]，市場潛力巨大。然而，三維視頻制作成本高、技術難度大、現(xiàn)實周期長等問題，限制了資源的供應，無法滿足市場需求。為了解決這一矛盾，通過獲取二維影像的深度信息，并利用該信息將現(xiàn)有二維影像三維化處理獲得三維影像，成為解決三維顯示內容不足的一個重要手段。該方案不但可以降低制作成本，縮短制作周期，還能夠充分利用現(xiàn)有的影像資源避免資源浪費。自2003年，德國Christoph Fehn提出了基于深度圖繪制DIBR（Depth-Image-based Rendering）[2]的三維圖像生成方式后，深度信息即已提取成為實現(xiàn)二維影像三維化的關鍵技術之一。

場景深度信息是指在空間上場景對象與圖像物理成像焦平面的實際距離。二維場景圖像的紋理變化、紋理梯度、顏色都能給人們提供良好的深度感知。通過比較一紋理區(qū)域在不同尺度下的位置、大小、方向，估算出紋理區(qū)域的相對位置關系，進而得到相應紋理區(qū)域的場景深度。Knorr等提出了利用圖像紋理梯度線索來提取深度的方法[3]實現(xiàn)深度估計。對于室外場景的轉換得到了較好的重建質量，但由于線索單一，對室內場景圖像效果較差。Malic，Saxena[4-5]等人，根據景物對象在不同深度上存在著紋理及陰影差異，通過建立馬爾科夫隨機場模型，監(jiān)督學習方法訓練參數，從而估計圖片場景深度。Derpanis等人則從時空方向能量對動態(tài)紋理進行描述[6]，提出利用方向濾波器的能量響應對視頻進行處理，按照不同的等級對運動的形式進行定向分析。

基于對紋理特征的研究及優(yōu)化算法的總結，提出了一種基于多尺度紋理特征的最小二乘深度估計方法。該方法采用了紋理濾波器分別對圖像的紋理梯度、紋理漸變、顏色進行濾波，用以捕捉圖像不同尺度的紋理能量作為特征，通過訓練得到紋理線索與場景深度間的關系參量，并利用該關系參量來估計特測試樣本的深度。

1多尺度紋理特征提取

二維圖像是三維場景在二維平面上的投影。在投影過程中丟失了大量的三維信息，其中不僅包括深度信息，還包括真實物體的形狀等幾何信息。只有充分挖掘二維圖像中殘留的信息，才能重構三維場景。因此，通過構建多尺度模型，捕捉多尺度紋理特征實現(xiàn)二維圖像的深度信息估計。

在研究中，以宏塊為基本處理單位，通過計算圖像中的所有宏塊的深度值，獲得整幅圖像的深度信息。首先，將圖像劃分成固定大小的宏塊；然后，對于任一宏塊構建多尺度模型；最后采用濾波器模板對該多尺度模型中的每個宏塊進行卷積，進而求得該宏塊的多尺度紋理特征。

1.1多尺度模型構建

單目二維場景圖像的局部特征并不能夠完全正確地反映場景對象中某一宏塊的深度值，因此需要引入與之相鄰的局部特征或全局特征才能正確估計圖像的深度信息。因此，為了獲得更多圖像本質特征，引入了尺度空間的思想[7-8]。構建如圖1所示的多尺度空間模型，采用多尺度分析法獲得二維場景的本質特征。

圖1 多尺度模型

Fig.1 the multi-scale model

在觀察物體時，隨著物體和觀察者之間的距離不斷地變化，視網膜感知到的圖像信息也是不斷變化的，通過綜合分析這些不同的視覺信息可以獲得被觀察物體的本質特征。多尺度空間分析思想是根據人眼觀察事物的這一特點，在圖像信息處理過程中引入一個尺度參數（如物體和觀察者之間的距離），通過不斷變化尺度參數獲得在不同尺度下的圖像信息，然后綜合分析這些信息深入地挖掘圖像的本質特征。多尺度空間分析方法對于深度特征提取具有重大意義。如圖1中，A0、B0、C0分別是三個尺度下的圖像宏塊。對于宏塊A0，僅通過其本身特征來推斷其深度信息是不可能的。而B0、C0提供了不同尺度下的圖像特征，通過綜合分析這些全局信息可以更好地推斷出宏塊A0的深度信息。

在對圖像中景物深度信息判斷過程中，發(fā)現(xiàn)相鄰宏塊的特征對目標宏塊的深度估計也具有很大貢獻，可以約束相鄰宏塊之間深度的依賴關系。因此，將宏塊A0、B0、C0的上、下、左、右四個相鄰宏塊包含在多尺度模型中。這樣不僅可以將與目標宏塊直接相鄰的宏塊的特征引入深度判斷，而且還可以將較遠的宏塊的特征引入深度判斷。

最終構建了宏塊A0的多尺度模型，共計5宏塊/尺度×3尺度=15個宏塊。

1.2 紋理特征提取

紋理是一種反映圖像中同質現(xiàn)象的視覺特征，體現(xiàn)了物體表面共有的內在屬性，包含了物體表面結構組織排列的重要信息以及其與周圍的聯(lián)系[9]。在圖像的分析中將描述這種灰度變化規(guī)律的數字特征稱為圖像的紋理特征。

紋理的變化在人眼視覺感知深度的過程中扮演著重要的角色[10]。圖像紋理線索作為深度提取的主要因子之一，在人眼視覺深度感知過程中發(fā)揮著關鍵性的功能主導作用。隨著深度的變化，圖像紋理在視覺中的變化是很明顯的。紋理分析方法廣泛應用于視頻圖像恢復、圖像增強、三維立體視頻制作等。因此，采用Laws濾波器以及紋理梯度濾波器濾波的方式獲得紋理特征。

由于Laws濾波器[11]檢測均值（Level）、邊緣（Edge）、斑點（Spot）等諸多信息簡單有效，至今為止仍被廣泛用于分割與模式識別等領域。本文采用3階Laws模板（如圖2所示）對圖像的灰度通道進行濾波，以獲得圖像的灰度紋理變化信息；采用圖2中第一個模板對圖像的兩個色度通道濾波，以獲得色度通道的紋理變化信息。

圖2 Laws模板

Fig.2 the Laws Mask

紋理梯度偵測器是用于檢測圖像紋理方向的一組濾波器模板。圖3中給出的是間隔為30°方向偵測器，將0～180°的空間劃分成6個方向，考慮到紋理方向不存在正向與反向之分，可以通過這組偵測器將紋理分析具體歸結到6個方向上來處理。

圖3 紋理梯度濾波器模板

Fig.3 the mask of texture gradient filtering

將上述9+2+6=17個濾波器 （ ）與圖像宏塊 卷積并求其能量。式（1） 中，k=1時為絕對能量，k=2時為平方能量和。這樣，每一個宏塊獲得34維特征向量。

（1）

再將多尺度空間模型與紋理特征提取方法相結合。即采用式1所示的方法，對于每個目標宏塊i所建立的多尺度模型中的15個宏塊，進行紋理變化、紋理梯度等特征的提取，最終獲得34×15=510維可以反映其深度信息的特征。利用這些特征，采用模式識別的概率模型來估計場景對象深度。

2 基本算法模型

模式識別起源于二十世紀二十年代，隨著計算機的出現(xiàn)和人工智能的興起，在六十年代發(fā)展成為一門重要的學科，并廣泛應用于代數、矩陣論、概率論等其他領域。模式識別是研究圖像或各種物理對象的分類與描述的實用性科學，是將每一具體事物正確地歸入某一類別。可以說，模式識別是模式空間經過特征空間變換到類別空間的一個實現(xiàn)過程。

將深度估計引入模式識別，即把深度估計問題歸為模式識別問題，深度即是離散的擬要識別的模式類。對訓練樣本集和待估計的測試樣本集內圖像分別進行特征的提?。灰载惾~斯原理為基礎建立分類器進行分類決策模型；然后，根據最小二乘方法訓練模型參數，使得基于這種分類決策對被識別對象進行分類所造成的誤差要盡量趨??；最后，利用所得模型參數完成深度估計，生成待估計測試樣本的深度圖。

2.1 基于模式識別方法的深度模型

利用模式識別分類方法，對已有的真實深度圖像和二維場景圖像進行監(jiān)督訓練，在本實驗中參考Saxena的數學模型方法，將訓練樣本圖像分成 個宏塊單元，選取三個尺度的紋理能量作為訓練樣本集的紋理特征，并將訓練樣本同一行的紋理特征進行相關組合，構成特征矢量，研究樣本集中場景圖像深度與紋理能量之間的關系模型，模型數學表達如式（2）所示[12]：

（2）

這種算法是針對宏塊的深度值屬于每一類進行決策。式中 是歸一化常數； 是宏塊 的特征矢量； 是宏塊 的真實深度值。 表示真實深度的方差，用來衡量深度對于紋理能量特征的不確定性。大多相片是由水平安裝的相機拍攝，每行具有不同的布局。因此，對不同行 采用不同的參數（ ， ）。針對同一圖像中不同行場景布局的不同，所需訓練的行參數也不盡相同，并用 來表示每一行的參數矩陣， 的估計是通過 的極大似然函數來獲得。將其他參數看成已知，則 的最大似然估計即為求解線性最小二乘問題的真實結果。

2.2 基于最小二乘的參量估計

最小二乘法是一種數學優(yōu)化技術，通過最小化誤差的平方和來尋找數據的最佳匹配函數，進而簡便求得未知數據，并使得這些計算數據與實際數據之間的誤差平方和達到最小值。

利用最小二乘法的思想，根據估計深度值與真實深度值之差的平方最小來估計最優(yōu)參數矢量 ，滿足式（2）中概率最大的估計深度值即為二維場景圖像在三維場景中的最適深度。式（2）中， 表示滿足二維圖像宏塊的深度值取值概率，因此通過確定式中 的最大值，就可確定該宏塊最有可能的深度值。同時，又根據指數基本性質，可知若使得 取最大值，則需要滿足式（2）中 的取值為最小，并且式中 ，因此，就要使其中 取值達到最小，此處可令：

（3）

那么滿足關系式 取值為最小，即需使：

（4）

根據矩陣的基本性質，利用最小二乘方法，對式（4）求導可得：

（5）

為滿足式（4）中 取最小值，令 ，則：

（6）

從而得出二維場景圖像的紋理特征與深度之間的關系參量：

（7）

2.3 深度估計

由式（7）得知，參數矩陣 與紋理特征 有著直接的關系。如前所述，每個宏塊的紋理特征 都是510×1維特征向量，參數矩陣 則為1×510的特征矩陣。在進行深度估計時，可以認為深度 是宏塊 的紋理特征矩陣的非線性組合。這樣，參數矩陣 就是不同的權值組合，每一權值就是其相應的紋理特征對深度的影響程度，進而得到深度值如式（8）所示：

（8）

3 實驗結果與分析

在Matlab2011b環(huán)境下通過仿真驗證方法的有效性。選取400幅1 704*2 272像素的二維圖像及其真實深度圖為訓練集，133幅1 704*2 272像素的二維圖像及其真實深度圖作為測試樣本集。場景中包括人造環(huán)境（樓房，街道等），自然環(huán)境（森林，灌木叢等）。

試驗中，為了權衡由宏塊大小所帶來的訓練速度與深度的統(tǒng)計特性的顯著性之間的矛盾，將圖像分成17×32像素的宏塊。實驗結果如圖4所示，其中（a）為原始圖像、（b）為本方法得到的二維場景圖像深度估計結果、（c）組圖像是激光掃描設備得到的二維場景圖像的真實深度圖像，深度范圍是在0～81m，對于超過81m的深度都將記為81m。

（a）原始圖像 （b）實驗結果 （c）真實深度

（a） original image （b） result of our method （c） real depth image

圖4 實驗結果

Fig.4 The experimental results

4 結束語

本文中，提出了一種基于多尺度紋理特征的最小二乘深度信息估計方法。該方法通過建立多尺度模型、采用了紋理濾波器對圖像的紋理梯度、紋理漸變、顏色進行濾波，捕捉圖像不同尺度的紋理能量作為特征， 并通過訓練得到紋理線索與場景深度間的關系參量，該關系參量可用來估計特測試樣本的深度。

實驗結果表明，該方法可以獲得較好的深度信息提取效果，且對場景結構及空間布局要求較低。但對于紋理輪廓不明顯，深度值高度接近的圖像，很難得到一個理想的深度圖。因此，在未來的研究中將重點解決這個問題。首先，在深度特征提取方面，可以嘗試使用其他特征，并且可嘗試結合其他特征不同的特點，分配不同的權重。其次，在模式識別方法模型方面，可以嘗試更好的方法來研究特征和深度信息之間的關系，建立不同的更加有效的模型。

參考文獻

[1] KARSCH K，LIU C， KAN S B Kan， Depth extraction from video using non-parametric sampling [C] // Computer Vision， Florence： ECCV， 2012： 775-788.

[2] FEHN C. A 3D-TV approach using Depth-Image-Based Rendering （DIBR） [C]// Proceedings of Visualization， Imaging and Image Processing， Benalmadena： [s. n.] 2003：482-487.

[3] KNORR， IMRE S， OZKALAYCI E， et al. A modular scheme for 2D/3D conversion of TV broadcast [C] 3DPVT 2006， North Carolina： IEEE Computer Society，2006： 703-710.

[4] MALIK J， ROSENHOLTZ R. computing local surface orientation and shape from texture for curved surface[J]. Intermation Journal of Computer Vision， 1997， 23（2）：149-168.

[5] SAXENA A， SCHULTE J， NG A Y. Depth estimation using monocular and stereo cues [C]// 20th Int'l Joint Conf. Artificial Intelligence， Hyderabad： IJCAI， 2007.

[6] DERPANIS K G， WILDES R P. Dynamic texture recognition based on distributions of spacetime oriented structure [C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， California ： CVPR 2010，2010（6）：191-198..

[7] WITKIN A. Scale-space filtering [C]// Proc 8th Int Joint Conf Artificial Intell， Karlsruhe： [s.n.]， 1983： 1019-1021.

[8] 孫劍， 徐宗本. 計算機視覺中的尺度空間方法[J] . 工程數學學報， 2005.22（6）：951-960.

[9] HARALICK R M. Statistical and structural approaches to texture[J]. Proceedings of the IEEE， 1979， 67（5） ：786-804.

[10] Gibson. The ecological approach to visual perception [M]. London： Lawrence Erlbaum Associates， 1986.

[11] E. R. Davies. Laws Texture Energy in TEXTURE. Machine vision： Theory， Algorithms， Practicalities[M]. 3th edition.Morgan Kaufman， 2005：756-799.

[12] SAXENA A， SUN M， NG A Y. Learning 3-D scene structure from a single still image [J]. IEEE Trans. Pattern Analysis and Machine Intelligence （PAMI）， 2009， 31（5）： 824-840.