基于各向異性擴(kuò)散算法的深度圖像不匹配邊緣增強(qiáng)方法

劉興瑞， 徐文鵬

（1. 新鄉(xiāng)學(xué)院 計(jì)算機(jī)與信息工程學(xué)院， 河南 新鄉(xiāng) 453003； 2. 河南理工大學(xué) 計(jì)算機(jī)學(xué)院， 河南 焦作 454003）

深度圖像在目標(biāo)檢測(cè)、故障檢測(cè)、軌跡規(guī)劃、災(zāi)害預(yù)防、地質(zhì)勘測(cè)、人體姿態(tài)估計(jì)等眾多研究領(lǐng)域中具有重要作用.通過激光雷達(dá)、TOF相機(jī)以及Kinect等采集深度圖像，利用計(jì)算機(jī)等工具從中獲取有用信息，從而為決策指標(biāo)提供數(shù)據(jù)支撐[1].但現(xiàn)有的深度圖像采集設(shè)備受測(cè)距原理所限，往往存在分辨率低、有無效像素以及噪聲等問題，導(dǎo)致圖像邊緣不匹配，影響了深度圖像的質(zhì)量，造成區(qū)域信息缺失.因此，如何解決深度圖像不匹配，增強(qiáng)邊緣信息，得到一幅高質(zhì)量、高分辨率的深度圖像成為了計(jì)算機(jī)視覺領(lǐng)域研究亟待解決的重點(diǎn)問題[2].

國內(nèi)外相關(guān)專家經(jīng)過多年的研究，從多個(gè)角度提出了解決方法.劉金榮等[3]提出了基于聯(lián)合雙邊濾波的深度圖像邊緣增強(qiáng)方法，通過尋找彩色圖像與深度圖像邊緣像素之間的差異，利用聯(lián)合雙邊濾波的插值算法進(jìn)行去噪，引入空洞填充原理進(jìn)行圖像增強(qiáng).該方法雖然可以避免噪聲對(duì)邊緣的影響，但無法完好地保留細(xì)節(jié)特征，而且一旦邊緣兩側(cè)的強(qiáng)度相近，邊緣就會(huì)變得模糊，造成圖像邊緣信息失效.孟恬等[4]提出了基于快速行進(jìn)算法的深度圖像邊緣增強(qiáng)方法.通過計(jì)算各像素與鄰域像素之間的多尺度結(jié)構(gòu)相似性，估算深度圖像空洞區(qū)域像素信息，并進(jìn)行邊緣修復(fù)和增強(qiáng).該方法雖然保留了深度圖像邊緣的細(xì)節(jié)特征，但無法填補(bǔ)大面積的圖像空洞.李少敏等[5]提出了基于高斯混合模型的Kinect深度圖像增強(qiáng)算法.利用高斯混合模型將深度圖像分為前景與背景兩個(gè)部分，分別進(jìn)行空洞填補(bǔ)與去除噪聲處理.該方法雖然速度快，但沒有考慮連通區(qū)域內(nèi)部像素與像素之間的差異性，容易造成圖像邊緣模糊.

針對(duì)上述問題，本文提出了基于各向異性擴(kuò)散算法的深度圖像不匹配邊緣增強(qiáng)方法，并采用仿真實(shí)驗(yàn)，對(duì)所提方法的有效性進(jìn)行了充分驗(yàn)證.

1 深度圖像的獲取與插值計(jì)算

1.1 基于被動(dòng)測(cè)距的深度圖像獲取

深度圖像，又稱距離圖像，是指將從圖像采集器到場(chǎng)景中各點(diǎn)的距離（深度）作為像素值的圖像，它直接反映了景物可見表面的幾何形狀[6].獲取深度圖像的方法主要分為主動(dòng)測(cè)距和被動(dòng)測(cè)距兩種，根據(jù)測(cè)距方法的不同，獲取到深度圖像的清晰度不同.

目前研究的深度圖像獲取方法通常采用主動(dòng)測(cè)距，通過測(cè)量工具系統(tǒng)發(fā)射光源（電磁波、聲波等），然后利用接收反射光獲取深度圖像，而被動(dòng)測(cè)距通過接收目標(biāo)物體發(fā)射或反射信息，形成深度圖像.被動(dòng)測(cè)距技術(shù)主要分為單目成像測(cè)距與雙目立體視覺測(cè)距兩種，其中雙目立體視覺測(cè)距技術(shù)[7]通過多個(gè)攝像機(jī)獲得同一目標(biāo)物體的不同角度圖像，采用立體匹配算法找到兩幅圖像中對(duì)應(yīng)的像素點(diǎn)，再依據(jù)三角原理計(jì)算出各像素點(diǎn)深度值，以獲取物體的深度圖像.被動(dòng)測(cè)距打破了主動(dòng)測(cè)距中對(duì)測(cè)量場(chǎng)景的限制，可以在任意場(chǎng)合進(jìn)行測(cè)距，其精度較高，應(yīng)用范圍較小.本文采用被動(dòng)測(cè)距中的雙目立體數(shù)據(jù)測(cè)距技術(shù)獲取深度圖像，并對(duì)獲取后的深度圖像不匹配邊緣進(jìn)行增強(qiáng)方法研究.

1.2 深度圖像插值計(jì)算

由于獲取的深度圖像與原圖像之間存在視覺誤差，因此在對(duì)深度圖像不匹配邊緣增強(qiáng)之前，需先對(duì)深度圖像進(jìn)行插值計(jì)算[8].

深度圖像由稀疏像素點(diǎn)組成，這些像素點(diǎn)在排列時(shí)，無法避免會(huì)出現(xiàn)無效像素，導(dǎo)致圖像出現(xiàn)黑色孔洞，而孔洞會(huì)在一定程度上使得圖像邊緣模糊，因此需要計(jì)算深度圖像孔洞處的像素點(diǎn)灰度值，并進(jìn)行插值，以此提高深度圖像的質(zhì)量.目前，圖像插值算法主要有最近鄰插值、雙線性插值以及雙三次插值三種[9]，且后一種均為前一種的優(yōu)化改進(jìn)，如表1所示.

表1 圖像插值算法Tab.1 Image interpolation algorithms

本文采用雙三次插值法對(duì)獲取后的深度圖像進(jìn)行插值計(jì)算，利用鄰點(diǎn)間灰度值的變化率求導(dǎo)出深度圖像孔洞處的像素點(diǎn)灰度值，實(shí)現(xiàn)深度圖像質(zhì)量的增強(qiáng)，以確保后續(xù)圖像不匹配邊緣的增強(qiáng)精度.

1.3 基于加權(quán)中值濾波的深度圖像濾波

插補(bǔ)后的深度圖像邊緣像素點(diǎn)的灰度值會(huì)存在突變以及不連續(xù)的現(xiàn)象，因此還需要對(duì)其進(jìn)行濾波處理，增強(qiáng)深度圖像不匹配邊緣的對(duì)比度.本文采用加權(quán)中值濾波法對(duì)深度圖像進(jìn)行濾波.

先取得任意一像素點(diǎn)周圍所有像素灰度值的中值來代替該點(diǎn)灰度值，從而消除被孤立的噪聲點(diǎn)[10].假設(shè)h（k，l）為初始圖像內(nèi)任意一像素點(diǎn)的灰度值；?為h（k，l）的權(quán)重系數(shù)，Nf（i，j）為f（i，j）的一階實(shí)心，得到中值灰度值的同時(shí)保留深度圖像中不匹配邊緣的細(xì)節(jié)信息，表達(dá)式為

v（i，j）=median{h（k，l）|f（i，j）∈Nf（i，j）}

（1）

該方法排除了深度圖像的空洞、噪聲等干擾，能夠提高后續(xù)不匹配邊緣增強(qiáng)的準(zhǔn)確度和精度.

2 深度圖像不匹配邊緣增強(qiáng)

2.1 深度圖像不匹配邊緣檢測(cè)

不匹配邊緣檢測(cè)是深度圖像邊緣增強(qiáng)的關(guān)鍵步驟.以往深度圖像不匹配邊緣檢測(cè)都是基于局部圖像信息實(shí)現(xiàn)的，檢測(cè)效果并不好，因此為尋找深度圖像中不匹配邊緣輪廓的組成點(diǎn)，在梯度算子基礎(chǔ)上[11]，采用深度優(yōu)先遍歷[12]的方式進(jìn)行不匹配邊緣檢測(cè)，具體過程如下：

1） 對(duì)待檢測(cè)不匹配邊緣像素點(diǎn)數(shù)據(jù)結(jié)構(gòu)進(jìn)行重新構(gòu)造.

2） 隨機(jī)選擇圖像不匹配邊緣中任意一點(diǎn)像素點(diǎn)作為出發(fā)點(diǎn).

3） 計(jì)算該像素點(diǎn)的灰度值.

4） 在此基礎(chǔ)上，估算該像素點(diǎn)周圍8個(gè)鄰域方向上的像素點(diǎn)梯度值.

5） 以此調(diào)整該點(diǎn)的灰度值.

6） 判斷該像素點(diǎn)是否滿足不匹配邊緣點(diǎn)特征，若滿足，則將該點(diǎn)入棧；否則重新進(jìn)行計(jì)算該像素點(diǎn)周圍梯度值，直到滿足特征條件為止.

7） 以該像素點(diǎn)為出發(fā)點(diǎn)，深度遍歷尋找垂直于梯度方向上的邊緣點(diǎn)，并標(biāo)記該點(diǎn)為已訪問過的點(diǎn).遍歷過程如下：①判斷垂直于梯度方向上的邊緣點(diǎn)是否滿足圖像邊緣點(diǎn)特征，若滿足，則不斷把邊緣點(diǎn)入棧，并修改該點(diǎn)相關(guān)數(shù)據(jù)結(jié)構(gòu)；若不滿足，則需要原路返回，將該路線中的邊緣點(diǎn)出棧處理，直到能從某個(gè)小于最大梯度值的方向繼續(xù)遍歷時(shí)結(jié)束.②當(dāng)回退到原始出發(fā)像素點(diǎn)后，需要按照從上到下、從左到右的順序搜索判斷是否存在沒有被訪問過的像素點(diǎn).若存在，則需要重新遍歷；若沒有，則說明全圖遍歷結(jié)束.

8） 按照遍歷順序，將各像素點(diǎn)連接在一起，形成圖像不匹配邊緣.

不匹配邊緣檢測(cè)結(jié)束后，計(jì)算檢測(cè)到的不匹配邊緣像素點(diǎn)到邊緣空洞的距離，可得

（2）

式中：S（t）為該像素點(diǎn)位于深度圖像不匹配邊緣的位置；R（t）為該像素點(diǎn)與不匹配邊緣空洞之間的距離；t為像素點(diǎn).

2.2 基于各向異性擴(kuò)散算法的不匹配邊緣增強(qiáng)

檢測(cè)到的不匹配邊緣中存在空洞，因此，對(duì)不匹配邊緣空洞進(jìn)行填補(bǔ)是深度圖像不匹配邊緣增強(qiáng)方法的中心環(huán)節(jié)，通過該環(huán)節(jié)可以使深度圖像的不匹配邊緣變得平滑，從而達(dá)到增強(qiáng)不匹配邊緣清晰度的目的.采用各向異性擴(kuò)散算法進(jìn)行圖像邊緣增強(qiáng)[13]，其基本原理如下：各向異性擴(kuò)散算法可通過偏微分方程來表示，即

（3）

式中：f0為初始條件；Δfi為梯度算子；p為散度算子；w（x）為擴(kuò)散系數(shù)，取w（x）=g（Δfi）；g（x）為梯度強(qiáng)度；x為各向異性擴(kuò)散因子.

將式（3）改寫為

（4）

該方程可以表示為原深度圖像在定義域內(nèi)的媒介，并以非恒定的速度在圖像上擴(kuò)散，而擴(kuò)散所經(jīng)過的區(qū)域不匹配邊緣會(huì)變得平滑[14].

當(dāng)Δfi取0時(shí)，滿足g（0）=1，g（∞）=0，保證了圖像在不匹配邊緣區(qū)域停止擴(kuò)散時(shí)，不匹配邊緣像素點(diǎn)的完整性，此時(shí)擴(kuò)散系數(shù)為

（5）

基于上述各向異性擴(kuò)散算法，構(gòu)建一種深度圖像不匹配邊緣增強(qiáng)模型.該模型以完整的深度圖像為引導(dǎo)，根據(jù)得到的像素點(diǎn)與空洞之間的距離值Y（t），填補(bǔ)空洞像素的缺失，具體過程如下：假定深度圖像中某空洞點(diǎn)為m=（i，j），其到深度圖像不匹配邊緣的最大距離和最小距離分別為C和D；深度圖像中目標(biāo)邊緣有效像素點(diǎn)集為Z，以此作為熱源，則深度圖像不匹配邊緣增強(qiáng)可以轉(zhuǎn)換為有效像素點(diǎn)集的熱量傳導(dǎo)問題[15]，用偏微分方程可表示為

（6）

式中：λ為時(shí)間步長；Δd（t）為單位時(shí)間步長的像素點(diǎn)t到空洞點(diǎn)m=（i，j）熱量傳導(dǎo)深度值；d（t）為深度圖像不匹配邊緣像素點(diǎn)t到空洞點(diǎn)m=（i，j）的熱量傳導(dǎo)深度值.

為了增強(qiáng)圖像邊緣，把各向異性擴(kuò)散因子x放棄，可得

pw（x）Δd（t）=0

（7）

由此構(gòu)建深度圖像不匹配邊緣增強(qiáng)模型，則其增強(qiáng)權(quán)重系數(shù)為

（8）

式中，U為深度圖像不匹配邊緣中相鄰像素點(diǎn)集.

根據(jù)式（7）和（8）得出最終深度圖像不匹配邊緣增強(qiáng)模型為

（9）

上述方法完成了深度圖像不匹配邊緣的平滑處理，且得到了不匹配邊緣增強(qiáng)模型，根據(jù)模型可實(shí)現(xiàn)不匹配邊緣的增強(qiáng).整合上述基于各向異性擴(kuò)散算法的深度圖像不匹配邊緣增強(qiáng)方法的流程，如圖1所示.

圖1 深度圖像不匹配邊緣增強(qiáng)方法Fig.1 Mismatched edge enhancement method for depth images

3 仿真實(shí)驗(yàn)與結(jié)果分析

為驗(yàn)證本文方法的有效性，設(shè)計(jì)了一組仿真對(duì)比實(shí)驗(yàn)，將基于聯(lián)合雙邊濾波、基于快速行進(jìn)算法和基于高斯混合模型三種傳統(tǒng)深度圖像不匹配邊緣增強(qiáng)方法作為對(duì)比方法，與基于各向異性擴(kuò)散算法的深度圖像不匹配邊緣增強(qiáng)方法進(jìn)行對(duì)比測(cè)試.

3.1 測(cè)試平臺(tái)

圖2為測(cè)試平臺(tái).具體的實(shí)驗(yàn)參數(shù)設(shè)置為：Δfi=0，g（0）=1，g（∞）=0，步長為2，擴(kuò)散系數(shù)為0.13.利用測(cè)試平臺(tái)中的Xition PRO LIVE和攝像機(jī)采集人體姿態(tài)原始場(chǎng)景圖像和深度圖像，其原始場(chǎng)景圖像的像素為640×480，如圖3所示.

圖2 測(cè)試平臺(tái)Fig.2 Test platform

圖3 深度圖像獲取Fig.3 Acquisition of depth images

3.2 深度圖像不匹配邊緣增強(qiáng)效果對(duì)比

利用所提方法與三種傳統(tǒng)方法對(duì)圖3b的深度圖像不匹配邊緣進(jìn)行增強(qiáng)，得到的增強(qiáng)效果對(duì)比結(jié)果如圖4所示.由圖4可以看出，基于高基混合模型的增強(qiáng)方法，增強(qiáng)后圖像邊緣依然模糊，增強(qiáng)效果最差.基于快速行進(jìn)算法的增強(qiáng)方法，其增強(qiáng)效果優(yōu)于前者，基于聯(lián)合雙邊濾波的增強(qiáng)方法優(yōu)于基于快速行進(jìn)算法的增強(qiáng)方法，而本文所提的增強(qiáng)方法，其圖像邊緣最為清晰，增強(qiáng)效果最佳.

3.3 深度圖像不匹配邊緣增強(qiáng)匹配度與清晰度對(duì)比

圖像邊緣增強(qiáng)匹配度與清晰度是測(cè)試不同算法性能的重要指標(biāo).圖像邊緣匹配度是增強(qiáng)后深度圖像邊緣與原始圖像邊緣之間的契合程度.契合程度越高，增強(qiáng)效果越好，其計(jì)算公式為

（10）

圖4 不同算法的不匹配邊緣增強(qiáng)效果對(duì)比Fig.4 Comparison of mismatched edge enhancement effects among different algorithms

式中：q為契合的邊緣像素點(diǎn)數(shù)量；qz為總體邊緣像素點(diǎn)數(shù)量.

圖像邊緣清晰度可以通過圖像邊緣的峰值信噪比值來表示，峰值信噪比值越大，圖像越清晰，增強(qiáng)效果越好.利用MATLAB分別采用4種不同的方法對(duì)圖3b的深度圖像不匹配邊緣進(jìn)行增強(qiáng)，將增強(qiáng)結(jié)果分別與圖3a的原始圖像進(jìn)行對(duì)比，并對(duì)4種不同方法的增強(qiáng)結(jié)果進(jìn)行對(duì)比分析，得到4種不同方法的增強(qiáng)匹配度和清晰度對(duì)比結(jié)果，如表2所示.

表2 不同算法的不匹配邊緣增強(qiáng)匹配度與清晰度Tab.2 Matching degree and clarity of mismatched edge enhancement by different algorithms

由表2可以看出，利用所提方法對(duì)深度圖像不匹配邊緣進(jìn)行增強(qiáng)，增強(qiáng)后深度圖像邊緣匹配度為98.47%，峰值信噪比為9.542 dB.而利用基于聯(lián)合雙邊濾波、基于快速行進(jìn)算法、基于高斯混合模型3種方法對(duì)深度圖像不匹配邊緣進(jìn)行增強(qiáng)，其增強(qiáng)后深度圖像邊緣匹配度分別為90.35%、91.45%、88.12%，峰值信噪比分別為8.472、8.547、7.473 dB.上述結(jié)果對(duì)比可知，所提方法的匹配度最高，峰值信噪比最大，充分說明所提方法的邊緣契合程度最高，去噪效果最好，能更有效地增強(qiáng)圖像邊緣清晰度，使得深度圖像中的細(xì)節(jié)信息更完整.

3.4 深度圖像不匹配邊緣增強(qiáng)的穩(wěn)定性

從圖像數(shù)據(jù)庫中提取1 200幅圖像，測(cè)試不同算法處理圖像的穩(wěn)定性，以驗(yàn)證本文算法的實(shí)用性能，得到的實(shí)驗(yàn)結(jié)果如圖5所示.

圖5 不同算法的不匹配邊緣增強(qiáng)的穩(wěn)定性對(duì)比Fig.5 Stability comparison of mismatched edge enhancement among different algorithms

分析圖5可知，依據(jù)快速行進(jìn)算法、聯(lián)合雙邊濾波、高斯混合模型處理圖像的匹配度均值分別為91.68%、90.51%、88.63%，其處理圖像的匹配度變化趨勢(shì)均較大，穩(wěn)定性不好，而依據(jù)本文所提各向異性擴(kuò)散算法處理圖像的匹配度均值為98.81%，其處理圖像的匹配度最高，變化趨勢(shì)較小，穩(wěn)定性好.

4 結(jié) 論

深度圖像是計(jì)算機(jī)視覺研究中的重點(diǎn)課題之一，深度圖像不匹配邊緣增強(qiáng)是其中的難點(diǎn)和重點(diǎn).本文針對(duì)三種傳統(tǒng)圖像邊緣增強(qiáng)方法存在的問題，提出一種基于各向異性擴(kuò)散算法的深度圖像不匹配邊緣增強(qiáng)方法.該方法利用各向異性擴(kuò)散實(shí)現(xiàn)深度圖像不匹配邊緣的增強(qiáng)，填補(bǔ)深度圖像不匹配邊緣的空洞是整個(gè)方法的核心步驟.經(jīng)仿真實(shí)驗(yàn)驗(yàn)證，采用該方法時(shí)，圖像邊緣匹配度和峰值信噪比均有了極大改善，由此說明所提方法增強(qiáng)效果更好，提高了圖像邊緣的清晰度，彌補(bǔ)了邊緣信息缺失.