深度分層融合超像素分割的深度視頻去噪算法

韓豐澤 董文帥 張維忠

摘要：??針對傳統(tǒng)的視頻去噪方法對深度視頻去噪效果不理想，導(dǎo)致丟失輪廓信息和深度值信息的問題，本文提出一種新的深度視頻分層去噪與彩色圖像超像素分割相結(jié)合的深度視頻去噪算法。首先獲取深度視頻的深度信息，根據(jù)深度值分布，將深度視頻幀分層去噪，然后將去噪后的每一深度層合并為深度幀，將與深度幀相對應(yīng)的彩色幀進行超像素劃分，填補去除噪聲后產(chǎn)生的深度值空白區(qū)域的深度值，去除深度視頻噪聲，或根據(jù)物體周邊深度值，消除并填補由物體遮擋產(chǎn)生的干擾噪聲。實驗結(jié)果表明，該算法能夠消除深度視頻噪聲，有效解決了深度視頻噪聲導(dǎo)致畫面凌亂，目標物體辨識難，無關(guān)物體遮蔽深度信息，獲取深度信息困難等問題，減少噪聲對公共客流統(tǒng)計項目的干擾，具有較好的實時性和魯棒性。該研究在公共交通客流統(tǒng)計項目以及醫(yī)院急診患者數(shù)量統(tǒng)計項目上進行了驗證，具有一定的實際應(yīng)用價值。

關(guān)鍵詞：??深度視頻去噪;?分層去噪;?超像素劃分;?深度值填充;?客流統(tǒng)計

中圖分類號：?TP391.413?文獻標識碼：?A

收稿日期：?2019-07-03;?修回日期：?2019-11-29

作者簡介：??韓豐澤（1994-），男，碩士研究生，主要研究方向為計算機視覺。

通信作者：??張維忠（1963-），男，博士，教授，主要研究方向為大數(shù)據(jù)學(xué)習(xí)，計算機視覺及深度學(xué)習(xí)等。Email：?zhangwz_01@aliyun.com

目前，公共交通客流監(jiān)控[1-2]和客流大數(shù)據(jù)分析[3-4]已成為熱點研究方向，公共交通客流統(tǒng)計項目主要采用深度相機[5-6]，采集深度信息[7-8]獲取客流數(shù)據(jù)。深度視頻噪聲[9-10]干擾客流計數(shù)，產(chǎn)生計數(shù)誤差等問題，因此，去除深度視頻噪聲對提高公共客流統(tǒng)計準確率具有重要意義。譚志國等人[11]提出了一種層析深度圖像去噪算法，該算法利用深度信息去噪，去噪效果較好，但對去噪后產(chǎn)生深度值空白區(qū)域[12-13]填充效果欠佳;潘波等人[14]提出一種基于超像素的深度圖修復(fù)算法，該算法利用雙邊濾波進行消除噪聲，但容易丟失物體輪廓信息;胡天佑[15]提出一種深度視頻空洞區(qū)域修復(fù)技術(shù)，修復(fù)原始視頻空洞區(qū)域?；诖?，本文采用深度視頻分層去噪與彩色圖像超像素劃分填補空白深度值相結(jié)合的方法，進行深度視頻去噪，并填充去噪后產(chǎn)生的空白深度值。通過公共客流統(tǒng)計項目的實際應(yīng)用測試，證明該算法能夠有效消除深度視頻噪聲，幫助客流統(tǒng)計系統(tǒng)獲取有效深度信息，提高公共客流統(tǒng)計精度，具有較好的魯棒性及實用性。該研究具有實際應(yīng)用價值。

1?問題描述

本文處理的噪聲主要分為兩類：一是由深度相機獲取的深度視頻[16-17]中的噪聲，這種噪聲通常由深度相機內(nèi)部傳感器的誤差及現(xiàn)實條件下光線復(fù)雜折射所引起;二是在項目實際運行環(huán)境中，環(huán)境物體產(chǎn)生的干擾噪聲，例如公交車后門橫桿會對客流統(tǒng)計造成影響，需要消除此類干擾噪聲。針對這兩種深度視頻噪聲，本文設(shè)計了專門的深度視頻去噪方法，取得了良好的去噪效果

2?深度視頻去噪方法

2.1?深度視頻分層去噪與超像素分割彩色圖像相結(jié)合的去噪方法

本算法主要消除由深度相機獲取的深度視頻噪聲，即深度視頻中的噪聲。深度視頻分層去噪與超像素分割相結(jié)合的去噪算法利用深度視頻中深度信息對每一幀深度視頻幀去噪，按照深度值的分布情況，將深度幀進行分層，每層進行去噪，再將去噪后的每層圖像合并為完整深度幀;去噪后，噪聲區(qū)域成為無深度值的空白區(qū)域，結(jié)合超像素分割彩色幀進行聚類，根據(jù)類內(nèi)像素點深度值連續(xù)且相近，利用無噪聲像素點求出噪聲像素點深度值，填補深度幀去噪后的空白區(qū)域。

簡單的線性迭代聚類[18]（simple?linear?iterativeclustering，SLIC）超像素劃分[19-20]。在CIELAB顏色空間，用五維特征向量替代彩色圖像，通過調(diào)整五維特征向量距離度量標準，實現(xiàn)對圖像像素局部聚類。SLIC算法有較好的邊界粘附性、分割速度、超像素形狀及聚類效果。SLIC具體實現(xiàn)步驟如下：

初始化種子點;在種子點的n×n鄰域內(nèi)重新選擇種子點;在每個種子點周圍的鄰域內(nèi)為每個像素點分配類標簽;距離度量包括顏色距離和空間距離，分別計算每個搜索到的像素點和該種子點的距離;迭代優(yōu)化;增強連通性，距離計算方法為

dc=（lj-li）2+（aj-ai）2+（bj-bi）2（1）

ds=xj-xi2+yj-yi2（2）

D′=dc/Nc2+ds/Ns2（3）

式中，dc代表顏色距離;ds代表空間距離;lj和li代表亮度;aj和ai代表從綠色到紅色的分量;bj和bi代表從藍色到黃色分量;xj，xi，yj，yi代表橫縱坐標;Nc代表最大顏色距離;NS是類內(nèi)最大空間距離，定義Ns=S=sqrtN/K，適用于每個聚類。

將圖像從RGB顏色空間轉(zhuǎn)換到CIElab顏色空間，對應(yīng)每個像素的顏色值l，a，b和坐標x，y組成一個五維向量Vl，a，b，x，y2個像素的相似性，即可由它們的向量距離來度量，距離越大相似性越小。

大的顏色距離Nc由圖片大小和聚類決定，所以用固定常數(shù)m代替，S為期望的超像素尺寸，最終的距

D′=dc/m2+ds/S2（4）

深度流結(jié)合彩色流深度視頻去噪，具體實現(xiàn)方法及步驟如下：

1）?獲取深度視頻深度幀。

2）?依照深度值分布對深度幀進行分層。

3）?對每層圖像進行二值化處理，將面積小于閾值的深度噪聲去除。

4）?將去噪后的每層圖像合并為完整深度幀。

5）?填補去噪后深度值空白區(qū)域。

6）?對與深度幀對應(yīng)的彩色幀進行SLIC超像素劃分，進行聚類。

7）?劃分后，根據(jù)類內(nèi)無噪聲點的深度值計算，得到空白點的深度值。

8）?填補完畢，得到去噪后深度幀。深度視頻去噪算法流程如圖1所示。

深度流視頻截圖如圖2所示，彩色流視頻截圖如圖3所示，超像素劃分結(jié)果圖如圖4所示，消除干擾噪聲示意圖如圖5所示。

由圖2可以看出，深度相機獲取的原始深度視頻噪聲較多;由圖3可以看出，深度相機獲得了彩色圖像;由圖4可以看出，對彩色圖像進行超像素劃分的結(jié)果;圖5中，紅色矩形為橫桿噪聲區(qū)域，mid是紅色矩形中線，y1和y2分別是矩形上下邊的縱坐標，直線a和直線mid關(guān)于矩形的上邊對稱，直線b和直線mid關(guān)于矩形的下邊對稱，d1是直線a和直線mid的距離，d2是直線b和直線mid的距離。由對稱關(guān)系可求得距離d1和距離d2，且d1=d2。

2.2?消除環(huán)境干擾噪聲的方法

本算法對公交車后門橫桿在深度視頻中造成的干擾噪聲進行消除。公交車后門橫桿在深度視頻中占據(jù)的區(qū)域是位置確定的細長矩形，首先將橫桿占據(jù)區(qū)域視為噪聲區(qū)域，將整個噪聲區(qū)域劃分為上下兩排多個矩形小噪聲區(qū)域，以提高深度值填充精確度，通過每個小噪聲區(qū)域周邊鄰域的深度值平均值，計算得到小噪聲區(qū)域深度值。

根據(jù)圖5中y1和y2的坐標，求得直線為

mid=12（y1+y2）（5）

求得距離d1和d2分別為

d1=mid-y1，?d2=mid-y2，?d1=d2=d（6）

得到橫桿噪聲區(qū)域深度值為

Dnoisei，jnoise=Dtruei，jtrue，?jnoise-jtrue=d（7）

式中，Dnoise代表噪聲區(qū)域某點的深度值;Dtrue代表與之相對應(yīng)無噪聲區(qū)域的點的深度值;jnoise代表噪聲區(qū)域某點縱坐標;jtrue代表與之對應(yīng)無噪聲區(qū)域的點的縱坐標。

最終通過噪聲區(qū)域周邊非噪聲鄰域的深度值，求得噪聲區(qū)域深度值。

3?實驗結(jié)果與分析

3.1?消除深度視頻噪聲及橫桿干擾噪聲的實驗結(jié)果

通過公共客流統(tǒng)計項目，在公交車上安裝深度相機，獲取實際原始客流深度視頻，通過深度流結(jié)合彩色圖像深度視頻去噪方法，對原始視頻進行去噪，得到去噪后的客流深度視頻。原始深度視頻截圖如圖6所示，圖中包含大量深度視頻噪聲;去噪后深度視頻截圖如圖7所示，圖中已消去了深度視頻噪聲。

對帶有橫桿干擾噪聲的原始客流深度視頻進行截圖，未消除干擾噪聲截圖如圖8所示;對原始深度視頻進行去除橫桿干擾噪聲，消除干擾噪聲截圖如圖9所示。

3.2?實驗結(jié)果分析及創(chuàng)新性

對比圖6和圖7可以看出，去噪后的深度視頻成功消除了原始深度視頻中的大量噪聲，很好的填補去噪之后的深度值空白區(qū)域，實現(xiàn)了較好的去噪效果，有利于提高對深度視頻的觀察和信息提取。

對比圖8和圖9可以看出，消除橫桿干擾噪聲的深度視頻，成功消除了橫桿干擾噪聲，較為準確的補齊噪聲區(qū)域的深度值，使深度視頻更加直觀和清晰。該去噪算法有效利用了深度視頻的深度信息，對深度視頻去噪更有針對性，與傳統(tǒng)的視頻去噪方法相比，本算法去噪之后的深度視頻能夠有效保留物體的輪廓信息，不會導(dǎo)致輪廓及邊緣模糊;同時，通過求解噪聲區(qū)域深度值，更好的保留了深度視頻的深度信息。

4?結(jié)束語

本文基于深度視頻分層去噪與彩色圖像超像素分割相結(jié)合的深度視頻去噪算法，能夠有效消除深度視頻中的噪聲。通過在公共客流統(tǒng)計項目以及醫(yī)院急門診患者數(shù)量統(tǒng)計項目上實驗運行，運行結(jié)果表明，本算法為該項目提供了一個低噪聲干擾，人體輪廓清晰，深度信息完整且正確的深度視頻，提高了公共客流統(tǒng)計項目的乘客識別率以及醫(yī)院急門診患者數(shù)量統(tǒng)計準確率，該算法具有創(chuàng)新性和實用價值。該深度視頻去噪算法，還適用于其它可以應(yīng)用深度視頻的項目，例如商業(yè)網(wǎng)點人流量統(tǒng)計，貨物物流倉儲統(tǒng)計等;在醫(yī)療領(lǐng)域，可適用于各大醫(yī)院及醫(yī)聯(lián)體急門診患者流水?dāng)?shù)量統(tǒng)計，隨時評估各大醫(yī)院急診室的實時容納能力，為120急救中心轉(zhuǎn)運病人提供實時指導(dǎo)，為危重病人的急診轉(zhuǎn)運地點提供最佳選擇，避免了因轉(zhuǎn)運地點不合理造成的病情延誤。在本文算法中，深度視頻去噪能力還可以進一步提高，后期將研究實驗更多去噪理論和方法，繼續(xù)提高深度視頻去噪能力，繼續(xù)研究將深度視頻去噪算法適配到更多實際項目。

參考文獻：

[1]?Irshad?A，?Matthew?N.?Dailey.?Multiple?human?tracking?in?highdensity?crowds[J].?Image?and?Vision?Computing，?2012，?30（12）：?966-977.

[2]?Oded?Cats.?An?agentbased?approach?for?modeling?realtime?travel?information?in?transit?systems[J].?Procedia?Computer?Science，?2014，?32：?1-6.

[3]?劉永鑫.?基于多源數(shù)據(jù)融合的城市公交系統(tǒng)乘客出行模式挖掘及其應(yīng)用研究[D].?廣州：?華南理工大學(xué)，?2018.

[4]?王飛.?基于視頻圖像處理的公交客流統(tǒng)計技術(shù)研究[D].?南京：?東南大學(xué)，?2018.

[5]?宋爽，?陳馳，?楊必勝，?等.?低成本大視場深度相機陣列系統(tǒng)[J].?武漢大學(xué)學(xué)報：?信息科學(xué)版，?2018，?43（9）：?1391-1398.

[6]?Lu?X?Q，?Deng?Z?G，?Luo?J，?et?al.?3D?articulated?skeleton?extraction?using?a?single?consumergrade?depth?camera[J].?Computer?Vision?and?Image?Understanding，?2019，?188：?1-13.

[7]?頡朝敏.?基于陣列相機的深度信息獲取[D].?西安：?西安電子科技大學(xué)，?2018.

[8]?Kangham?O，?Myungeum?L，?Yura?L，?et?al.?Salient?object?detection?using?recursive?regional?feature?clustering[J].?Information?Sciences，?2017，?387：?1-18.

[9]?杜棋東.?基于Kinect深度信息的人體三維點云去噪方法[J].?計算機與數(shù)字工程，?2018，?46（11）：?2170-2174.

[10]?張康.?基于圖像深度感知中的立體匹配和深度增強算法研究[D].?北京：?清華大學(xué)，?2015.

[11]?譚志國，?歐建平，?張軍，?等.?一種層析深度圖像去噪算法[J].?光學(xué)學(xué)報，?2017，?37（5）：?94-100.

[12]?曹東華.?基于深度圖像繪制中的空洞填充[D].?重慶：?重慶大學(xué)，?2016.

[13]?胡金暉.?基于深度信息的多視點視頻編碼及圖像增強技術(shù)研究[D].?武漢：?武漢大學(xué)，?2014.

[14]?潘波，?范祺紅，?曹雪瑋，?等.?基于超像素的深度圖修復(fù)算法[J/OL].?計算機應(yīng)用研究，?2020，?37（6）：?[2019-06-19].?https：∥www.arocmag.com/article/02-2020-06-058html

[15]?胡天佑.?深度視頻空洞區(qū)域修復(fù)技術(shù)研究[D].?寧波：?寧波大學(xué)，?2017.

[16]?陳寶亮.?基于卷積神經(jīng)網(wǎng)絡(luò)和融合ToF與立體數(shù)據(jù)的高質(zhì)量深度圖獲取算法研究[D].?西安：?西安電子科技大學(xué)，?2018.

[17]?王媛媛，?劉學(xué)成，?伍鳳娟.?基于雙目視覺的三維重構(gòu)算法實現(xiàn)[J].?傳感器與微系統(tǒng)，?2018，?37（4）：?136-138，?141.

[18]?劉仲民，?王陽，?李戰(zhàn)明，?等.?基于簡單線性迭代聚類和快速最近鄰區(qū)域合并的圖像分割算法[J].?吉林大學(xué)學(xué)報：?工學(xué)版，?2018，?48（6）：?1931-1937.

[19]?Zu?B?K，?Xia?K?W，?Li?T?J，?et?al.?SLIC?SuperpixelBased?l?_2，?1Norm?Robust?Principal?Component?Analysis?for?Hyperspectral?Image?Classification[J].?Sensors，?2019，?19（3）：?479.

[20]?Angulakshmi?M，?Lakshmi?Priya?G?G.?Walsh?Hadamard?Transform?for?Simple?Linear?Iterative?Clustering?（SLIC）?Superpixel?Based?Spectral?Clustering?of?Multimodal?MRI?Brain?Tumor?Segmentation[J].?Innoration?and?Research?in?BioMedical?Engineering，?2019，?40（5）：253-262.

Deep?Video?Denoising?Method?Based?on?Deep?Stream?Hierarchical?Fusion?of?Color?Images

HAN?Fengzea，?DONG?Wenshuaib，?ZHANG?Weizhonga

（a.?College?of?Computer?Science?&?Technology;?b.?Emergency?Department?Affiliated?Hospital，?Qingdao?University，?Qingdao?266071，?China）

Abstract：??Aiming?at?the?problem?that?the?traditional?video?denoising?method?is?not?ideal?for?depth?video，?which?leads?to?the?loss?of?contour?information?and?depth?value?information，?this?paper?proposes?a?new?depth?video?denoising?algorithm?combining?depth?video?layered?denoising?and?color?image?superpixel?segmentation.?First，?the?depth?information?of?the?depth?video?is?obtained，?and?then?the?depth?video?frame?is?denoised?according?to?the?depth?value?distribution，?and?then?each?depth?layer?after?denoised?is?merged?into?the?depth?frame.?The?color?frame?corresponding?to?the?depth?frame?is?divided?into?super?pixels?to?fill?the?depth?value?of?the?blank?area?of?the?depth?value?generated?after?noise?removal，?to?remove?the?depth?video?noise，?or?to?eliminate?and?fill?the?interference?noise?generated?by?the?object?occlusion?according?to?the?depth?value?around?the?object.?The?experimental?results?show?that?the?algorithm?can?eliminate?the?deep?video?noise.?It?can?effectively?solve?the?problems?such?as?disordered?images?caused?by?deep?video?noise，?difficult?identification?of?target?objects，?depth?information?covered?by?unrelated?objects，?and?difficulty?in?obtaining?depth?information，?etc.，?and?reduce?the?interference?of?noise?on?public?passenger?flow?statistical?items，?with?better?realtime?and?robustness.?This?research?has?been?verified?in?the?public?transport?passenger?flow?statistics?project?and?patient?flow?statistics?project?of?emergency?room，which?has?practical?application?value.

Key?words：??deep?video?denoising;?layered?denoising;?superpixel?partition;?depth?value?filling;?public?flow?statistics