基于Kinect視頻的圖像增晰與檢測(cè)算法研究

查晶晶

(銅陵職業(yè)技術(shù)學(xué)院 信息工程系，安徽 銅陵 244000)

0 引言

目標(biāo)檢測(cè)是指在系列圖像中檢測(cè)到目標(biāo)元素，并從大量的背景中提取處理。這項(xiàng)技術(shù)在視頻監(jiān)控、3D建模、人工智能等方面都有著大量應(yīng)用，目標(biāo)檢測(cè)的精確性影響到計(jì)算機(jī)視覺(jué)技術(shù)、視頻分析與處理等諸多領(lǐng)域的發(fā)展[1-3]。目標(biāo)檢測(cè)技術(shù)在人們生產(chǎn)生活和國(guó)防安全等方面都有著實(shí)際應(yīng)用，例如利用該技術(shù)進(jìn)行監(jiān)控、導(dǎo)航，提升人們的工作效率，保障生活安全[4]。此外，還可以在戰(zhàn)場(chǎng)上實(shí)現(xiàn)偵查、精確制導(dǎo)等功能，具有極高的軍事價(jià)值[5]。因此，研究使用更高效的增晰算法來(lái)準(zhǔn)確檢測(cè)視頻中的目標(biāo)具有十分重要的現(xiàn)實(shí)意義。

圖1 深度數(shù)據(jù)流Fig.1 Depth data flow

本文基于Kinect的捕捉功能，從目標(biāo)檢測(cè)和圖像增晰兩方面進(jìn)行實(shí)驗(yàn)。通過(guò)對(duì)不同數(shù)據(jù)集測(cè)試，得到各個(gè)檢測(cè)算法和增晰方法的優(yōu)點(diǎn)，為深度視頻處理提供重要的理論參考[6]。

1 相關(guān)理論與方法概述

1.1 深度圖像與深度視頻

Kinect(由微軟發(fā)布的3D體感游戲的交互外設(shè))包括一個(gè)紅外攝像機(jī)、一個(gè)紅外發(fā)射器和一個(gè)標(biāo)準(zhǔn)彩色攝像機(jī)，可利用紅外結(jié)構(gòu)光原理來(lái)測(cè)量深度，分辨率可達(dá)640×480。

深度圖像(depth image)也可以被稱(chēng)為距離影像(range image)，如圖1所示，這類(lèi)圖像的像素值是從圖像采集器到空間中每個(gè)點(diǎn)的距離，具體而言是每一幀圖像在深度感應(yīng)器的視閾內(nèi)攝像頭平面與物體平面之間的距離，能夠清晰地表達(dá)出物體的外觀。

圖像在時(shí)間緯度組合成為視頻，視頻每一幀是一張圖像，傳統(tǒng)攝像頭記錄的圖像是RGB圖像，只有RGB三個(gè)緯度，Kinect除了RGB攝像頭外，還有景深攝像頭(深度攝像頭)，可以記錄RGB-D圖像，從而經(jīng)過(guò)組合合成獲取深度視頻。

1.2 目標(biāo)檢測(cè)

選擇主要HOG/HOD(histograms of oriented gradients，HOG； histogram of oriented depths，HOD) 框架和SSD(single shot multibox detector)算法進(jìn)行研究[7]。HOG/HOD框架是一種基于稠密深度信息的人體檢測(cè)方法，源于Kinect RGB-D傳感器的深度特征，效果較為明顯。

1.2.1HOG框架

HOG框架采用了在圖像尺度空間的搜索來(lái)發(fā)現(xiàn)目標(biāo)，可以在短時(shí)間內(nèi)較快得出目標(biāo)深度圖像中不同方位所表示的尺度。從訓(xùn)練數(shù)據(jù)集中計(jì)算出平均人體高度Hm，數(shù)據(jù)集中地面位置和每個(gè)樣本的高度都做了精確標(biāo)注。此信息用來(lái)計(jì)算一個(gè)尺度到深度的映射，如公式(1)所示。

(1)

式中：Fy表示紅外攝像機(jī)在垂直方向的焦距，mm；Hm表示人體的平均高度且Hm=1.74 m；Hw表示檢測(cè)窗口在尺度為1 m時(shí)的高度，m[8]。

1.2.2SSD算法

SSD算法基于一個(gè)前饋卷積網(wǎng)絡(luò)，并產(chǎn)生一系列固定大小的邊界框，以及每一個(gè)框中包含物體實(shí)例的可能性(稱(chēng)為“分?jǐn)?shù)”)。SSD網(wǎng)絡(luò)與一般的CNN網(wǎng)絡(luò)類(lèi)似，它通過(guò)一次性輸入n張300×300的圖片，輸出m個(gè)邊界框相對(duì)偏移量和每個(gè)邊界框?qū)τ诿總€(gè)類(lèi)的“分?jǐn)?shù)”。在SSD網(wǎng)絡(luò)中，一共使用6個(gè)特征圖來(lái)生成檢測(cè)，每個(gè)特征圖被分支到兩個(gè)兄弟卷積層中，其中一個(gè)生成4m個(gè)邊界框的相對(duì)偏移量，另一個(gè)生成c×m個(gè)類(lèi)“分?jǐn)?shù)”。假設(shè)一個(gè)特征圖的大小為m×n，特征圖的每個(gè)位置產(chǎn)生k個(gè)預(yù)測(cè)，每個(gè)預(yù)測(cè)需要c個(gè)類(lèi)“分?jǐn)?shù)”(c為類(lèi)的個(gè)數(shù)+1)和4個(gè)相對(duì)于原始默認(rèn)界框的偏移量，那么一個(gè)特征圖總共會(huì)輸出(c+ 4)kmn個(gè)數(shù)據(jù)[9]。

1.3 圖像增晰

圖像增晰就是采取特定的方法在原始圖像上面增加額外的信息或者改變?cè)嫉臄?shù)據(jù)，可以強(qiáng)調(diào)圖像中某一部分的特征，更有利于排除那些不必要的特征，使得圖像更容易獲得與視覺(jué)之間的匹配度。對(duì)于RGB圖像采用濾波技術(shù)將圖像的相鄰像素值用灰度中值或加權(quán)的方式替代，達(dá)到增晰的目的。而對(duì)于深度圖則采用形態(tài)學(xué)圖像處理方法，包括腐蝕、膨脹以及開(kāi)、閉運(yùn)算，算法如下：

(2)

(3)

式中：g(i,j)為(k,l)坐標(biāo)處濾波后像素；f(k,l)為(k,l)坐標(biāo)處原像素；w(i,j,k,l)為加權(quán)系數(shù)；S(i,j)為濾波后的像素集合；(k,l)為原圖像中像素坐標(biāo)；(i,j)為濾波后圖像中像素坐標(biāo)。

1.4 算法評(píng)估

為準(zhǔn)確評(píng)價(jià)各算法的性能，分別采用準(zhǔn)確率、召回率和耗時(shí)性能進(jìn)行比較分析。

1.4.1準(zhǔn)確率

(4)

式中：P為準(zhǔn)確率，%；T為準(zhǔn)確檢測(cè)出目標(biāo)人體的數(shù)量；F為檢測(cè)出其他目標(biāo)當(dāng)作人體的數(shù)量。

1.4.2召回率

(5)

式中：R為召回率，%；T為準(zhǔn)確檢測(cè)出目標(biāo)人體的數(shù)量；N為將人體檢測(cè)為其他目標(biāo)的數(shù)量。

1.4.3耗時(shí)性能

分別利用HOG算法和SSD算法對(duì)3個(gè)不同UR Fall Detection Dataset數(shù)據(jù)集中100幀圖像進(jìn)行檢測(cè)，記錄每幀所花費(fèi)時(shí)間平滑線散點(diǎn)圖。

(6)

式中：t為100幀圖像檢測(cè)消耗的平均時(shí)間，ms；ti為第i幀檢測(cè)消耗的時(shí)間，ms。

2 結(jié)果與討論

2.1 數(shù)據(jù)來(lái)源

數(shù)據(jù)都是源于UR Fall Detection Dataset數(shù)據(jù)集(編號(hào)1)、Crowd Human數(shù)據(jù)集(編號(hào)2)和INRIA數(shù)據(jù)集(編號(hào)3)。分別從目標(biāo)檢測(cè)和圖像增晰兩方面進(jìn)行檢測(cè)實(shí)驗(yàn)。其中，在目標(biāo)檢測(cè)實(shí)驗(yàn)中先將視頻分割為圖片，再分別利用HOG算法和SSD算法檢測(cè)圖片中的目標(biāo)，最后再將圖片拼接回視頻。在圖像增晰圖片中，先將視頻分割為圖片，并針對(duì)RGB圖像，采用中值濾波方法進(jìn)行增晰，對(duì)于深度圖像，采用膨脹與閉運(yùn)算進(jìn)行增晰。

2.2 圖像增晰結(jié)果

選用Kinect采集到的UR Fall Detection Dataset數(shù)據(jù)集進(jìn)行目標(biāo)檢測(cè)。對(duì)于數(shù)據(jù)集中的視頻，使用FFmpeg工具將深度視頻按幀截圖，如圖2所示。上層為RGB圖像，下層為深度圖，左側(cè)圖像為原始圖，右側(cè)圖像為增晰后圖像。

圖2 原始圖與增晰圖對(duì)比Fig.2 Comparison between original image and enhanced image

從對(duì)比圖中可以清晰地發(fā)現(xiàn)原始圖畫(huà)質(zhì)較差，存在許多瑕疵。如圖2所示，原始的RGB圖像中噪點(diǎn)多，邊緣模糊，如左側(cè)圖像中的椅子以及右側(cè)圖像中的人體。部分區(qū)域的色彩失真，如左側(cè)圖像中的桌子上部，以及右側(cè)圖像中門(mén)的左下部分。原始的深度圖像中存在許多暈影，椅子等物體的邊緣十分粗糙。對(duì)RGB圖像分別采用中值濾波與雙邊濾波方法去除噪點(diǎn)。對(duì)于深度通道圖像，采用形態(tài)學(xué)中膨脹以及閉運(yùn)算兩種方法結(jié)合進(jìn)行增晰。最終得到圖2所示的增晰圖與原始圖的對(duì)比結(jié)果?？梢园l(fā)現(xiàn)，增晰后的RGB圖像在物體邊緣上顯得更加清晰，色彩失真的問(wèn)題得到了解決，并且圖像噪點(diǎn)明顯減少[10]。增晰后的深度圖像中噪點(diǎn)、暈影減少，整體畫(huà)質(zhì)在保持物體形狀原樣的前提下明顯改善。

2.3 目標(biāo)檢測(cè)結(jié)果

2.3.1準(zhǔn)確度分析

分別使用HOG算法和SSD算法對(duì)3個(gè)不同的UR Fall Detection Dataset數(shù)據(jù)集進(jìn)行目標(biāo)檢測(cè)。在本實(shí)驗(yàn)中，使用MobileNet-V2大大壓縮了神經(jīng)網(wǎng)絡(luò)的參數(shù)量，極大地加快了檢測(cè)速度。部分檢測(cè)結(jié)果如圖3所示。上層為RGB圖像，下層為深度圖。

圖3 部分圖片檢測(cè)結(jié)果Fig.3 Partial image detection results

同時(shí)，對(duì)HOG算法和SSD算法兩者的召回率、精確率也做了對(duì)比檢測(cè)，結(jié)果如表1所示。根據(jù)UR Fall Detection Dataset數(shù)據(jù)集，利用HOG算法進(jìn)行目標(biāo)檢測(cè)，HOG算法的召回率穩(wěn)定在75%左右，精確率穩(wěn)定在80%左右。而SSD算法的整體召回率超過(guò)于90%，精確率超過(guò)于96%，兩者數(shù)據(jù)都優(yōu)于HOG算法。

表1 HOG和SSD算法檢測(cè)結(jié)果對(duì)比Tab.1 Comparison of detection results of HOG and SSD algorithm

2.3.2耗時(shí)性能分析

算法檢測(cè)的耗時(shí)性能也是算法優(yōu)越性的體現(xiàn)，HOG算法和SSD算法的耗時(shí)對(duì)比如圖4所示。

圖4下方3個(gè)波動(dòng)的線條分別代表了HOG算法檢測(cè)3個(gè)不同數(shù)據(jù)集中100幀圖像每幀所花費(fèi)時(shí)間的平滑線散點(diǎn)圖；上方3條波動(dòng)的線條代表的是SSD算法檢測(cè)相同圖像下的耗時(shí)。從圖中可以看出，總體上HOG算法耗時(shí)平均105 ms左右，而SSD算法耗時(shí)則需125 ms左右。從圖4中可知，雖然SSD算法的耗時(shí)要高于HOG算法，但其波動(dòng)性相較于HOG算法是比較低的。SSD算法每次檢測(cè)時(shí)都是在其基本網(wǎng)絡(luò)結(jié)構(gòu)下進(jìn)行相同的運(yùn)算，所以其耗時(shí)波動(dòng)上不會(huì)太大。而HOG算法雖然平均耗時(shí)較短，但其是對(duì)整張圖片直接進(jìn)行分析運(yùn)算，所以HOG算法會(huì)因圖片本身的質(zhì)量好壞而決定其計(jì)算開(kāi)銷(xiāo)，這也就是為什么HOG算法耗時(shí)波動(dòng)性比較大的原因[11]。整體而言，無(wú)論是從召回率還是精確率來(lái)看，SSD算法都更優(yōu)于HOG算法。

圖4 HOG與SSD算法檢測(cè)耗時(shí)對(duì)比Fig.4 Comparison of detection time of HOG and SSD algorithms

3 結(jié)論

目標(biāo)檢測(cè)和圖像增晰是計(jì)算機(jī)視覺(jué)中重要的研究方向，為視頻監(jiān)控、圖像分析等領(lǐng)域提供了重要價(jià)值。本文基于Kinect深度視頻，在目標(biāo)檢測(cè)和增晰算法方面進(jìn)行了深入研究。選取UR Fall Detection Dataset數(shù)據(jù)集進(jìn)行了目標(biāo)檢測(cè)和圖像增晰實(shí)驗(yàn)，得到以下結(jié)論：

1)HOG算法和SSD算法都能很好地實(shí)現(xiàn)目標(biāo)檢測(cè)，在檢測(cè)召回率和精確率上，HOG算法略遜于SSD算法，而在耗時(shí)性能上，HOG算法則表現(xiàn)更為優(yōu)秀。

2)采用中值濾波方法對(duì)RGB圖像進(jìn)行增晰，得到的圖像在色彩、邊緣等方面都有很好的改善。

3)采用形態(tài)學(xué)中的膨脹與閉運(yùn)算方法以及像素替換法增晰深度圖像，得到的圖像在噪點(diǎn)和暈影方面得到了明顯的減少。