一種基于深度信息的人頭檢測(cè)方法

張姍姍，景文博，劉學(xué)，王曉曼，朱海忱

（1.長(zhǎng)春理工大學(xué)　電子信息工程學(xué)院，長(zhǎng)春　130022；2.長(zhǎng)春理工大學(xué)　光電工程學(xué)院，長(zhǎng)春　130022）

?

一種基于深度信息的人頭檢測(cè)方法

張姍姍1，景文博2，劉學(xué)1，王曉曼1，朱海忱1

（1.長(zhǎng)春理工大學(xué)電子信息工程學(xué)院，長(zhǎng)春130022；2.長(zhǎng)春理工大學(xué)光電工程學(xué)院，長(zhǎng)春130022）

摘要：針對(duì)目前人頭檢測(cè)方法對(duì)光線變化敏感和易受陰影干擾的問(wèn)題，提出了一種基于深度圖像的人頭檢測(cè)方法。首先通過(guò)運(yùn)動(dòng)目標(biāo)檢測(cè)，得到運(yùn)動(dòng)人員所在區(qū)域；然后對(duì)該區(qū)域使用改進(jìn)的立體匹配算法，該匹配算法對(duì)傳統(tǒng)的WTA匹配算法進(jìn)行改進(jìn)，只對(duì)強(qiáng)紋理點(diǎn)進(jìn)行匹配，對(duì)弱紋理點(diǎn)只進(jìn)行視差驗(yàn)證，并根據(jù)三角投影原理計(jì)算出深度圖。由于深度圖中人員與周圍場(chǎng)景的深度分布不同，根據(jù)深度分布將人頭區(qū)域提取出來(lái)，得到候選區(qū)域，最后將候選區(qū)域經(jīng)過(guò)形態(tài)學(xué)運(yùn)算并根據(jù)區(qū)域輪廓的特征來(lái)判斷是否為人頭。實(shí)驗(yàn)結(jié)果表明：該方法在不同光線環(huán)境條件下的檢測(cè)正確率為94%以上，誤檢測(cè)率僅為5.77%，檢測(cè)精度高，對(duì)光線和陰影的抗干擾性良好，能夠很好地適應(yīng)復(fù)雜環(huán)境。

關(guān)鍵詞：人頭檢測(cè)；運(yùn)動(dòng)目標(biāo)檢測(cè)；立體匹配；深度圖

隨著計(jì)算機(jī)圖像處理能力和技術(shù)的提高，基于計(jì)算機(jī)視覺(jué)和圖像處理的行人流量監(jiān)測(cè)系統(tǒng)成為研究人員關(guān)注的熱點(diǎn)，由于人頭頂部形狀和特征相對(duì)固定，因此人頭檢測(cè)成為行人流量監(jiān)測(cè)的有效方法。

常用的人頭檢測(cè)方法有基于人頭和人臉輪廓特征的檢測(cè)方法、基于顏色的檢測(cè)方法兩大類。其中趙軍偉等人［1］提出的基于人頭發(fā)色模型和區(qū)域分割，區(qū)域篩選相結(jié)合的人頭檢測(cè)方法，檢測(cè)方法實(shí)時(shí)性較好，但是對(duì)光變換敏感，識(shí)別率不理想；徐超等人［2］提出的根據(jù)人頭HOG特征，通過(guò)SVM訓(xùn)練樣本得到行人分類器實(shí)現(xiàn)人頭檢測(cè)，該檢測(cè)方法具有較好的穩(wěn)健性，正確率也較高，但是分類器的訓(xùn)練比較耗時(shí)。劉輝等人［3］提出的基于人頭輪廓檢測(cè)和發(fā)色檢測(cè)結(jié)合的檢測(cè)方法，該方法實(shí)時(shí)性好，但是對(duì)于發(fā)色多樣，有遮擋的情況穩(wěn)健性差。上述方法主要的問(wèn)題就是易受陰影影響，且對(duì)于遮擋和外形與人頭部相似的物體時(shí)，容易出現(xiàn)誤判，識(shí)別率不理想。

針對(duì)以上問(wèn)題，提出了一種基于深度圖像的檢測(cè)方法，通過(guò)對(duì)雙目相機(jī)采集的圖像進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)，獲得目標(biāo)區(qū)域；然后對(duì)左右視圖進(jìn)行立體匹配進(jìn)而獲得目標(biāo)區(qū)域的深度圖。根據(jù)人體特征對(duì)深度圖分層，再通過(guò)進(jìn)一步的輪廓檢測(cè)就可以提取人頭信息。由于雙目視覺(jué)具有精度高，對(duì)光線不敏感等優(yōu)點(diǎn)，而且利用深度信息能夠一定程度上避免虛假人頭的出現(xiàn)，降低了誤判率，實(shí)現(xiàn)了復(fù)雜場(chǎng)景下的人頭檢測(cè)。

1　雙目立體視覺(jué)成像原理

雙目立體視覺(jué)系統(tǒng)由左右兩部攝像機(jī)組成，按照光軸平行放置，如圖1所示是一套無(wú)畸變、行對(duì)準(zhǔn)的標(biāo)準(zhǔn)立體成像系統(tǒng)。圖中雙目相機(jī)視場(chǎng)交匯的三角區(qū)域?yàn)闄z測(cè)有效區(qū)，相機(jī)的視角為70°。成像系統(tǒng)圖如圖2所示，在雙目視覺(jué)系統(tǒng)中，行人各個(gè)部分的高度是不同的，相機(jī)從上向下拍攝時(shí)目標(biāo)三維信息不同。

圖1　雙目立體成像系統(tǒng)

圖2　雙目視覺(jué)成像原理

圖中O1和O2分別為相機(jī)光軸與成像平面的交點(diǎn)，基線距b是兩相機(jī)光心O1和O2的連線距離；相機(jī)焦距為f?？臻g中某點(diǎn)P投影在左圖像和右圖像上的相應(yīng)坐標(biāo)分別為P1（u1，v1），P2（u2，v2），由于校正后的圖像滿足極線定理，因此點(diǎn)P在左右視圖上成像點(diǎn)的縱坐標(biāo)是相同的，即v1=v2，橫坐標(biāo)u1和u2的差值d即為視差。由三角關(guān)系得到：

則視差為d=u1-u2，由此可得P點(diǎn)在相機(jī)坐標(biāo)系下的深度信息z：

由上式可知，只要將左圖像上像素點(diǎn)在右視圖上找到對(duì)應(yīng)的匹配點(diǎn)，就可以計(jì)算出該像素點(diǎn)的視差，從而計(jì)算出該點(diǎn)的深度信息。

2　基于深度信息的人頭檢測(cè)方法

2.1運(yùn)動(dòng)目標(biāo)檢測(cè)

運(yùn)動(dòng)目標(biāo)的檢測(cè)，就是把圖像中的前景目標(biāo)從背景中分離出來(lái)［4］。對(duì)于檢測(cè)算法來(lái)說(shuō)，所要提取的是運(yùn)動(dòng)目標(biāo)，而背景不僅會(huì)對(duì)人頭的檢測(cè)造成干擾，而且會(huì)增加立體匹配的時(shí)間。因此運(yùn)動(dòng)目標(biāo)的檢測(cè)是整個(gè)檢測(cè)方法中不可缺少的一步。

本文使用改進(jìn)的幀差法對(duì)目標(biāo)進(jìn)行檢測(cè)。首先采集前N幀圖像，對(duì)N幀圖像中每一個(gè)對(duì)應(yīng)位置的像素點(diǎn)按照灰度值大小進(jìn)行排序，去除最大值，最小值，剩下的值取平均得到B（x，y），并將其作為原始背景圖像：

式中：Ik（x，y）表示輸入的第k幀圖像，max，min像素集合中排序后最大值，最小值。

為防止圖像中光線變化較大時(shí)對(duì)檢測(cè)結(jié)果造成影響，運(yùn)用式（4）對(duì)背景圖像進(jìn)行更新。

式中，Bk（x，y）是當(dāng)前求得的背景圖像；Bk-1（x，y）是上次更新后背景圖像；B（x，y）為更新的背景圖像。α是更新系數(shù)；

對(duì)背景圖像和當(dāng)前幀圖像做差分，以閾值T對(duì)差分圖像二值化處理，就可以得到運(yùn)動(dòng)目標(biāo)區(qū)域。

算法框圖如圖3所示。

2.2基于深度特征的目標(biāo)區(qū)域提取

首先需要進(jìn)行立體匹配求視差，使用傳統(tǒng)的WTA立體匹配算法［5］時(shí)，需要對(duì)每一個(gè)像素點(diǎn)都進(jìn)行匹配，耗時(shí)大，實(shí)時(shí)性不理想。且由于人頭目標(biāo)的紋理往往很弱，會(huì)造成誤匹配。為了提高算法的準(zhǔn)確性和實(shí)時(shí)性，使用一種改進(jìn)的立體匹配算法。

圖3　運(yùn)動(dòng)目標(biāo)檢測(cè)算法示意圖

首先對(duì)提取的目標(biāo)區(qū)域進(jìn)行Canny邊緣檢測(cè)，提取強(qiáng)紋理點(diǎn)?；谝暡畹姆侄芜B續(xù)性，由于場(chǎng)景中大部分區(qū)域的視差都是連續(xù)的，因此只對(duì)強(qiáng)紋理點(diǎn)進(jìn)行匹配求視差d。對(duì)非強(qiáng)紋理點(diǎn)只作簡(jiǎn)單的視差驗(yàn)證，減少了匹配的時(shí)間。采用SAD作為相似性測(cè)度函數(shù)。

對(duì)特征點(diǎn)進(jìn)行匹配求視差：以該點(diǎn)為中心，取一個(gè)n×n的窗口，分別計(jì)算中心點(diǎn)和其在另一個(gè)視圖中視差范圍0～dmax內(nèi)的匹配代價(jià)CSAD（x，y，d），取匹配代價(jià)最小的d為dnew。

SAD相似性測(cè)度函數(shù)表示為：

對(duì)非紋理點(diǎn)，先進(jìn)行簡(jiǎn)單的視差驗(yàn)證，驗(yàn)證的方法就是將上一個(gè)點(diǎn)的視差dlast代入式（2），計(jì)算出左右圖像在此視差值下的CSAD（x，y，d）值，然后與Tth進(jìn)行對(duì)比，若小于閾值Tth說(shuō)明視差是連續(xù)的，則不做處理。若大于閾值Tth說(shuō)明視差存在跳變，需要再次對(duì)該點(diǎn)進(jìn)行SAD匹配，計(jì)算視差。匹配結(jié)果可以表示為：

算法流程如圖4所示。

通過(guò)上述方法得到視差圖后，通過(guò)三角原理得到能夠反映距離信息的深度圖。深度圖像是灰度圖像，灰度值的大小反應(yīng)了目標(biāo)與相機(jī)的距離信息。如圖5所示。

圖4　改進(jìn)的立體匹配算法示意圖

圖5　深度圖分層

圖5中Z1，Z2，Z3為圖中對(duì)應(yīng)點(diǎn)計(jì)算的深度；I1，I2，I3為深度圖中對(duì)應(yīng)的灰度值。深度圖呈現(xiàn)了目標(biāo)區(qū)域的整體深度信息，灰度值越小距離越遠(yuǎn)，灰度值越大距離越近。由圖5可知，深度圖分層效果十分明顯。根據(jù)圖中人體的特征，人的頭部是距離相機(jī)最近的，像素值最大，因此可以通過(guò)深度分層能夠?qū)⒑蓄^部信息的區(qū)域提取出來(lái)。

2.3人頭輪廓提取

經(jīng)過(guò)深度分層后圖像存在著許多連通區(qū)域，這些區(qū)域往往帶孔洞和毛刺，有時(shí)兩區(qū)域會(huì)出現(xiàn)粘連現(xiàn)象［6］。這將嚴(yán)重影響后續(xù)的頭部輪廓篩選。根據(jù)人頭的類圓形特征，可以對(duì)圖像采用具有圓形特征的結(jié)構(gòu)元進(jìn)行膨脹、腐蝕操作，這樣不僅可以去除孔洞和毛刺，還可以使處理后的區(qū)域類圓形特征更加明顯，如圖6所示。

圖6　人頭區(qū)域提取

下一步是對(duì)處理后的區(qū)域進(jìn)行篩選。篩選的參數(shù)主要有三個(gè)［7，8］：區(qū)域圓度C，面積S，輪廓矩形占空比M。

由于人頭區(qū)域具有類圓形特征，可以用圓度參數(shù)C來(lái)評(píng)價(jià)候選區(qū)域的類圓特征，并以此判斷該區(qū)域是否為目標(biāo)區(qū)域：

式中，dmax表示為區(qū)域中距離中心最遠(yuǎn)的距離。C的值在0～1之間。C的值越趨于1，表明該區(qū)域越趨于圓形。

人頭區(qū)域的面積S是有一定范圍的，該值的設(shè)定是根據(jù)實(shí)驗(yàn)情況來(lái)決定的，在本次實(shí)驗(yàn)中S閾值為100，如果該區(qū)域面積不在規(guī)定面積范圍內(nèi)，則該區(qū)域可以排除。

輪廓矩形占空比M指目標(biāo)輪廓面積與其所在外接矩形區(qū)域面積的比值［7］。人頭目標(biāo)是一個(gè)凸多邊形，因此這個(gè)值不應(yīng)過(guò)小，否則認(rèn)為該候選區(qū)域不是目標(biāo)。當(dāng)檢測(cè)區(qū)域符合這3個(gè)指標(biāo)就被判定為人頭。候選區(qū)域如圖6（a）所示，3號(hào)和4號(hào)的C值過(guò)小被排除，5號(hào)和6號(hào)面積S過(guò)小被排除，1號(hào)區(qū)域和2號(hào)區(qū)域判定為人頭區(qū)域。由圖6（c）可知，篩選區(qū)域準(zhǔn)確，檢測(cè)效果良好。

基于深度信息的人頭檢測(cè)方法整體框圖如圖7所示。

圖7　基于深度信息的人頭檢測(cè)方法框圖

3　實(shí)驗(yàn)結(jié)果與分析

采用兩部Lumenera LM135M型相機(jī)為雙目成像設(shè)備，像元尺寸為4.65um×4.65um，焦距為8mm，圖像分辨率為1392×1040。

實(shí)驗(yàn)中將雙目相機(jī)相距60mm分別安裝在實(shí)驗(yàn)室房頂上，相機(jī)距離地面3m，并保持兩相機(jī)光軸平行，使其自上而下拍攝圖像。

為了驗(yàn)證本文檢測(cè)方法在不同光照環(huán)境下的有效性，進(jìn)行了大量實(shí)地實(shí)驗(yàn)，從多方面驗(yàn)證本文算法的有效性，以下為兩組對(duì)比實(shí)驗(yàn)詳情。

圖8　在弱光照環(huán)境下的人頭檢測(cè)

如圖8所示，在弱光照環(huán)境下，目標(biāo)區(qū)域與周圍環(huán)境的對(duì)比度較差，干擾了運(yùn)動(dòng)目標(biāo)檢測(cè)，結(jié)果如圖（c），圖中的目標(biāo)區(qū)域出現(xiàn)了粘連、孔洞和不完整的問(wèn)題。但是根據(jù)深度圖提取的人頭區(qū)域仍十分準(zhǔn)確，如圖（e）所示。對(duì)目標(biāo)區(qū)域進(jìn)行膨脹，腐蝕操作并按照文中的三項(xiàng)指標(biāo)對(duì)圖中的候選區(qū)域進(jìn)行篩選得到圖（g）。以每個(gè)區(qū)域的外接矩形的對(duì)角線為直徑畫圓，得到最終檢測(cè)結(jié)果如圖（h）。由檢測(cè)結(jié)果可知，本文提出的人頭檢測(cè)方法在弱光照環(huán)境下，克服了圖像對(duì)比度差的問(wèn)題，準(zhǔn)確地檢測(cè)到了人頭區(qū)域，檢測(cè)效果良好。

圖9　強(qiáng)光照環(huán)境下的人頭檢測(cè)

如圖9所示，強(qiáng)光照環(huán)境下，圖（a）、（b）中行人的影子比較明顯。這對(duì)人頭的準(zhǔn)確檢測(cè)造成干擾，如圖（c）為運(yùn)動(dòng)目標(biāo)檢測(cè)得到的目標(biāo)區(qū)域，影子和目標(biāo)區(qū)域完全粘連在一起，難以分離。圖（d）是進(jìn)行立體匹配后得到的深度圖，可以看到明顯的分層效果。根據(jù)深度圖提取的人頭區(qū)域，得到圖（e），圖中人頭區(qū)域已經(jīng)比較明顯，而且也完全濾除了影子對(duì)后續(xù)處理的干擾。由檢測(cè)結(jié)果可知，本文檢測(cè)方法克服了強(qiáng)光照和陰影的干擾，準(zhǔn)確有效地檢測(cè)出了人頭區(qū)域，檢測(cè)效果良好。

對(duì)比檢測(cè)結(jié)果可知，本文提出的人頭檢測(cè)方法對(duì)光線變化和陰影有良好的抗干擾能力，對(duì)于復(fù)雜場(chǎng)景中的人頭能夠有效地檢測(cè)。

為了測(cè)試本文方法的有效性，分別在強(qiáng)光照和弱光照模擬環(huán)境下，利用本文基于深度信息的人頭檢測(cè)算法，對(duì)實(shí)驗(yàn)室的人員進(jìn)行檢測(cè)，并與傳統(tǒng)的基于Hough變換的人頭檢測(cè)方法進(jìn)行對(duì)比，取其中30組實(shí)驗(yàn)數(shù)據(jù)，對(duì)比結(jié)果如圖10和圖11所示。

圖10　強(qiáng)光照環(huán)境下的檢測(cè)結(jié)果對(duì)比

圖11　弱光照環(huán)境下的檢測(cè)結(jié)果對(duì)比

由圖10和圖11可以看出，本文檢測(cè)方法檢測(cè)結(jié)果與傳統(tǒng)Hough檢測(cè)方法相比與實(shí)際結(jié)果更為接近。

為了直觀對(duì)比兩種方法的優(yōu)劣，對(duì)本文檢測(cè)方法在不同條件下檢測(cè)的準(zhǔn)確性和誤檢測(cè)率進(jìn)行統(tǒng)計(jì)并與傳統(tǒng)Hough檢測(cè)進(jìn)行對(duì)比。如表1和表2所示。

表1　不同條件人頭檢測(cè)的準(zhǔn)確率

表2　不同干擾下的誤檢率

由表1可知，在強(qiáng)光照和弱光照情況下，人頭檢測(cè)準(zhǔn)確率差別不大，且都達(dá)到94%以上，對(duì)比傳統(tǒng)方法提高了檢測(cè)準(zhǔn)確率，表明本文檢測(cè)方法能夠在不同的光線環(huán)境下完成精準(zhǔn)的人頭檢測(cè)。表2反映了本文的檢測(cè)算法對(duì)于環(huán)境良好的抗干擾能力。誤識(shí)別率僅為5.77%，是傳統(tǒng)Hough變換檢測(cè)方法誤檢率的一半，說(shuō)明本文方法對(duì)光線和陰影的抗干擾性良好，能夠很好適應(yīng)復(fù)雜環(huán)境。

4　結(jié)論

本文采用改進(jìn)的立體匹配算法將圖像分為強(qiáng)紋理點(diǎn)和非強(qiáng)紋理點(diǎn)分別進(jìn)行處理，克服了人頭區(qū)域紋理較弱的缺點(diǎn)，提高深度計(jì)算的準(zhǔn)確度。且利用深度圖像中人體與環(huán)境的深度分布不同的特點(diǎn)，克服了光照和陰影等對(duì)于檢測(cè)造成的干擾，實(shí)現(xiàn)了在不同光照環(huán)境下對(duì)于人頭的精準(zhǔn)檢測(cè)。由實(shí)驗(yàn)結(jié)果可知：本文檢測(cè)方法能夠準(zhǔn)確確定頭部位置，誤檢測(cè)率低，抗干擾能力強(qiáng)，準(zhǔn)確率可達(dá)95.69%。對(duì)于復(fù)雜場(chǎng)景中的人頭能夠有效地檢測(cè)。在大型商場(chǎng)和客車站等公共場(chǎng)所的行人流量統(tǒng)計(jì)方面有重要的應(yīng)用意義。

參考文獻(xiàn)

［1］趙軍偉，侯清濤，李金屏，等.基于數(shù)學(xué)形態(tài)學(xué)和HSI顏色空間的人頭檢測(cè)［J］.山東大學(xué)學(xué)報(bào)：工學(xué)版，2013，43 （1）：5-10.

［2］徐超，高夢(mèng)珠，查宇鋒，等.基于HOG和SVM的公交乘客人流量統(tǒng)計(jì)算法［J］.儀器儀表學(xué)報(bào)，2015，36（2）：446-452.

［3］劉輝，朱闖，張?zhí)煊溃?一種基于頭部特征的人頭檢測(cè)方法［J］.光電子技術(shù)：工學(xué)版，2014，34（1）：21-25.

［4］鄭佳，李江勇.基于背景差分和信息熵的運(yùn)動(dòng)目標(biāo)檢測(cè)算法［J］.激光與紅外，2014，44（5）：563-566.

［5］王逸林，馬玫.基于區(qū)域匹配算法的雙目立體匹配技術(shù)的研究［C］.大連海事大學(xué)，2012.

［6］于海濱，劉濟(jì)林.應(yīng)用于公交客流統(tǒng)計(jì)的機(jī)器視覺(jué)方法［J］.中國(guó)圖像圖形學(xué)報(bào)，2008（15）：716-722.

［7］徐培智，徐貴力，黃鑫.基于隨機(jī)Hough變換的人頭檢測(cè)［J］.計(jì)算機(jī)工程，2012，38（1）：199-200.

［8］Munozib，Molina P J，Galilea J L L.Embedded vision modules for tracking and counting people［J］. IEEE Transactions on Instrumentation and Measurement，2009，58（9）：3004-3011.

A Head Detection Method Based on Depth Information

ZHANG Shanshan1，JING Wenbo2，LIU Xue1，WANG Xiaoman1，ZHU Haichen1
（1.School of Electronics and Information Engineering，Changchun University of Science and Technology，Changchun 130022；2.School of Optoelectronic Engineering，Changchun University of Science and Technology，Changchun 130022）

Abstract：For the problem head detecting method is sensitive to changing light and vulnerable of shadow interference，a head detection method based on the depth map is proposed. Firstly，get moving target region by the moving target detection. Then a improved stereo matching algorithm is used to the target area，a matching algorithm based on the traditional WTA matching algorithm，we just need to match strong texture point by stereo matching algorithm，verify disparity of weak texture point and we can calculate the depth map. Because the depth distribution between people and surrounding scene is different in the depth map，we can extract the head region depend on the depth distribution，and then get candidate region through expansion and corrosion operation. Determine whether the region is the head with the characteristic of the head. Experimental results show that the method tested under different environmental conditions is 95.69%，error detection rate is 5.77%，high precision，strong anti-interference performance to light and shadow and applicable to complex environment.

Key words：head detection；moving target detection；stereo matching；depth map

中圖分類號(hào)：TP391.41

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1672-9870（2016）02-0107-05

收稿日期：2015-09-10

作者簡(jiǎn)介：張姍姍（1989-），女，碩士研究生，E-mail：ass0987@163.com

通訊作者：景文博（1980-），男，博士，副教授，E-mail：wenbojing@sina.com