基于機(jī)器視覺的人數(shù)識(shí)別研究綜述

孫瑩瑩，宋寅卯，王 蓬

(1.鄭州輕工業(yè)學(xué)院 建筑環(huán)境工程學(xué)院，河南 鄭州 450002；2. 鄭州輕工業(yè)學(xué)院 電氣信息工程學(xué)院，河南 鄭州 450002)

基于機(jī)器視覺的人數(shù)識(shí)別研究綜述

孫瑩瑩1，宋寅卯1，王 蓬2

(1.鄭州輕工業(yè)學(xué)院 建筑環(huán)境工程學(xué)院，河南 鄭州 450002；2. 鄭州輕工業(yè)學(xué)院 電氣信息工程學(xué)院，河南 鄭州 450002)

機(jī)器視覺技術(shù)由于其非破壞性、精度高、速度快等特點(diǎn)，在現(xiàn)在科技發(fā)展中已經(jīng)被廣泛地研究和應(yīng)用，更多地被用到視頻監(jiān)控中。文章對(duì)機(jī)器視覺人數(shù)識(shí)別近幾年的發(fā)展做了詳細(xì)的論述，主要從個(gè)體識(shí)別法和群體識(shí)別法兩大方面進(jìn)行分析，具體可分為四方面：特征識(shí)別法、形狀識(shí)別法、模型學(xué)習(xí)識(shí)別法和人群密度識(shí)別法。根據(jù)各種不同識(shí)別算法思想的研究，對(duì)當(dāng)前研究方向上亟待解決的問題做出了分析，并對(duì)未來人數(shù)識(shí)別的研究做出展望。

機(jī)器視覺；人數(shù)識(shí)別；人群密度；人員跟蹤；人員檢測(cè)

0 引言

機(jī)器視覺是用計(jì)算機(jī)模擬人的視覺功能，從客觀事物的圖像中提取信息,進(jìn)行處理并加以理解,最終用于實(shí)際檢測(cè)、測(cè)量和控制[1]。目前，機(jī)器視覺技術(shù)向著智能化、目的化方向發(fā)展。

人數(shù)識(shí)別涉及數(shù)字視頻處理、模式識(shí)別、計(jì)算機(jī)視覺以及人工智能多個(gè)領(lǐng)域，是一個(gè)跨學(xué)科、跨領(lǐng)域的前沿課題，也是當(dāng)今智能視覺系統(tǒng)研究中一個(gè)十分活躍的新領(lǐng)域。國(guó)際上的高級(jí)視頻和錄像(Advanced Video and Signal-Based Surveillance)論壇每年都會(huì)舉辦PETS的會(huì)議專門針對(duì)于人群行為分析[2-3]。國(guó)內(nèi)外有不少對(duì)于人數(shù)識(shí)別的解決方案，其中絕大部分是基于機(jī)器視覺的?；跈C(jī)器視覺的人數(shù)識(shí)別不僅具有很強(qiáng)的科學(xué)研究?jī)r(jià)值，還具有很強(qiáng)的實(shí)用價(jià)值，其成本低，使用周期長(zhǎng)，統(tǒng)計(jì)準(zhǔn)確率高。

本文根據(jù)近幾年人數(shù)識(shí)別研究成果，做出總結(jié)，將其分為4種識(shí)別方法，分別為特征識(shí)別、形狀識(shí)別、模型學(xué)習(xí)識(shí)別和人群密度識(shí)別。前三種旨在檢測(cè)和跟蹤個(gè)體，多用于中低人群密度的場(chǎng)合；第4種主要是跳過單個(gè)行人的檢測(cè)和跟蹤過程，將人群整體作為研究對(duì)象。

1 特征識(shí)別法

特征識(shí)別法是指根據(jù)已選取的目標(biāo)特征，在圖像序列中匹配搜索目標(biāo)，從而實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)的跟蹤識(shí)別。在識(shí)別算法中，選取有效的特征集，會(huì)提高檢測(cè)效率，減少錯(cuò)誤率。

顏色特征對(duì)平面旋轉(zhuǎn)、非剛性變形具有很強(qiáng)的魯棒性，同時(shí)能夠容忍部分遮擋。在文獻(xiàn)[4]中，Comaniciu提出了基于顏色直方圖(Color Histogram)非剛性目標(biāo)的跟蹤識(shí)別方法。但是由于顏色特征對(duì)光照變化的敏感性，為了提高識(shí)別效果，可采用多特征結(jié)合[5]的方式。王強(qiáng)[6]等人提出了一種人頭的顏色與形狀特征相結(jié)合的人數(shù)識(shí)別方法，此方法對(duì)圖像進(jìn)行二值化，以降低陰影和光照變化造成的影響；然后根據(jù)形狀特征對(duì)人頭進(jìn)行檢測(cè)與跟蹤，最后對(duì)目標(biāo)的運(yùn)動(dòng)軌跡進(jìn)行跟蹤分析，估計(jì)出當(dāng)前場(chǎng)景中的人數(shù)。在光照變化頻繁的地方也可采用邊緣特征，文獻(xiàn)[7]提出了基于邊緣方向直方圖特征的跟蹤方法，該方法對(duì)光照變化不敏感，并且比單一輪廓邊緣特征具有更豐富的信息。單一的邊緣特征[8-9]往往存在計(jì)算復(fù)雜度高、無法適應(yīng)目標(biāo)形變的問題。而顏色與邊緣特征具有互補(bǔ)特性，將兩種信息融合能夠建立更可靠的目標(biāo)特征模型。光流特征通過計(jì)算像素點(diǎn)光流的幅值和方向構(gòu)建動(dòng)態(tài)圖像的幾何變化和輻射度變化，Decarlo[10]利用光流特征實(shí)現(xiàn)了對(duì)人臉目標(biāo)的跟蹤。由于光流法運(yùn)算量較大，很難滿足實(shí)時(shí)性要求，并且光流法對(duì)遮擋、光照變化以及運(yùn)動(dòng)噪聲比較敏感，因此光流法的實(shí)際應(yīng)用并不常見。

2 形狀識(shí)別法

形狀識(shí)別法的思想是建立一個(gè)表示目標(biāo)形狀的模板，然后計(jì)算目標(biāo)模板和候選目標(biāo)形狀的相似度，從而確定當(dāng)前幀運(yùn)動(dòng)目標(biāo)最可能的位置。常用人體的形狀特征作為模板，如人體的軀干特征、人頭輪廓[11]特征。

文獻(xiàn)[12]中提到了一種根據(jù)雙橢圓模型檢測(cè)人頭作為人數(shù)統(tǒng)計(jì)依據(jù)的方法，得到運(yùn)動(dòng)目標(biāo)的輪廓特征后檢測(cè)出頭部橢圓，這種方法提高了檢測(cè)精度，減了少誤判，然而如果是畫面比較模糊的情況下，就不能準(zhǔn)確地確定目標(biāo)。為了解決模糊場(chǎng)景下的人員識(shí)別，常慶龍、夏洪山[13]在視頻檢測(cè)過程中引入了一個(gè)自適應(yīng)的人物檢測(cè)窗口，對(duì)監(jiān)控視頻中的行人進(jìn)行檢測(cè)和計(jì)數(shù)。該算法對(duì)場(chǎng)景圖像質(zhì)量要求低，不需要繁瑣的訓(xùn)練過程，只需要一定的參數(shù)配置步驟即可實(shí)現(xiàn)感興趣區(qū)域的行人快速檢測(cè)，但此算法仍然有不足之處，即對(duì)于復(fù)雜場(chǎng)合的人群誤檢率較高。而趙軍偉[14]等人在這方面做得較好，用數(shù)學(xué)形態(tài)學(xué)與HSI顏色空間相結(jié)合的方法有效地去除圖像中非人頭區(qū)域的干擾和噪聲，通過邊緣檢測(cè)得到人頭候選區(qū)域，最后利用人頭輪廓信息進(jìn)行判定識(shí)別目標(biāo)。為了提高視頻監(jiān)控中人數(shù)統(tǒng)計(jì)的實(shí)時(shí)性，文獻(xiàn)[15]中也使用了數(shù)學(xué)形態(tài)學(xué)與顏色空間相結(jié)合的方法，用輪廓的幾何特征檢測(cè)人頭，相比之下，此方法更具體、詳細(xì)，可適用多種不同復(fù)雜的場(chǎng)合，也能保證檢測(cè)的實(shí)時(shí)性，在動(dòng)態(tài)場(chǎng)景下的行人檢測(cè)取得了較好的效果。

3 學(xué)習(xí)識(shí)別法

模型學(xué)習(xí)識(shí)別法是對(duì)要跟蹤的目標(biāo)特征建立模型并學(xué)習(xí)，進(jìn)而對(duì)學(xué)習(xí)得到的模型用于檢測(cè)，最后統(tǒng)計(jì)出人數(shù)。模型學(xué)習(xí)的算法需要具備快速、連續(xù)的學(xué)習(xí)能力，通過增量學(xué)習(xí)更新目標(biāo)的特征描述來處理表征的變化。

2009年，賈慧星[16]提出智能監(jiān)控中基于機(jī)器學(xué)習(xí)的自動(dòng)人數(shù)統(tǒng)計(jì)系統(tǒng)，通過機(jī)器學(xué)習(xí)對(duì)視頻序列中的人肩部位進(jìn)行準(zhǔn)確地檢測(cè)。該方法克服了連通域分析和簡(jiǎn)單模板匹配的不足，魯棒性增強(qiáng)，但是只適用于場(chǎng)景中的初步測(cè)試，而且計(jì)算量較大，效率不高。在此基礎(chǔ)上，劉子源、蔣承志[17]使用人肩部建立Harr特征分類器，過濾背景，排除干擾，提高了檢測(cè)精度，減少了檢測(cè)時(shí)間。除人肩外，較多算法用人臉作為學(xué)習(xí)模型，江偉堅(jiān)[18]等人提出兩組Harr-like特征擴(kuò)展集(正臉和側(cè)臉)，通過Adaboost算法訓(xùn)練出雙通道級(jí)聯(lián)分類器(用于側(cè)臉和正臉的識(shí)別)，此方法使用較少的弱分類器，檢測(cè)效率高，計(jì)算速度快，對(duì)多角度人臉檢測(cè)有較好的魯棒性。以上算法采樣的視覺角度建立在行人平視圖上，而垂直攝像頭可以降低遮擋程度，文獻(xiàn)[19]中，用俯視的方式采樣，建立基于Adaboost的人頭檢測(cè)分類器，實(shí)現(xiàn)人數(shù)統(tǒng)計(jì)，但是仍然存在誤檢和漏檢的情況。為了對(duì)此進(jìn)行改善，唐春暉[20]提出了一種基于梯度方向直方圖的俯視行人的檢測(cè)方法。它將俯視人頭的梯度方向直方圖作為檢測(cè)目標(biāo)的特征，通過訓(xùn)練樣本提取的特征向量在支持向量機(jī)(SVM)中訓(xùn)練。此方法對(duì)目標(biāo)尺度變化相對(duì)不敏感且效率更高,處理速度也明顯提升。

4 人群密度識(shí)別法

人群密度識(shí)別法是將人群作為一個(gè)整體的研究對(duì)象，分析人群的圖像特征，然后建立人群特征與人數(shù)之間的映射關(guān)系從而實(shí)現(xiàn)人群計(jì)數(shù)。其圖像特征又分為基于像素特征和基于紋理特征兩大類。

王明吉、肖桂丹[21]等利用運(yùn)動(dòng)目標(biāo)標(biāo)記的方法實(shí)現(xiàn)計(jì)數(shù)，標(biāo)記圖像中的像素，形成標(biāo)簽圖像，根據(jù)標(biāo)簽圖像初步確定目標(biāo)數(shù)量。此方法穩(wěn)定性強(qiáng)、準(zhǔn)確率較高，但由于基于像素特征的識(shí)別法計(jì)算簡(jiǎn)單，因此在高密度場(chǎng)合往往使用基于紋理的分析法。Chan[22]采用混合紋理模型來提取分割運(yùn)動(dòng)人群，利用訓(xùn)練回歸函數(shù)的方法得出人數(shù)與特征量關(guān)系函數(shù)，進(jìn)而對(duì)檢測(cè)區(qū)域人數(shù)實(shí)現(xiàn)估計(jì)。由于訓(xùn)練集不夠強(qiáng)大，很容易出現(xiàn)誤差，準(zhǔn)確率就不能保證，而且計(jì)算量較大。之后，李虎[23]等人提出一種基于 PCA 和多元統(tǒng)計(jì)回歸的人數(shù)統(tǒng)計(jì)方法，使用 PCA 方法提取信息，得到特征量與行人密度間的函數(shù)關(guān)系后對(duì)高斯回歸模型進(jìn)行修正，以提高回歸模型的精度，統(tǒng)計(jì)出行人密度，有較高的準(zhǔn)確率。紋理分析法中，比較經(jīng)典的方法是使用灰度共生矩陣紋理特征。文獻(xiàn)[24]中采用一種基于線性內(nèi)插透視矯正的SURF算法，對(duì)獲得的前景圖像提取多特征，將傳統(tǒng)的灰度共生矩陣紋理特征與SURF算法特征相結(jié)合，克服遮擋和攝像機(jī)透視畸形的影響，有效地提高了統(tǒng)計(jì)精度，有較強(qiáng)的適應(yīng)性，準(zhǔn)確率也可以得到保證。

5 人數(shù)識(shí)別算法難點(diǎn)

人數(shù)識(shí)別算法包括人員檢測(cè)算法、人員跟蹤算法和人群密度算法。研究算法一直追求魯棒性好、準(zhǔn)確率高、快速性好的特點(diǎn)。雖然關(guān)于人數(shù)識(shí)別算法的研究已經(jīng)持續(xù)了很多年，研究者們提出了各種各樣的識(shí)別方法，但是還沒有形成一個(gè)適用于所用應(yīng)用場(chǎng)合的統(tǒng)一理論框架或體系，而且算法在實(shí)際應(yīng)用中遇到的很多問題仍然沒有得到很好的解決，這些問題即是難點(diǎn)，又是以后的研究重點(diǎn)，表1是對(duì)各算法中遇到的難點(diǎn)問題的總結(jié)。

表1 三種算法難點(diǎn)總結(jié)

6 展望和結(jié)束語

隨著智能視頻跟蹤系統(tǒng)的發(fā)展，對(duì)目標(biāo)跟蹤技術(shù)的要求也成為一個(gè)研究熱點(diǎn)。實(shí)現(xiàn)一個(gè)速度快、精度高、實(shí)時(shí)性好的識(shí)別系統(tǒng)是研究的重要方向之一。但是通常情況下，各特點(diǎn)之間相互矛盾。提高復(fù)雜環(huán)境下的多目標(biāo)識(shí)別亟待解決。針對(duì)目標(biāo)識(shí)別技術(shù)中出現(xiàn)的目標(biāo)遮擋、背景干擾等問題，可引入超像素概念[25]，能夠捕獲圖像冗余信息，降低后續(xù)處理任務(wù)復(fù)雜度。不同的機(jī)器學(xué)習(xí)方法對(duì)模型的自適應(yīng)有嚴(yán)重的影響，針對(duì)在識(shí)別工程中出現(xiàn)的運(yùn)動(dòng)和變化不確定性，已有的子空間學(xué)習(xí)、度量空間學(xué)習(xí)、稀疏字典學(xué)習(xí)和深度學(xué)習(xí)都有很好的效果。如何結(jié)合學(xué)習(xí)機(jī)制更好地實(shí)現(xiàn)算法自適應(yīng)性有待深入研究。

隨著物聯(lián)網(wǎng)的發(fā)展，智能視頻監(jiān)控系統(tǒng)已成為熱點(diǎn)之一，使人數(shù)識(shí)別算法也成為熱點(diǎn)。本文介紹了基于機(jī)器視覺的人數(shù)統(tǒng)計(jì)的研究；通過對(duì)近年來具有代表性的人數(shù)識(shí)別算法研究分析，總結(jié)出人數(shù)識(shí)別算法主要有基于個(gè)人的識(shí)別和基于群體的識(shí)別；相比傳統(tǒng)的人數(shù)識(shí)別算法，增加了對(duì)高密度人群的詳細(xì)分析?？偨Y(jié)了近年來人數(shù)識(shí)別算法中亟待解決的問題，并對(duì)其提出展望。

[1] 章煒.機(jī)器視覺技術(shù)發(fā)展及其工業(yè)應(yīng)用[J].紅外,2005,27(2):11-17.

[2] KRAHNSTOEVER N, TU P, SEBASTIAN T, et al. Multi-view detection and tracking of travelers and luggage in mass transit environments[C]. In: IEEE International Workshop on Performance Evaluation of Trackling and Surveillance and CVPR, 2006.

[3] KRAHNSTOEVER N, YU T, PATWARDHAN K A, et al. Multi-camera person tracking in crowded environments[C].Twelfth IEEE International Workshop on PERFORMANCE Evaluation of Tracking and Surveillance， 2010:1-7.

[4] COMANICIU D, RAMESH V, MEER P. Kernel-based object rracking[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2003, 25(5):564-575.

[5] 林景亮,唐杰.一種融合膚色和Haar特征的人臉檢測(cè)方法[J]. 微型機(jī)與應(yīng)用,2013, 32(8):35-37.

[6] 王強(qiáng)，馮燕．基于顏色和形狀信息的快速人數(shù)統(tǒng)計(jì)方法[J]．計(jì)算機(jī)測(cè)量與控制，2010(9)：101-105．

[7] SHEN C, HENGEL A V, DICK A. Probabilistic multiple cue integration for particle filter based tracking[C]. Proceedings of the International Conference on Digital Image Computing: Techniques and Applications, Sydney, 2003, 1: 399-408.

[8] BIRCHFIELD S T, RANGARAJAN S. Spatioframs versus histograms for region-based tracking[C].Proceedings of the IEEE Computer Society Conference on Computer Vision and Recognition, San Diego, CA, United States,2005,2:1158-1163.

[9] LI P H, ZHANG T W, PECE A E C. Visual contour tracking based on particle filters[J]. Image and Vision Computing, 2003, 21(1): 111-123.

[10] DE CARLO D, METAXAS D. Optical flow constraints on deformable models with applications to face tracking[J]. International Journal of Computer Vision, 2000, 38(2): 99-127.

[11] 周先春,唐娟, 汪美玲.曲率與小波輪廓增強(qiáng)的人臉識(shí)別算法[J].電子技術(shù)應(yīng)用, 2015, 41(10):161-164.

[12] 張繼法,梅雪,許松松.一種基于雙橢圓模型的視頻人數(shù)統(tǒng)計(jì)方法[J].計(jì)算機(jī)科學(xué)，2012,39(26)：499-502．

[13] 常慶龍,夏洪山.基于自適應(yīng)滑動(dòng)窗的模糊場(chǎng)景行人快速檢測(cè)[J].電視技術(shù)，2012,36(19)：177-182．

[14] 趙軍偉,侯清濤,李金屏，等.基于數(shù)學(xué)形態(tài)學(xué)和 HSI 顏色空間的人頭檢測(cè)[J].山東大學(xué)學(xué)報(bào)(工學(xué)版)，2013，43(2)：6-10．

[15] 高春霞,董寶田,王愛麗.基于人頭顏色空間和輪廓信息的行人檢測(cè)方法研究[J].交通運(yùn)輸系統(tǒng)工程與信息,2015,15(4):70-78.

[16] 賈慧星,章毓晉.智能視頻監(jiān)控中基于機(jī)器學(xué)習(xí)的自動(dòng)人數(shù)統(tǒng)計(jì)[J].視頻應(yīng)用與工程,2009,34(4):78-81.

[17] 劉子源,蔣承志.基于OpenCV和Haar特征分類器的圖像人數(shù)檢測(cè)[J].遼寧科技大學(xué)學(xué)報(bào),2011,34(4):384-388.

[18] 江偉堅(jiān),郭躬德,賴智銘.基于新Harr-like特征的Adaboost人臉檢測(cè)算法[J].山東大學(xué)學(xué)報(bào)(工學(xué)版)，2014,44(2):43-48.

[19] 張志勛，張磊，楊凡.一種改進(jìn)的Adaboost人臉檢測(cè)方法[J].自動(dòng)化與儀器儀表,2013(6):143-145.

[20] 唐春暉.一種基于梯度方向直方圖的俯視行人的檢測(cè)方法[J].模式識(shí)別與人工智能,2015,28(1):19-26.

[21] 王明吉，肖桂丹，胡曉曦.一種實(shí)用的多運(yùn)動(dòng)目標(biāo)標(biāo)記與計(jì)數(shù)新方法[J]．計(jì)算機(jī)仿真，2009,26(8):199-203.

[22] CHAN A B, LIANG Z S J, VASCONCELOS N. Privacy preserving crowd monitoring: counting people without people models or tracking[C]. Proceedings of the 2008 IEEE Conference on Computer Vision and Pattern Recoynition (CVPR08). Washington, DC, USA: IEEE Computer Society,2008:1-7.

[23] 李虎,張二虎,段敬紅．基于PCA 和多元統(tǒng)計(jì)回歸的人群人數(shù)統(tǒng)計(jì)方法[J]．計(jì)算機(jī)工程與應(yīng)用，2014,50(11)：206-209．[24] 吳冬梅,王靜,李白萍,等.基于改進(jìn)SURF算法的大規(guī)模群體人數(shù)統(tǒng)計(jì)[J].西安科技大學(xué)學(xué)報(bào)，2015,35(5):650-655.

[25] 王春瑤,陳俊周,李煒.超像素分割算法研究綜述[J].計(jì)算機(jī)應(yīng)用研究,2014,31(1):6-12.

Review of the research on the number recognition based on machine vision

Sun Yingying1,Song Yinmao1,Wang peng2

(1.College of Architecture and Environmental Engineering, Zhengzhou University of Light Industry, Zhengzhou 450002, China;2.College of Electric Information Engineering, Zhengzhou University of Light Industry,Zhengzhou 450002, China)

Machine vision technology has been extensively studied and applied in the development of science and technology because of its non-destructive, high precision and fast speed, and is being used more and more in video surveillance. In this paper, the development of machine vision recognition in recent years has been discussed in detail, the study mainly from two aspects of individual recognition and group recognition, and the recognition can be divided into four areas: feature recognition method, shape recognition method, model learning identification method and population density identification. Based on the research of different recognition algorithms, this paper analyzes the problems that need to be solved in the current research direction, and points out the prospect of the future research on the number recognition.

machine vision; number recognition; crowd density; personnel tracking; personnel detection

TP391

A

10.19358/j.issn.1674- 7720.2017.07.003

孫瑩瑩，宋寅卯，王蓬.基于機(jī)器視覺的人數(shù)識(shí)別研究綜述[J].微型機(jī)與應(yīng)用，2017,36(7)：9-11，18.

2016-12-09)

孫瑩瑩(1991-)，通信作者，女，碩士，主要研究方向：圖像處理與模式識(shí)別。E-mail:1101094916@qq.com。

宋寅卯(1963-)，男，碩士，教授，主要研究方向：智能控制與模式識(shí)別。

王蓬(1989-)，男，碩士，主要研究方向：檢測(cè)技術(shù)與自動(dòng)化裝置。