面向公共安全圖像監(jiān)控的人群行為分析

陳 平

(上海市公安局 科技處，上海200042)

近年來，隨著我國政治、經(jīng)濟(jì)、文化與社會(huì)活動(dòng)日趨活躍，大型活動(dòng)已經(jīng)成為促進(jìn)經(jīng)濟(jì)發(fā)展和文化交流的重要載體。各種商業(yè)性的展銷展覽、文藝演出和競技體育比賽，以及各種國際性會(huì)議大量增加，規(guī)模不斷擴(kuò)大。大型活動(dòng)由于場面熱烈，觀眾情緒高漲，其控制難度迅速增大。上海已經(jīng)成為一個(gè)2 000萬人口級別的、充滿流動(dòng)性的超大規(guī)模城市。尤其近年來，體育賽事、娛樂活動(dòng)、節(jié)日慶?；顒?dòng)、大型展會(huì)的舉行在規(guī)模和數(shù)量上的不斷擴(kuò)大，群體安全成為城市公共安全關(guān)注的重點(diǎn)問題。根據(jù)2009年中國社科院公布的《社會(huì)藍(lán)皮書》顯示，據(jù)不完全統(tǒng)計(jì)，1993年我國發(fā)生群體性事件0.87萬起，2005年上升為8.7萬起，2006年超過9萬起，近幾年也有上升的趨勢。針對大型活動(dòng)的有效防范成為當(dāng)前乃至今后我國公共安全管理的一項(xiàng)重要工作。

無論是大型活動(dòng)的安全管理還是群體性事件的防控，都對我國的公共安全管理提出了較高的要求。近年來，我國公共安全管理部門通過實(shí)施“金盾工程”、“平安城市”等一系列的安防工程信息化建設(shè)，建立了較大規(guī)模的城市圖像監(jiān)控與應(yīng)急指揮信息系統(tǒng)，在社會(huì)公共安全常態(tài)管理及大型活動(dòng)安保等方面發(fā)揮了重要的作用。視頻圖像監(jiān)控系統(tǒng)由于具有監(jiān)視范圍大、采集信息豐富直觀、反應(yīng)迅速準(zhǔn)確，且對環(huán)境和用戶透明而又非入侵等優(yōu)點(diǎn)，同其他防控手段相比更具優(yōu)勢。另一方面，目前上海街面已有5萬多個(gè)攝像頭，共享社會(huì)資源2萬多個(gè)，遍布全上海市的重要場所、道路交通、重點(diǎn)區(qū)域、敏感地帶等，如果能充分利用這一系統(tǒng)，將對上海市社會(huì)公共安全管理系統(tǒng)提供重要的保障，也有利于社會(huì)管理的信息化、智能化和高效化的發(fā)展。但目前的視頻監(jiān)控系統(tǒng)仍以被動(dòng)監(jiān)控為主，遠(yuǎn)遠(yuǎn)不能滿足當(dāng)前社會(huì)經(jīng)濟(jì)發(fā)展的需要，尤其對于群體性活動(dòng)的事態(tài)分析、重大活動(dòng)和突發(fā)事件尚缺乏預(yù)判能力和實(shí)時(shí)響應(yīng)能力。如何通過高技術(shù)信息手段，利用公安視頻物聯(lián)網(wǎng)絡(luò)有效監(jiān)控和分析人群活動(dòng)規(guī)律和發(fā)展態(tài)勢，進(jìn)而有效防范群體性事件的發(fā)生和態(tài)勢的分析，是城市公共安全急需解決的重要課題。

1 上海城市公共安全圖像監(jiān)控系統(tǒng)建設(shè)和應(yīng)用現(xiàn)狀

從建設(shè)和應(yīng)用的角度看，上海公安自1985年建設(shè)道路圖像監(jiān)控系統(tǒng)以來，經(jīng)歷了金盾工程、上海城市圖像監(jiān)控系統(tǒng)以及圍繞重特大安全保衛(wèi)工作的一系列重大工程建設(shè)項(xiàng)目，尤其是2010上海市博會(huì)的召開，上海已經(jīng)建立起公共安全圖像監(jiān)控專網(wǎng)，應(yīng)急聯(lián)動(dòng)指揮系統(tǒng)，包括3DGIS等一系列的信息平臺(tái)，在街面監(jiān)控點(diǎn)數(shù)量和錄像容量上也已具有一定規(guī)模。城市公共安全防范手段不斷增強(qiáng)，目前已形成覆蓋快速路和地面干線道路的大規(guī)模數(shù)據(jù)采集系統(tǒng)和視頻監(jiān)視系統(tǒng)，極大地提升了城市的公共安全保障能力，為進(jìn)一步提升城市化智能水平奠定了良好的平臺(tái)。但用戶應(yīng)用的模式仍處于傳統(tǒng)階段，與投入、應(yīng)用成本相比，成果產(chǎn)出和系統(tǒng)成效未能實(shí)現(xiàn)最大化，在智能圖像監(jiān)控領(lǐng)域的研究與應(yīng)用仍未實(shí)質(zhì)啟動(dòng)。目前國內(nèi)外主要城市的視頻監(jiān)控系統(tǒng)僅僅實(shí)現(xiàn)了“看得見”的效果。為了有效地推進(jìn)城市視頻監(jiān)控系統(tǒng)向“看得更清楚”、“看得更明白”的更高效能轉(zhuǎn)化，上海乃至我國需要發(fā)展信息獲取智能化、信息表示標(biāo)準(zhǔn)化、信息分析關(guān)聯(lián)化的視頻物聯(lián)網(wǎng)關(guān)鍵技術(shù)和應(yīng)用系統(tǒng)。

從技術(shù)角度看，為了改善目前城市公共安全圖像監(jiān)控系統(tǒng)的應(yīng)用效能，一種技術(shù)手段是采用高清攝像設(shè)備，解決了信息采集質(zhì)量不高的問題，但是沒有解決存儲(chǔ)圖像質(zhì)量下降問題，并帶來了更高的存儲(chǔ)壓力;另外一種技術(shù)手段是采用智能視頻分析產(chǎn)品，可以部分替代實(shí)時(shí)人工監(jiān)看，但仍以單點(diǎn)的應(yīng)用為主，并受到環(huán)境、工程安裝角度等條件的限制，智能化的應(yīng)用程度不深，無法做到基于視頻物聯(lián)的多點(diǎn)協(xié)同分析和綜合處理。

多尺度人群行為的監(jiān)控和分析作為基于視頻物聯(lián)的最典型的智能分析應(yīng)用，目前已經(jīng)引起了包括美國卡內(nèi)基梅隆、華盛頓大學(xué)和我國香港大學(xué)在內(nèi)的多家研究機(jī)構(gòu)的重視，在群體密度估計(jì)和流量統(tǒng)計(jì)、群體的建模和群體行為分析等方面進(jìn)行了大量的研究工作。上海世博會(huì)期間，以“客流眼”為代表的智能視頻分析系統(tǒng)也為世博會(huì)客流的疏導(dǎo)等方面提供了重要的依據(jù)。

在視頻監(jiān)控應(yīng)用中，大尺度群體行為具有群體規(guī)模大、事件范圍大、時(shí)間跨度大的特點(diǎn)，由于遮擋等問題嚴(yán)重，傳統(tǒng)的基于目標(biāo)分割、跟蹤等分析方法將變得異常復(fù)雜而難以實(shí)用。對擁擠群體的異常行為分析而言，在研究方面將面臨以下4個(gè)方面的困難:

1)粒度的選擇。人與人之間的作用機(jī)制是非常復(fù)雜的，因?yàn)橥后w在目標(biāo)約束下表現(xiàn)出來的動(dòng)力特性和心理特性有密切的關(guān)系。同時(shí)，對于高密度甚至是極高密度的群體來說，選擇合適的粒度對群體的描述變得更加困難。小到一個(gè)像素，大到一個(gè)個(gè)體甚至是一個(gè)小的群體，都可以作為研究的尺度，但是如何選擇合適的尺度既與所要分析的場景模式相關(guān)，又與系統(tǒng)的任務(wù)密切相關(guān)，確定統(tǒng)一的粒度標(biāo)準(zhǔn)是一個(gè)難題，但又是群體分析中必須解決的問題。

2)異常行為的表征。在擁擠的人群當(dāng)中，個(gè)體之間相互作用很難進(jìn)行觀測，其分析將變得非常復(fù)雜，因此傳統(tǒng)的以個(gè)體為中心的異常行為表征在擁擠人群的描述中將變得不切實(shí)際。另外，社會(huì)心理學(xué)的研究表明，在高密度的擁擠人群當(dāng)中，異常事件往往會(huì)在群體中呈現(xiàn)迅速擴(kuò)散的趨勢，越發(fā)使傳統(tǒng)的基于個(gè)體描述的異常行為分析變得不適用。

3)相對分辨率較低。對于大范圍異常擁擠的群體分析而言，在圖像分辨率受限的條件下，在畫面中每個(gè)個(gè)體的描述像素會(huì)大幅度降低，從而對每個(gè)個(gè)體而言，畫面中所能提供的輪廓、形態(tài)和顏色等外觀信息及其有限，因此很多基于個(gè)體的特征分析、跟蹤算法將不再適用。這也從另一個(gè)角度促使相關(guān)的研究者去通過其他的信息源來彌補(bǔ)這一問題。

4)事件的演化關(guān)系復(fù)雜。相比于個(gè)體事件而言，群體事件往往表現(xiàn)出“人群的規(guī)模大、事件范圍大和時(shí)間跨度大”的特點(diǎn)，一個(gè)群體性的事件往往蘊(yùn)含著非常復(fù)雜的內(nèi)在邏輯和因果關(guān)系，事件的發(fā)展和演化的規(guī)律也更加復(fù)雜，因此傳統(tǒng)的針對個(gè)體分析的統(tǒng)計(jì)學(xué)習(xí)的思路往往很難直接應(yīng)用于群體性事件的分析。

2 監(jiān)控系統(tǒng)中大尺度人群行為分析研究

在面向監(jiān)控的大尺度人群行為分析研究領(lǐng)域中，國內(nèi)外相關(guān)學(xué)者進(jìn)行了大量的理論和實(shí)踐研究，提出了一系列算法和系統(tǒng)框架，如圖1所示。

圖1 群體行為分析的一般框架

總得來說，可以歸納為以下三個(gè)方面:

1)群體建模。在對群體進(jìn)行數(shù)學(xué)建模時(shí)，有三種不同的方法理念［1］，即宏觀、介觀、微觀，如圖2所示。

圖2 群體建模的三種方法理念:宏觀(左)、介觀(中)、微觀(右)

這三種不同的建模理念也表示三種不同的觀測尺度。從宏觀角度上來講，將群體看作是一個(gè)整體，著重于群體在宏觀上所呈現(xiàn)出的整體狀態(tài)。由于其觀測尺度遠(yuǎn)超過了個(gè)體目標(biāo)的尺度，所以這種建模方法忽略群體內(nèi)部個(gè)體的具體行為。從介觀的角度上來講，將具有相同時(shí)空特性的多個(gè)相鄰目標(biāo)當(dāng)作一個(gè)整體進(jìn)行分析，此時(shí)觀測尺度更細(xì)致了一些，同時(shí)兼顧整體特性與個(gè)體行為。從微觀角度上來講，也就是從目標(biāo)級尺度進(jìn)行分析，即對群體中每個(gè)個(gè)體目標(biāo)進(jìn)行檢測和跟蹤，然后進(jìn)行統(tǒng)計(jì)分析得到群體行為特性。這類方法的優(yōu)點(diǎn)是可以得到十分精細(xì)準(zhǔn)確的行為描述，但是隨著群體密集程度越來越高，目標(biāo)之間相互遮擋越來越嚴(yán)重，這類方法就變得不那么有效。總得來說，在群體分析中，目前的研究比較推崇宏觀角度和介觀角度，這樣可以避免密集群體中難以檢測和跟蹤個(gè)體目標(biāo)的難題，而基于微觀的群體模型更適合用于稀疏群體行為分析。其實(shí)，這三種建模理念各有優(yōu)缺點(diǎn)，針對實(shí)際的問題和具體的監(jiān)控場景，選擇合適的分析角度進(jìn)行分析。比如在進(jìn)行群體全局特性分析時(shí)，更多的是從宏觀角度進(jìn)行分析，沒必要具體分析每個(gè)目標(biāo)的行為。但是在進(jìn)行局部行為分析時(shí)，就要求從微觀角度對每個(gè)感興趣目標(biāo)進(jìn)行細(xì)致的分析。

2)群體狀態(tài)分析。群體狀態(tài)包括群體密度分布、群體運(yùn)動(dòng)狀態(tài)以及群體穩(wěn)定性。在群體密度估計(jì)方面主要有三種研究思路［2］:(1)基于像素級特征的密度估計(jì)，這類方法需要提取前景目標(biāo)區(qū)域，構(gòu)建前景像素與行人個(gè)數(shù)映射關(guān)系模型，從而可以通過像素的相關(guān)統(tǒng)計(jì)信息來估計(jì)群體密度。但是，當(dāng)群體比較密集，相互遮擋比較嚴(yán)重時(shí)，簡單的映射關(guān)系模型就不那么有效;(2)基于紋理特征的密度估計(jì)，如基于灰度依賴矩陣特征、最大穩(wěn)定值區(qū)域特征、時(shí)空LBP特征等的密度估計(jì)算法。這類方法的思路與前者類似，也是通過構(gòu)建紋理特征與人數(shù)之間的映射關(guān)系模型來估計(jì)群體密度;(3)基于目標(biāo)級特征的密度估計(jì)，這類方法主要通過檢測人頭或行人并進(jìn)行數(shù)量統(tǒng)計(jì)。和前兩者相比，這類方法可以得到更精確的人數(shù)或密度。但是，在密集的人群場景中，個(gè)體目標(biāo)的檢測就變得非常困難。群體的運(yùn)動(dòng)直接反映了群體的運(yùn)動(dòng)方向、速度等運(yùn)動(dòng)特征?；谶\(yùn)動(dòng)特性的統(tǒng)計(jì)特征，比如平均速度、速度方差、最高速度、最低速度等都可以從不同層面上來體現(xiàn)群體的運(yùn)動(dòng)特性。關(guān)于群體運(yùn)動(dòng)分析，主要有兩類方法:第一類是把群體看成一個(gè)整體，通過計(jì)算光流及其統(tǒng)計(jì)特性來分析群體運(yùn)動(dòng);第二類是對群體中每個(gè)個(gè)體目標(biāo)進(jìn)行檢測跟蹤，然后對軌跡進(jìn)行聚類，從而得到群體的運(yùn)動(dòng)信息。顯然，第一類方法更適合于群體較為密集的情況，而第二類方法在稀疏場景中更加易行。如果不需要得到非常細(xì)致的群體運(yùn)動(dòng)特性，只需知道宏觀運(yùn)動(dòng)特性，那么第一類基于光流場的方法就足夠了。當(dāng)然，光流場的計(jì)算受光照條件影響很大，還需要其他視頻處理技術(shù)進(jìn)行輔助處理。群體穩(wěn)定性則是監(jiān)控管理者最為關(guān)注的一點(diǎn)，同時(shí)它也是群體行為分析里熱門的研究點(diǎn)之一。目前的群體穩(wěn)定性分析主要基于群體運(yùn)動(dòng)特性，即使是近年來較為熱門的基于社會(huì)力模型［3］的異常行為檢測［4］也是要用到目標(biāo)的運(yùn)動(dòng)特征，如運(yùn)動(dòng)速度、方向等。文獻(xiàn)［5］指出，群體密度分布亦是影響群體穩(wěn)定性的另一重要因素。所以，如何綜合考慮群體密度分布特性和運(yùn)動(dòng)特性來更好地進(jìn)行群體穩(wěn)定性分析是一個(gè)值得進(jìn)一步深入研究的問題。

3)群體行為分析。群體行為具有規(guī)模大、覆蓋范圍廣、時(shí)間跨度長和整體事態(tài)復(fù)雜等特點(diǎn)。一個(gè)完整的群體行為同時(shí)具有時(shí)間和空間上的跨度，簡單的群體全局特性分析和局部行為分析都不能很好地描述群體行為的動(dòng)態(tài)演化過程。所以要對群體行為進(jìn)行時(shí)空關(guān)聯(lián)分析，深入挖掘群體系統(tǒng)內(nèi)在演化規(guī)律，更好地預(yù)測群體行為發(fā)展趨勢。目前在行為關(guān)聯(lián)分析方面主要有分層貝葉斯網(wǎng)絡(luò)模型、MDA模型(Mixture model of Dynamic pedestrian-Agents)、MERM模型(Mixed Event Relationship Model)。從本質(zhì)上講，這些模型就是挖掘場景中行為的時(shí)空關(guān)聯(lián)性。在一個(gè)特定的監(jiān)控場景中，從宏觀上看，必定存在全局約束規(guī)則，比如十字路口的紅綠燈、斑馬線，這些代表的是路口的交通規(guī)則。還有火車站候車大廳的出入口、排隊(duì)區(qū)域所代表的空間約束等。從微觀上看，在全局規(guī)則的約束下，群體會(huì)呈現(xiàn)特性鮮明的局部行為，比如在十字路口，什么時(shí)候走，什么時(shí)候停，什么時(shí)候轉(zhuǎn)彎等。換句話說，全局規(guī)則約束局部行為，局部行為體現(xiàn)全局規(guī)則。另一方面，群體局部行為亦可引發(fā)全局狀態(tài)的變化，比如局部的行人之間的摩擦和爭斗有可能演化成群毆，并且引起大規(guī)模人群聚集圍觀。

3 應(yīng)用前景分析

群體行為分析有很廣泛的實(shí)際應(yīng)用［6］，例如:

1)人群管理。群體分析可以為人群管理提供一些策略，尤其是在頻繁發(fā)生的事件或活動(dòng)中，比如大型運(yùn)動(dòng)比賽、音樂會(huì)、示威游行等，可以幫助避免群體惡性事件，保障公共安全。

2)公共空間規(guī)劃設(shè)計(jì)。群體分析可以為公共空間設(shè)計(jì)提供指導(dǎo)方針，比如在設(shè)計(jì)購物中心時(shí)可以最大程度地方便顧客，同時(shí)有效利用空間。

3)虛擬環(huán)境。人群的數(shù)學(xué)模型可以應(yīng)用在虛擬環(huán)境中，以此增強(qiáng)仿真群體行為，從而豐富人們生活體驗(yàn)。

4)視頻監(jiān)控。群體分析可以用于自動(dòng)檢測異常事件，并進(jìn)行報(bào)警。甚至可以在群體中進(jìn)行個(gè)體目標(biāo)跟蹤，從而幫助警察抓住嫌疑人員。

5)智能環(huán)境。在一些具有智能系統(tǒng)的環(huán)境中，群體分析可以幫助引導(dǎo)群體或群體中的個(gè)體。比如在博物館中，智能系統(tǒng)可以根據(jù)人群的行為來引導(dǎo)其進(jìn)行更好的觀看和瀏覽。

4 總結(jié)

綜上所述，基于圖像的智能化分析和綜合應(yīng)用服務(wù)是城市公共安全圖像監(jiān)控系統(tǒng)發(fā)展的必然趨勢，為了使智能圖像監(jiān)控系統(tǒng)發(fā)揮更大的應(yīng)用效能，加快適應(yīng)上海城市人口密集、大型群體活動(dòng)繁多的現(xiàn)狀，通過大尺度群體的異常行為感知建模及實(shí)現(xiàn)方法的研究，以期加速在車站、機(jī)場、體育館、城市商業(yè)中心等人群聚集場所和大型演唱會(huì)、集會(huì)和體育賽事等重大活動(dòng)中進(jìn)行示范應(yīng)用，該研究可以極大提高視頻監(jiān)控網(wǎng)絡(luò)對于群體性事件的防控能力，對城市公共安全智能化、信息化管理具有重要的現(xiàn)實(shí)意義。

［1］ZHAN B，MONEKOSSO D N，REMAGNINO P，et al.Crowd analysis:a survey［J］.Machine Vis.Applicat.，2008，19(2):345-357.

［2］CEZAR J，JACQUES S，MUSSE S R，et al.Crowd analysis using computer vision techniques［J］.IEEE Signal Processing Magazine，2010，27(5):66-77.

［3］HELBING D，MOLNAR P.Social force model for pedestrian dynamics［EB/OL］.［2013-01-25］.http://www.ncbi.nlm.nih.gov/pubmed/9963139.

［4］MEHRAN R，OYAMA A，SHAH M.Abnormal crowd behavior detection using social force model［C］//Proc.2009 IEEE Conference on Computer Vision and Pattern Recognition.［S.l.］:IEEE Press，2009(2):935-942.

［5］JOHANSSON A，HELBING D，ALABIDEEN H Z，et al.From crowd dynamics to crowd safety:a video-based analysis［J］.Advances in Complex Systems，2008，11(4):497-527.

［6］楊華，蘇航，鄭世寶，等.大規(guī)模群體密度估計(jì)算法［J］.電視技術(shù)，2010，34(5 ):113-116.