視頻和GIS協(xié)同的人群狀態(tài)感知模型

鄧仕虎,張興國,王小勇,朱俊豐，王 秀

(1.重慶市地理信息中心，重慶 401121；2.信陽師范學院 地理科學學院，河南 信陽 464000；3.重慶知行地理信息咨詢服務有限公司，重慶 401121)

0 引言

隨著社會經(jīng)濟的發(fā)展，人群聚集活動日趨增多，致使群體性事件時有發(fā)生. 如何及時發(fā)現(xiàn)人群狀態(tài)的異常并采取有效措施進行疏導已成為國內(nèi)外學者和政府管理部門關注的熱點. 目前，在大型安保活動中，除了加強警力部署外，視頻監(jiān)控系統(tǒng)已成為必不可少的構成要素，發(fā)揮著越來越重要的作用.

當前，基于視頻獲取人群運動狀態(tài)的研究已取得了較好的研究成果.在視頻圖像空間 ，通過圖像處理、光流計算等獲取運動特征，通過機器學習的方法實現(xiàn)人群異常行為的檢測[1]. 為了擴大人群視頻監(jiān)控的視域范圍，胡學敏等基于魚眼相機對人群進行估計，并采用透視加權的方法來消除透視畸變[2]. 在視頻流的實時計算方面，姬麗娜等基于GPU多流處理器進行加速，有效地提高了人群實時計數(shù)效率[3]. 近年來，許多新技術也在視頻人群信息提取中得到應用，效果較好，如基于序的空間金字塔池化網(wǎng)絡、壓縮感知、社會計算和深度學習等[4-6]. 圖像采用像素坐標，缺乏真實的度量坐標，人群可量測的運動狀態(tài)參數(shù)獲取困難，一些GIS學者嘗試將視頻與GIS結合起來，也取得了一定的效果[7-9].

針對監(jiān)控視頻在圖像空間難以統(tǒng)一、宏觀及真實量化人群狀態(tài)的問題，本文將視頻與GIS相結合，將圖像空間的光流場映射至地理空間，在地圖中進行人群狀態(tài)的展示、分析與預警. 融合地理信息及實時視頻分析數(shù)據(jù)的人群感知方法，相對于傳統(tǒng)的方法更為便捷，將會有效降低安保人員的疲勞度，提高突發(fā)事件實時監(jiān)控與預警能力.

1 人群狀態(tài)感知模型

1.1 技術路線

人群狀態(tài)感知流程主要包括四大過程，即視頻采集及處理、光流計算、矢量光流場映射至地理空間、人群狀態(tài)檢測與分析，如圖1所示.

圖1 人群狀態(tài)感知技術路線

第一，通過手機或相機在商場、醫(yī)院、車站、銀行等室內(nèi)外人群密集、易發(fā)生突發(fā)公共事件的場所采集實驗數(shù)據(jù)，包括正常的人群行為視頻和異常行為視頻，如打架、追跑、聚集、驟散、逆行等，為人群異常行為檢測提供測試數(shù)據(jù). 基于高清遙感影像或GPS，采集攝像機中心點的位置. 基于相機標定或直接設定得到攝像機的高度、傾角、方位角、主距等內(nèi)外參信息. 第二，計算各個監(jiān)控視頻的光流場. 以視頻中前后兩幀圖像為基礎，采用相關的光流計算方法，得到當前視頻的實時光流場. 第三，將區(qū)域內(nèi)各個視頻的光流場映射至地理空間. 視頻圖像空間所計算的光流場，其坐標為像素坐標，難以在地理空間中進行定位、量測或分析，需要通過圖像空間與地理空間的映射方法將其投射至地圖中. 第四，在地理空間中，任何一條矢量光流都具有明確的空間參考，很容易了解人群的位置、方向、速度、加速度等運動參數(shù)，是人群狀態(tài)檢測及預警的重要基礎.

1.2 關鍵技術

基于視頻提取動態(tài)目標的運動矢量場，主要依賴于圖像空間，光流場以像素為單位，其方向以圖像空間為基礎，無法獲取動態(tài)目標在地理場景中真實的度量值(包括位置、方向和速度等). 為了使人群狀態(tài)可定位、可量測、可分析，并具有一覽性的優(yōu)勢，需要重點解決光流場的提取及光流場至地理空間的映射問題.

1.2.1 Lucas-Kanade光流計算方法

光流場計算是人群狀態(tài)感知最為重要的關鍵技術之一. 光流場的計算最初是由美國學者HOM和SCHUNCK提出，并在研究中不斷推進光流場相關算法的改進和優(yōu)化. 光流場應用很廣范，可以用于行人檢測、行人的步態(tài)分析、運動分割等，也有學者對光流法執(zhí)行效率進行評價[10].

本文采用Lucas-Kanade光流法來獲取人群的運動狀態(tài). 該方法首先將視頻轉換為序列圖像，并轉換為序列灰度圖，約束在較短時間內(nèi)，運動目標相同點的灰度值不會發(fā)生變化，依此構建方程，計算光流矢量. 人群狀態(tài)的變化可以通過場模型來表達. 序列灰度圖像的變化是人群運動的表現(xiàn)，灰度圖變化越快，人群的運動越快. 在臨近時間內(nèi)，相同特征點灰度值不變的約束，可以形成一個矢量場. 矢量場中各個矢量的大小和方向即人群運動的快慢和方向. 需要注意的是，該矢量場并不是人群真實的運動速度，僅僅是人群運動的透視視圖.

Lucas-Kanade方法根據(jù)臨近幀灰度梯度的變化，尋找各個像素的運動矢量. 以HORN 與SCHUNCK 的研究為基礎，產(chǎn)生了Lucas-Kanade光流算法，效果較好. 該方法是一種基于梯度的局部參數(shù)化光流估計方法. 該方法假設在圖像空間中一個小的窗口內(nèi)，光流矢量保持不變，則可以采用最小二乘法計算其光流矢量.

假設圖像平面一個像素點(x,y)，在t時刻的亮度為E(x,y,t)，u(x0,y0)為像素點的水平變化分量，v(x,y)為像素點的垂直變化分量.

u=dx/dt,

(1)

v=dy/dt.

(2)

在經(jīng)過時間間隔△t后該點對應點亮度為E(x+△x,y+△y,t+△t),當△t很小趨近于0時，假設該點亮度不變，如式(3).

E(x,y,t)=E(x+△x,y+△y,t+△t).

(3)

當該點的亮度有變化時，將移動后點的亮度由泰勒公式展開，如式(4).

E(x+△x,y+△y,t+△t)=

(4)

若二階導數(shù)為無窮小，△t為0，如式(5).

(5)

式中:w=(u,v)，該式為基本的光流約束方程.

令Ex=?E/?x,Ey=?E/?y,Et=?E/?t表示圖像中像素點灰度沿x,y,t方向的梯度，可將上式改寫成：Exu+Eyv+Et=0，即灰度一致約束條件. 輸入的視頻尺寸為X×Y；檢測當前圖像的所有Harris角點作為特征點；然后運用金字塔LK光流方法，取w×w的特征窗口，根據(jù)光流約束條件求解特征點的光流(u,v)，如式(6).

(6)

即Av=-b.

然后，采用最小二乘法，如式(7)和(8).

ATAv=AT(-b)或v=(ATA)-1AT(-b)，

(7)

(8)

實驗視頻共nFrame幀圖片，時間為tSum秒，則每幀圖像所需時間可通過式(9)來計算.

tEach=tSum/nFrame.

(9)

解算中，求和從1到n，通過圖像導數(shù)計算，并各自累加得出. 同時還需權重函數(shù)W(i,j,k)，i、j、k∈[1,m]來突出窗口中心點的坐標，采用高斯函數(shù)進行計算效果明顯，可較好地得到當前視頻的實時光流場. 該算法對特定應用場景(如車站人群)監(jiān)測效果較好，具有廣闊的應用前景.

1.2.2 光流場映射至2D地理空間

由視頻得到的光流場，其坐標為像素坐標，難以在地理空間中進行定位、量測或分析等，需要通過圖像空間與地理空間的映射方法將其投射至地圖中. 地圖明確的空間參考、宏觀觀測視角，有助于整體把握大區(qū)域人群的運動態(tài)勢. 光流場映射至2D地理空間是本文另一關鍵技術.

傳統(tǒng)的方法需要計算2D單應矩陣. 首先，在圖像中選擇3個及以上控制點，得到控制點的圖像坐標；然后，在高清遙感影像或地圖中選擇相應點，得到控制點的空間直角坐標；最后，計算2D單應矩陣H. 該方法不僅需要交互選擇，而且要求具備高清遙感影像或地形圖，適合于小型的視頻監(jiān)控場景，難以在大型的視頻監(jiān)控系統(tǒng)中使用. 特別是，當獲取目標的三維幾何信息時，2D單應方法無能為力. 在此背景下，張興國等[11]提出了監(jiān)控視頻與2D地理空間的互映射模型，可以較好地實現(xiàn)圖像空間與二維地理空間的一一對應.

為了得到人群真實的三維信息，顧及PTZ攝像機，本文引入了監(jiān)控視頻映射至2D地理空間的互映射模型. 該模型要求攝像機內(nèi)外參已知，便于計算. 相機模型以齊次方程來表示，如式(10).

(10)

式(10)中，攝像機的內(nèi)外參數(shù)隱藏在矩陣當中. 為了便于使用，通過對比分析攝影測量學和計算機視覺的相機模型，得到了便于使用的相機模型，如式(11).

(11)

式中：u0=x0ph,v0=Hpic-y0ph為像主點的坐標,Hpic為圖像高度，與攝影測量學中的內(nèi)外參數(shù)含義保持一致.

對于平面直角坐標系下某點，若高程為Zh，可實現(xiàn)圖像坐標到平面直角坐標的轉換,如式(12).

(12)

式中:s1=(fa1-u0a3)(-X)+(fb1-u0b3)·(-Y)+(fc1-u0c3)(-Z),s2=(fa2-v0a3)(-X)+(-fb2-v0b3)·(-Y)+(-fc2-v0c3)(-Z),s3=(-a3)(-Xs)+(-b3)(-Ys)+(-c3)(-Zs).

2 實驗與分析

2.1 實驗平臺與數(shù)據(jù)

本文基于MATLAB、OpenCV、VS C# 2012、ArcEngine作為實驗平臺，并將各環(huán)境下實現(xiàn)的算法進行集成，開發(fā)了一個人群狀態(tài)感知的原型系統(tǒng). MATLAB和OpenCV下的計算機視覺基礎庫較多，已經(jīng)實現(xiàn)了眾多基礎功能，如視頻實時接入、視頻文件播放、視頻幀的獲取、圖像尺寸調(diào)整等，本文以此為基礎，實現(xiàn)了所述算法，并封裝為DLL. 在VS C# 2012下調(diào)用相關DLL，并結合GIS二次開發(fā)組件ArcEngine，開發(fā)完成了原型系統(tǒng).

本文以某高校的餐廳及教學樓前作為實驗區(qū)域，采集了多個包含人群的視頻數(shù)據(jù)，并搜集了該區(qū)域的QuickBird遙感影像及高精度矢量地圖. 為了獲取攝像機的內(nèi)外參，采用滅點、滅線的方法來計算主距，結合高清遙感影像，獲取攝像機的外參(約束旋轉角為0). 從而，較好地實現(xiàn)了視頻數(shù)據(jù)到地理空間的映射.

2.2 實驗結果及分析

實驗主要包括三方面內(nèi)容，即光流提取、光流至地理空間映射、光流的空間分析. 基于Lucas-Kanade算法，實現(xiàn)了餐廳、教學樓前視頻數(shù)據(jù)光流信息提取，光流真實反映了人群運動的趨勢. 如圖2，箭頭的指向為光流的方向，其長度代表光流的值. 當人群中某人運動正常時，箭頭呈現(xiàn)方向趨同，長度相似，否則箭頭會出現(xiàn)雜亂，長度會長一些.

圖2 人群異常行為檢測Fig. 2 Abnormal behavior detection

基于視頻圖像空間與地理空間的互映射模型，可以將視頻中提取的光流實時映射到GIS中. GIS中，以箭頭的形式來表達，具有明確的空間參考和度量信息，可以從全局把握區(qū)域人群的運動狀態(tài). 如圖3，原型系統(tǒng)中展現(xiàn)了某時刻的運動光流場.

圖3 地圖中的光流場Fig. 3 The optical flow field in the map

基于GIS可以對光流場進行空間分析，本文進行了散點內(nèi)插和等值線生成實驗. 散點內(nèi)插選擇了IDW方法. 如圖4(a)，可以看出顏色越深速度越快，可根據(jù)顏色的深淺了解人群運動的速度場. 基于內(nèi)插的DSM，可以自動生成等值線，等值線的分布也反映了人群的運動狀態(tài)，如圖4(b). 值的變化量越小，線的間距就越大. 值上升或下降得越快，線的間距就越小.

圖4 光流場空間分析Fig. 4 Spatial analysis of the optical field

3 結論

基于GIS的人群感知方法，不僅解決了人群的空間定位、空間量算及一覽性問題，而且也提供了面向人群的空間分析方法，將會有效增強傳統(tǒng)的視頻監(jiān)控系統(tǒng). 同時，實時的人群運動信息對于地理信息科學也是至關重要的，該方法可促進視頻在GIS中的深入應用. 本文所提出的模型通過實驗驗證已取得了較好的實驗效果，但尚需在光流的尺度效應、精度評價、運行效率、多攝像機下光流的融合等方面深入研究. 視頻圖像的尺寸對光流場有重要影響，針對人群狀態(tài)感知而言，視頻圖像的最佳尺寸是一個值得研究的問題. 攝像機距離人群的遠近也影響光流信息的提取，距離或者深度的有效區(qū)間是光流計算的前提. 另外，多個攝像機距離人群遠近不同、攝像機的內(nèi)外參各異，光流的融合模型是大場景下人群光流場可視化的關鍵. 如何進一步提高運算速度、實時性、抗噪性及系統(tǒng)的魯棒性是后續(xù)研究的重點.