基于視頻數(shù)據(jù)挖掘的城市軌道交通車站行人交通行為特征提取系統(tǒng)研究

魏萬(wàn)旭，方 勇，胡 華，丁泓十

（上海工程技術(shù)大學(xué) 城市軌道交通學(xué)院，上海 201620)

0 引言

城市軌道交通車站大客流已成為常態(tài)，如2019年上海城市軌道交通日均客流量達(dá)1 063萬(wàn)人次。城市軌道交通車站出入口、閘機(jī)、樓扶梯、站臺(tái)和通道易發(fā)生擁擠踩踏事故，極小的行人異常交通行為都有可能引起人流的不穩(wěn)定，從而增加擁擠風(fēng)險(xiǎn)和踩踏事故發(fā)生的可能性[1]，因而開(kāi)展行人交通行為特征提取研究顯得尤為重要。

隨著技術(shù)的不斷進(jìn)步，視頻采集數(shù)據(jù)技術(shù)快速發(fā)展，可以通過(guò)視頻獲取行人運(yùn)動(dòng)軌跡，從而分析行人交通行為特征。Boltes等[2]開(kāi)發(fā)基于視頻的Petrack軟件用于自動(dòng)或半自動(dòng)地識(shí)別并確定行人運(yùn)動(dòng)位置和軌跡。Corbetta等[3]開(kāi)發(fā)基于Kinect的行人軌跡提取技術(shù)，用于長(zhǎng)時(shí)間的高精度行人運(yùn)動(dòng)軌跡提取。Hoogendoorn等[4]對(duì)行人的微觀交通行為進(jìn)行長(zhǎng)期研究，需要被觀測(cè)的行人戴不同顏色的帽子，利用帽子作為識(shí)別條件，通過(guò)對(duì)拍攝的視頻圖像進(jìn)行模式識(shí)別，得到普通行為和特定行為行人的運(yùn)動(dòng)軌跡。鄭宣傳[5]基于Blob分析的行人檢測(cè)與跟蹤技術(shù)，開(kāi)發(fā)乘客微觀交通行為參數(shù)采集系統(tǒng)(PedTrace)，用以提取軌跡、乘客速度、行人間距、加速度等交通行為特征數(shù)據(jù)。吳嬌蓉等[6]采用城市軌道交通車站雙向通道監(jiān)控，按照行人雙腳重心投影位置人工確定行走軌跡，分析行人超越交通行為特征和規(guī)律。

城市軌道交通車站大客流條件下，行人交通行為視頻數(shù)據(jù)采集易受遮擋，導(dǎo)致行人交通行為數(shù)據(jù)采集缺失而影響數(shù)據(jù)分析精度，且既有車站視頻采集技術(shù)功能較單一，未有效發(fā)揮基于視頻開(kāi)展行人交通行為數(shù)據(jù)提取的作用。因此，建立基于視頻數(shù)據(jù)挖掘的城市軌道交通車站行人交通行為特征參數(shù)提取系統(tǒng)，對(duì)于研究城市軌道交通車站行人交通行為特征、開(kāi)展客流管控具有重要作用。

1 城市軌道交通車站行人交通行為特征提取系統(tǒng)架構(gòu)

視頻數(shù)據(jù)采集需要的人工操作較少，通過(guò)安裝在固定位置的攝像機(jī)拍攝的視頻，即可以實(shí)現(xiàn)對(duì)行人的定位、識(shí)別和跟蹤及交通行為特征參數(shù)的提取，并在此基礎(chǔ)上能夠進(jìn)一步實(shí)現(xiàn)行人交通行為的分析，因而構(gòu)建基于視頻數(shù)據(jù)挖掘提取行人交通行為特征參數(shù)?；谝曨l數(shù)據(jù)挖掘的行人交通行為特征提取系統(tǒng)架構(gòu)如圖1所示。系統(tǒng)以多攝像頭采集的視頻數(shù)據(jù)作為輸入，在計(jì)算機(jī)上實(shí)現(xiàn)視頻的拼接，以及基于視頻提取行人交通行為基礎(chǔ)數(shù)據(jù)集并對(duì)基礎(chǔ)數(shù)據(jù)集進(jìn)行存儲(chǔ)，再經(jīng)過(guò)大數(shù)據(jù)挖掘技術(shù)獲取行人交通行為特征參數(shù)集，并運(yùn)用分布式存儲(chǔ)技術(shù)進(jìn)行存儲(chǔ)。

圖1 基于視頻數(shù)據(jù)挖掘的行人交通行為特征提取系統(tǒng)架構(gòu)Fig.1 Framework of the characteristics extraction system for pedestrian traffic behavior based on video data mining

（1）視頻采集?？紤]到城市軌道交通車站內(nèi)原有監(jiān)控?cái)z像機(jī)的布設(shè)角度和位置對(duì)行人交通行為基礎(chǔ)數(shù)據(jù)的提取造成一定困難，因此采用球型攝像機(jī)在城市軌道交通車站相應(yīng)節(jié)點(diǎn)(通道、閘機(jī)、樓扶梯)處垂直俯拍，將行人三維空間里的運(yùn)動(dòng)轉(zhuǎn)換為二維平面里的運(yùn)動(dòng)。攝像機(jī)位置固定，幀率24幀/s。由于單臺(tái)攝像機(jī)的拍攝范圍有限，不能完全覆蓋實(shí)驗(yàn)區(qū)域，因而可以布設(shè)多臺(tái)攝像機(jī)來(lái)延長(zhǎng)拍攝范圍，并保證相鄰攝像機(jī)的拍攝畫(huà)面有一定的重疊區(qū)域，后期對(duì)多臺(tái)攝像機(jī)視頻中的行人畫(huà)面進(jìn)行拼接。由于重疊區(qū)域過(guò)大會(huì)降低視頻拼接效率，增加在重疊區(qū)域出現(xiàn)重影問(wèn)題的可能性，重疊區(qū)域過(guò)小則會(huì)導(dǎo)致特征點(diǎn)對(duì)太少而無(wú)法進(jìn)行有效拼接，一般要保證20% ～ 50%的重疊區(qū)域。另外，攝像機(jī)布設(shè)數(shù)量應(yīng)根據(jù)車站站廳站臺(tái)層高、各節(jié)點(diǎn)設(shè)施尺寸而定，以某城市軌道交通車站為例，車站站廳層高為2.9 m，攝像機(jī)架設(shè)高度為2.6 m，單臺(tái)攝像機(jī)垂直拍攝時(shí)拍攝范圍為2.4 m×2.4 m，相鄰兩攝像機(jī)拍攝重疊區(qū)域?qū)挒?.5 m，攝像機(jī)布設(shè)數(shù)量及位置如圖2所示。

圖2 攝像機(jī)布設(shè)數(shù)量及位置Fig.2 Number and location of cameras

（2）視頻存儲(chǔ)。城市軌道交通車站內(nèi)球型攝像機(jī)以視頻數(shù)據(jù)的方式對(duì)其拍攝范圍內(nèi)的場(chǎng)景和行人信息進(jìn)行不間斷地記錄，單臺(tái)攝像機(jī)錄制1個(gè)月的數(shù)據(jù)大概需要2 T的存儲(chǔ)容量，整個(gè)車站乃至整條線路布設(shè)的大量高清攝像機(jī)將會(huì)產(chǎn)生大量視頻數(shù)據(jù)。將所采集的大量視頻數(shù)據(jù)通過(guò)網(wǎng)絡(luò)傳輸存儲(chǔ)在Hadoop環(huán)境下的分布式文件存儲(chǔ)系統(tǒng)(Hadoop Distributed File System，HDFS)上， 然 后 基 于MapReduce分布式框架實(shí)現(xiàn)對(duì)不同攝像機(jī)錄制的視頻數(shù)據(jù)的并行處理。Hadoop是集存儲(chǔ)、處理、計(jì)算、分析等為一體的開(kāi)源分布式并行處理框架，以HDFS和MapReduce編程模型為核心[7]。

（3）數(shù)據(jù)提取。行人交通行為特征提取系統(tǒng)中數(shù)據(jù)提取主要步驟如下：①采用尺度不變特征變換(Scale-Invariant Feature Transform，SIFT)算法拼接連續(xù)相鄰的俯拍視頻；②通過(guò)運(yùn)動(dòng)單元跟蹤算法從拼接視頻中提取行人運(yùn)動(dòng)軌跡并獲取行人交通行為基礎(chǔ)數(shù)據(jù)；③根據(jù)行人交通行為基礎(chǔ)數(shù)據(jù)計(jì)算行人交通行為判別指標(biāo)，并執(zhí)行行人交通行為判別流程，判斷行人的交通行為；④提取該行人交通行為特征參數(shù)。

（4）數(shù)據(jù)存儲(chǔ)。數(shù)據(jù)存儲(chǔ)主要是對(duì)行人交通行為基礎(chǔ)數(shù)據(jù)、行人交通行為判別指標(biāo)數(shù)據(jù)，以及最終所有行人交通行為特征數(shù)據(jù)的分布存儲(chǔ)。在得到大量行人交通行為基礎(chǔ)參數(shù)數(shù)據(jù)后，需要對(duì)這些海量數(shù)據(jù)進(jìn)行存儲(chǔ)和進(jìn)一步計(jì)算分析。HDFS負(fù)責(zé)管理分布式文件存儲(chǔ)系統(tǒng)，將時(shí)間、位置坐標(biāo)等行人交通行為基礎(chǔ)數(shù)據(jù)和行人交通行為判別指標(biāo)數(shù)據(jù)以text格式存儲(chǔ)在HDFS中。MapReduce編程模型為“先分解任務(wù)、計(jì)算，再匯總結(jié)果”的計(jì)算框架，將基礎(chǔ)數(shù)據(jù)集經(jīng)過(guò)map函數(shù)進(jìn)行任務(wù)分解，并行執(zhí)行行為判別流程判斷行人交通行為類別后，并行計(jì)算行人交通行為特征參數(shù)，然后創(chuàng)建reduce函數(shù)，將相同的行人交通行為進(jìn)行統(tǒng)計(jì)相加，得到一種行人交通行為的所有特征數(shù)據(jù)集并存儲(chǔ)在HDFS中。

2 城市軌道交通車站行人交通行為特征提取系統(tǒng)核心技術(shù)

城市軌道交通車站行人交通行為數(shù)據(jù)提取，包含拼接視頻中行人交通行為基礎(chǔ)數(shù)據(jù)的提取、行人交通行為類型的判別和交通行為特征參數(shù)的提取，是行人交通行為特征提取系統(tǒng)的核心部分，將大量的視頻數(shù)據(jù)轉(zhuǎn)化成結(jié)果數(shù)據(jù)記錄的形式。

2.1 多攝像頭視頻拼接

視頻拼接本質(zhì)上是對(duì)視頻幀圖像進(jìn)行拼接，運(yùn)用圖像拼接算法對(duì)視頻序列進(jìn)行處理，視頻圖像拼接主要包括圖像配準(zhǔn)(特征點(diǎn)提取與特征匹配)和圖像融合2個(gè)步驟。視頻拼接流程如圖3所示。

圖3 視頻拼接流程Fig.3 Process of video splicing

（1）SIFT特征點(diǎn)提取[8]。對(duì)樣本行人交通行為圖像和目標(biāo)行人交通行為圖像的特征點(diǎn)進(jìn)行提取，步驟如下。在行人交通行為圖像高斯差分尺度空間中提取極值點(diǎn)，獲得尺度不變性；通過(guò)擬合函數(shù)確定特征點(diǎn)并刪除不穩(wěn)定極值點(diǎn)；然后在以特征點(diǎn)為中心的鄰域窗口內(nèi)，利用梯度方向直方圖統(tǒng)計(jì)鄰域內(nèi)像素的梯度方向，將360°的圓以10°為單位分成36列，列的長(zhǎng)度代表梯度的大小，直方圖中峰值列的方向?yàn)樘卣鼽c(diǎn)鄰域梯度的主方向，大于主方向峰值80%的梯度方向可以作為輔助方向，來(lái)增加檢測(cè)點(diǎn)的魯棒性；最后根據(jù)特征點(diǎn)周圍的點(diǎn)變化情況生成128維的特征描述符。

（2）特征匹配。得到兩幅行人交通行為圖的特征點(diǎn)后，采用歐式距離作為度量標(biāo)準(zhǔn)進(jìn)行兩幅圖的特征點(diǎn)匹配，找出與目標(biāo)行人交通行為圖像特征點(diǎn)最鄰近和次鄰近的樣本圖像特征點(diǎn)，求出最近與次近距離的比值，小于一定閾值時(shí)即形成成對(duì)的特征點(diǎn)。并利用隨機(jī)抽樣一致(Random Sample Consensus，RANSAC)算法去除錯(cuò)誤匹配點(diǎn)對(duì)，提高準(zhǔn)確率[9]。

（3）圖像融合。為了使重疊區(qū)域過(guò)渡更完美，利用非線性加權(quán)融合方法對(duì)行人交通行為圖像進(jìn)行融合。對(duì)行人交通行為視頻進(jìn)行關(guān)鍵幀提取，并對(duì)多個(gè)關(guān)鍵幀進(jìn)行重復(fù)操作完成視頻拼接[10]。

2.2 行人交通行為基礎(chǔ)數(shù)據(jù)提取

提取行人交通行為基礎(chǔ)數(shù)據(jù)時(shí)，首先從拼接完成的俯拍視頻中檢測(cè)目標(biāo)行人，然后根據(jù)行人目標(biāo)質(zhì)心的運(yùn)動(dòng)提取行人運(yùn)動(dòng)軌跡，最后根據(jù)行人運(yùn)動(dòng)軌跡提取行人時(shí)間、位置坐標(biāo)等并生成行人交通行為基礎(chǔ)數(shù)據(jù)集。

（1）行人檢測(cè)。對(duì)采集到的行人交通行為視頻用幀間差分法實(shí)現(xiàn)行人檢測(cè)[11]。默認(rèn)1 s為24幀，以1 s為間隔選取幀，則設(shè)行人交通行為視頻序列中第n幀和第n+ 24幀圖像為fn和fn+24，將2幀圖像對(duì)應(yīng)像素點(diǎn)的灰度值進(jìn)行相減并取其絕對(duì)值，得到差分圖像Dn；設(shè)定閾值T，對(duì)Dn中逐個(gè)像素點(diǎn)進(jìn)行二值化處理(當(dāng)Dn中像素點(diǎn)大于等于T時(shí)，令該點(diǎn)像素值為255，即為運(yùn)動(dòng)目標(biāo)點(diǎn)；當(dāng)Dn中像素點(diǎn)小于T時(shí)，令該點(diǎn)像素值為0，即為背景點(diǎn))，最終得到二值化圖像。

（2）行人軌跡提取。將包含有行人目標(biāo)的二值化圖像中行人目標(biāo)的質(zhì)心作為運(yùn)動(dòng)軌跡的參考點(diǎn)，計(jì)算出行人目標(biāo)質(zhì)心后，對(duì)視頻進(jìn)行多幀疊加，依次連接計(jì)算得到的行人目標(biāo)質(zhì)心，就能夠獲取行人的運(yùn)動(dòng)軌跡。

（3）行人交通行為基礎(chǔ)數(shù)據(jù)提取。在車站各節(jié)點(diǎn)設(shè)施處以行人主要流向?yàn)閥軸建立平面直角坐標(biāo)系，將行人位置坐標(biāo)化后得到行人運(yùn)動(dòng)時(shí)刻t對(duì)應(yīng)的位置坐標(biāo)(x，y)數(shù)據(jù)集。

2.3 行人交通行為類別判斷及特征參數(shù)提取

提取行人交通行為特征參數(shù)前需要根據(jù)行人自身通行空間、速度、位移、路程等指標(biāo)進(jìn)行交通行為類別判斷，因而在提取時(shí)間、位置數(shù)據(jù)的基礎(chǔ)上，先計(jì)算行為判斷指標(biāo)形成行為判斷數(shù)據(jù)集，后續(xù)調(diào)用此數(shù)據(jù)集進(jìn)行行為類別判斷后計(jì)算特征參數(shù)。

（1）類別判斷?；谛腥藙?dòng)力學(xué)理論，將城市軌道交通車站行人交通行為按個(gè)體單獨(dú)作用、個(gè)體與個(gè)體之間耦合作用、個(gè)體和障礙物之間耦合作用，劃分為單體行為、交互行為、避障行為3類。將3類行為進(jìn)行細(xì)分，單體行為劃分為行走行為、徘徊行為、停留行為；交互行為劃分為跟隨行為、超越行為、避讓行為、插入行為；避障行為劃分為換道行為、后退行為。為更高效地提取行人交通行為特征參數(shù)，可以預(yù)先對(duì)行人行為類別進(jìn)行判斷。另外，由于在避障行為發(fā)生的同時(shí)會(huì)存在單體行為或交互行為，因而避障行為判別與單體行為、交互行為判別同時(shí)進(jìn)行。行人單體行為及交互行為判別流程如圖4所示。行人避障行為判別流程如圖5所示。

圖4 行人單體行為及交互行為判別流程Fig.4 Discrimination process of pedestrian individuals and interactive behavior

圖5 行人避障行為判別流程Fig.5 Discrimination process of pedestrian obstacle avoidance behavior

（2）特征參數(shù)提取。判斷出行人交通行為類別后，根據(jù)基礎(chǔ)數(shù)據(jù)集及特征參數(shù)計(jì)算公式對(duì)行為特征參數(shù)進(jìn)行提取。例如，停留行為特征參數(shù)包括行人速度、停留范圍和停留時(shí)間；跟隨行為特征參數(shù)包括跟隨速度差、橫向間距、跟隨距離和速度方向夾角；換道行為特征參數(shù)包括行人走行方向變化量、行人換道行為起點(diǎn)與障礙物中心之間的縱向距離和行人累積側(cè)移距離。

3 行人跟隨行為特征參數(shù)提取系統(tǒng)有效性驗(yàn)證

3.1 跟隨行為特征參數(shù)提取

采集上海軌道交通2號(hào)線徐涇東站行人交通行為視頻，將基于視頻數(shù)據(jù)挖掘的城市軌道交通車站行人交通行為特征提取系統(tǒng)提取的與人工計(jì)算得到的行人跟隨行為特征參數(shù)進(jìn)行比較，驗(yàn)證數(shù)據(jù)的有效性。在閘機(jī)處建立二維直角坐標(biāo)系，行人跟隨行為軌跡如圖6所示。視頻以4幀/s播放。

圖6 行人跟隨行為軌跡Fig.6 Pedestrian following behavior trajectories

跟隨行為是指在一定密度行人環(huán)境下，行人在走行過(guò)程中受到視野范圍內(nèi)其他行人或障礙物的影響，改變走行路徑和走行速度，跟隨前方行人走行的行為。跟隨行為特征參數(shù)計(jì)算公式如下。

式中：ΔV為跟隨速度差，分別為被跟隨者i、跟隨者j在同一時(shí)刻的速度大小，m/s。

式中：DH為橫向間距，m；xim和xjm分別為行人i、行人j在m時(shí)刻的橫坐標(biāo)，m。

式中：yim和yjm為行人i、行人j在m時(shí)刻的縱坐標(biāo)，m。

3.2 跟隨行為特征參數(shù)有效性驗(yàn)證

分析比較上海軌道交通2號(hào)線徐涇東站行人跟隨行為特征參數(shù)系統(tǒng)提取結(jié)果與人工計(jì)算結(jié)果，行人跟隨行為特征參數(shù)提取結(jié)果有效性驗(yàn)證如圖7所示。由于系統(tǒng)在追蹤行人軌跡時(shí)以行人頭頂為追蹤對(duì)象，行人頭部稍微移動(dòng)就會(huì)被識(shí)別為行人移動(dòng)，但實(shí)際中行人是站立不動(dòng)的，因而圖7中系統(tǒng)提取的結(jié)果曲線有輕微波動(dòng)。

從圖7a中可以看出，行人橫向間距DH逐漸減小至0，行人j跟隨行人i向前行走。圖7b和7c中兩人跟隨速度差ΔV和跟隨距離dij先增加后減小，是由于被跟隨行人減速走至閘機(jī)處停留刷卡時(shí)，跟隨行人原地停留后以一定的速度走向被跟隨行人，隨著兩人距離的減少，跟隨行人逐漸減速，直至兩人保持正常行人靜態(tài)空間需求的距離。圖7 d跟隨行人與被跟隨行人走行速度夾角θij逐漸下降至0，跟隨行人改變走行方向逐漸與被跟隨行人同向，t= 2 s時(shí)，系統(tǒng)提取結(jié)果出現(xiàn)突兀拐點(diǎn)，是由于行人追蹤時(shí)將跟隨行人頭部的輕微后移當(dāng)作行人移動(dòng)所造成的。

圖7 行人跟隨行為特征參數(shù)提取結(jié)果有效性驗(yàn)證Fig.7 Validation for the extracted results of following behavior’s characteristic parameters

通過(guò)上述驗(yàn)證結(jié)果可知，系統(tǒng)提取結(jié)果相對(duì)人工計(jì)算結(jié)果存在一定誤差，但總體滿足實(shí)際工作需求，可以進(jìn)一步通過(guò)優(yōu)化系統(tǒng)數(shù)據(jù)挖掘方法對(duì)類似跟隨行人與被跟隨行人走行速度夾角θij出現(xiàn)的突兀拐點(diǎn)數(shù)據(jù)等無(wú)效數(shù)據(jù)進(jìn)行清洗來(lái)降低誤差。

4 結(jié)束語(yǔ)

城市軌道交通車站行人交通行為特征數(shù)據(jù)提取，對(duì)于研究城市軌道交通車站行人交通行為特征、保障行人通行效率與安全，以及設(shè)施的合理設(shè)計(jì)具有重要意義。設(shè)計(jì)基于視頻數(shù)據(jù)挖掘的城市軌道交通車站行人交通行為特征提取系統(tǒng)，經(jīng)過(guò)數(shù)據(jù)有效性驗(yàn)證，證明運(yùn)用Hadoop平臺(tái)能夠高效提取及存儲(chǔ)大量行人交通行為特征數(shù)據(jù)，為城市軌道交通車站的客流管控、維護(hù)車站運(yùn)營(yíng)安全提供技術(shù)支持。進(jìn)一步還應(yīng)考慮應(yīng)用該系統(tǒng)提取車站內(nèi)行人的各交通行為特征參數(shù)，為城市軌道交通車站微觀交通行為研究奠定數(shù)據(jù)基礎(chǔ)。