基于視頻序列的列車駕駛員行為自動(dòng)識(shí)別算法的研究

李 梅，龔 威，賈俊偉

(天津城建大學(xué) a. 計(jì)算機(jī)與信息工程學(xué)院；b. 控制與機(jī)械工程學(xué)院，天津 300384)

隨著鐵路的大發(fā)展，安全駕駛成為保證鐵路安全運(yùn)輸中重點(diǎn)關(guān)注的問(wèn)題之一.因此，如何監(jiān)督和確保列車駕駛員的良好工作狀態(tài)也變得越來(lái)越重要.目前，駕駛員行為監(jiān)督環(huán)節(jié)是通過(guò)監(jiān)控人員盯多屏來(lái)實(shí)現(xiàn)，耗費(fèi)大量人力.本文根據(jù)列車駕駛員駕駛時(shí)的特點(diǎn)和規(guī)律，分析其疲勞駕駛時(shí)的行為，針對(duì)列車運(yùn)行時(shí)駕駛室內(nèi)光照變化等因素的影響，采用有效的列車駕駛員行為檢測(cè)和識(shí)別算法，研究并設(shè)計(jì)了一個(gè)具有遠(yuǎn)程智能監(jiān)控功能的列車駕駛員行為識(shí)別和報(bào)警系統(tǒng).

1 系統(tǒng)構(gòu)成

系統(tǒng)將圖像數(shù)據(jù)采集、運(yùn)動(dòng)目標(biāo)檢測(cè)、行為識(shí)別和違規(guī)自動(dòng)報(bào)警等功能集成為一個(gè)一體化的平臺(tái)，主要構(gòu)成部分包括：前端采集、傳輸、存儲(chǔ)、報(bào)警、顯示和計(jì)算機(jī)處理系統(tǒng).其中計(jì)算機(jī)處理系統(tǒng)是利用智能監(jiān)控軟件對(duì)圖像數(shù)據(jù)進(jìn)行處理，完成圖像人體檢測(cè)、跟蹤和識(shí)別等工作，是整個(gè)智能監(jiān)控系統(tǒng)的核心.系統(tǒng)結(jié)構(gòu)如圖1所示.

圖1 系統(tǒng)結(jié)構(gòu)圖

2 運(yùn)動(dòng)目標(biāo)檢測(cè)

智能視頻監(jiān)控首先要進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)，它是指從采集到的視頻圖像中提取出運(yùn)動(dòng)目標(biāo)，其效果直接影響目標(biāo)行為的識(shí)別和系統(tǒng)的有效性與實(shí)時(shí)性.

運(yùn)動(dòng)目標(biāo)檢測(cè)常用的方法有光流法、幀間差分法、背景減除法等.由于列車駕駛室處于高速運(yùn)行狀態(tài)，光照、陰影等環(huán)境因素變化快，對(duì)駕駛員姿態(tài)提取的難度增加，通過(guò)對(duì)不同的運(yùn)動(dòng)目標(biāo)檢測(cè)算法的分析對(duì)比，發(fā)現(xiàn)背景減除法中混合高斯背景模型[1]能夠很好地適應(yīng)背景變化，因此系統(tǒng)采用基于該模型的檢測(cè)算法，并針對(duì)其不足，使用了一種改進(jìn)的高斯背景模型的運(yùn)動(dòng)目標(biāo)檢測(cè)算法，通過(guò)與Otsu[2]自適應(yīng)閾值的幀間差分法結(jié)合消除光線、陰影的干擾，實(shí)驗(yàn)驗(yàn)證該算法具有實(shí)時(shí)性和準(zhǔn)確性特點(diǎn).

2.1 混合高斯背景模型檢測(cè)算法

2.1.1 背景模型的建立

式中：μk為均值，σk是第K個(gè)分量的標(biāo)準(zhǔn)差矩陣.

2.1.2 背景模型參數(shù)的自適應(yīng)

在模型初始化之后，根據(jù)模型匹配情況不斷地更新背景模型中的各個(gè)參數(shù)，來(lái)適應(yīng)時(shí)刻發(fā)生變化的背景以獲得最準(zhǔn)確的背景模型.

首先，判斷當(dāng)前像素值是否滿足背景模型的高斯分布

若滿足式(3)，則認(rèn)為該像素值匹配這個(gè)高斯分布，否則不匹配，繼續(xù)與優(yōu)先級(jí)低的高斯分布相匹配.

其次，判斷當(dāng)前點(diǎn)為前景點(diǎn)或背景點(diǎn).若當(dāng)前像素值與 K個(gè)高斯分布存在與之匹配的高斯成分，則判斷該點(diǎn)為背景點(diǎn)，否則當(dāng)前像素值為前景點(diǎn).

最后，更新匹配的高斯分布的參數(shù)，其權(quán)值、均值和方差分別按照公式(4)，(5)以及公式(6)更新

其中，ρ為方差與均值的學(xué)習(xí)率， ρ=α/ ωi,t；α為權(quán)重的學(xué)習(xí)率.

2.2 采用Otsu自適應(yīng)閾值的幀間差分法

由于幀間差分法是通過(guò)檢測(cè)相鄰兩幀之間的變化來(lái)得到運(yùn)動(dòng)目標(biāo)的區(qū)域(Ac)，但是相鄰兩幀之間的變化包括運(yùn)動(dòng)物體實(shí)際的輪廓和被運(yùn)動(dòng)目標(biāo)遮擋隨著運(yùn)動(dòng)目標(biāo)離開而顯現(xiàn)的背景區(qū)域(Aubg)，這兩部分都被判斷為運(yùn)動(dòng)目標(biāo)，使得運(yùn)動(dòng)目標(biāo)的區(qū)域大于實(shí)際運(yùn)動(dòng)目標(biāo)的輪廓(Ao)，所以接下來(lái)要對(duì)顯現(xiàn)的背景區(qū)域進(jìn)行處理，去除這部分干擾，其中實(shí)際背景區(qū)域用(Abg)表示.

設(shè) It-1(x y )和 It( x y)為視頻序列中t-1時(shí)刻和t時(shí)刻相鄰兩幀圖像中相同位置像素點(diǎn)的像素值，將這兩幀圖像進(jìn)行差分處理，判定規(guī)則如下

其中，T是差分閾值，傳統(tǒng)的差分閾值T是提前給定的，但是針對(duì)不同的環(huán)境要設(shè)定不同的差分閾值，所以本文針對(duì)這一點(diǎn)采用Otsu閾值分割方法，針對(duì)不同的環(huán)境自適應(yīng)獲取不同的閾值，并根據(jù)環(huán)境中光線變動(dòng)提出添加值.閾值T的計(jì)算公式如下

其中，Tc采用Otsu閾值分割方法，附加值ΔT代表了光線對(duì)背景的影響，當(dāng)光線對(duì)背景的影響較小時(shí)，附加值近乎為0.當(dāng)光線對(duì)背景的影響較大時(shí)，附加值會(huì)明顯增大，本算法更能適應(yīng)光照突變的情況.

2.3 混合高斯背景模型與幀間差分法的綜合應(yīng)用

由于混合高斯模型在運(yùn)動(dòng)物體長(zhǎng)時(shí)間停留融入背景時(shí)，達(dá)不到需要的檢測(cè)結(jié)果，因此將混合高斯模型的背景建模和采用Otsu自適應(yīng)閾值的幀間差分法相結(jié)合，通過(guò)幀間差分將視頻序列的每一幀圖像區(qū)分為前景區(qū)域和背景區(qū)域，再利用混合高斯模型不斷地更新背景區(qū)域的高斯分布參數(shù)，形成新的背景模型，而前景區(qū)域不更新高斯分布參數(shù).方法流程如圖2所示.

圖2 混合高斯背景模型結(jié)合幀間差分法流程圖

由公式 ρ=α/ ωi,t可知，學(xué)習(xí)率ρ的大小由α決定，α越大則背景更替的速率就越快.α應(yīng)根據(jù)實(shí)際圖像變化而定，對(duì)于當(dāng)前幀中突出的被運(yùn)動(dòng)物體覆蓋的區(qū)域，則應(yīng)賦予較大的值，一般取α＞0.8，這種處理方法能夠?qū)崿F(xiàn)，即使運(yùn)動(dòng)物體短暫融入背景，又突然離開，背景模型也會(huì)迅速更新，不會(huì)留下虛假的運(yùn)動(dòng)目標(biāo).

3 駕駛員行為識(shí)別

駕駛員行為識(shí)別是視頻監(jiān)控的核心任務(wù).本系統(tǒng)利用星形骨架特征方法[4]提取人體特征，建立碼表，并在行為識(shí)別中應(yīng)用隱馬爾科夫模型(HMM)[5].

3.1 HMM人體行為識(shí)別算法

HMM的基本理論形成于20世紀(jì)60年代末和70年代初，常用簡(jiǎn)寫形式 λ= {A,B,π}表示.其中π為初始狀態(tài)分布，A用來(lái)描述馬爾科夫鏈，輸出為狀態(tài)序列，B用來(lái)描述隨機(jī)過(guò)程，輸出為觀察符號(hào)序列.

HMM可分為訓(xùn)練和識(shí)別兩部分，訓(xùn)練部分可以采用Baum-Welch算法來(lái)訓(xùn)練模型的λi，識(shí)別部分可以采用前向算法計(jì)算出最可能輸出該序列的模板.

Baum-Welch估計(jì)算法能確定一個(gè)HMM模型參數(shù)λ={A,B,π}，使P( O|λi) 最大.算法描述如下.

重估公式

前向變量定義如下

前向算法描述如下

① 初始化：

② 遞推：

③ 終止：

遞推是整個(gè)算法的核心，使計(jì)算量大大減少.

3.2 算法驗(yàn)證

HMM 人體行為識(shí)別算法驗(yàn)證是在 KTH[6]和HollyWood[7]人體行為數(shù)據(jù)庫(kù)中進(jìn)行.針對(duì)KTH數(shù)據(jù)庫(kù)取出“走動(dòng)”(walk)和“彎腰”(bend)動(dòng)作，Hollywood 取出“打電話”(Phone)、“坐下”(Sit down)和“揮手”(wave)動(dòng)作，兩個(gè)數(shù)據(jù)庫(kù)共5組動(dòng)作，選擇10個(gè)人分別做5種動(dòng)作并重復(fù)3次，選取的視頻一般在20幀和80幀之間，如果視頻的幀數(shù)太少，還不能夠很好地提取出人體行為特征，如果視頻幀數(shù)太大，會(huì)使接下來(lái)的學(xué)習(xí)越來(lái)越困難.最終實(shí)驗(yàn)結(jié)果中Phone的識(shí)別正確率相對(duì)較低，因?yàn)槿舜螂娫挼氖直蹌?dòng)作并不明顯，特征匹配會(huì)出現(xiàn)偏差，另外4種識(shí)別正確率均超過(guò)96%，達(dá)到了預(yù)期目標(biāo).

4 系統(tǒng)測(cè)試

測(cè)試主要包括功能測(cè)試和性能測(cè)試.本測(cè)試在VC＋＋6.0平臺(tái)上進(jìn)行，通過(guò)軟件界面來(lái)顯示測(cè)試結(jié)果，通過(guò)暫停按鈕來(lái)查看某一幀的識(shí)別情況，重新開始按鈕繼續(xù)查看識(shí)別結(jié)果(見圖3-6).

圖3 實(shí)驗(yàn)人員正常坐下

圖4 實(shí)驗(yàn)人員伏案睡覺

圖5 實(shí)驗(yàn)人員仰躺在椅子上睡覺

圖6 實(shí)驗(yàn)人員隨意走動(dòng)

如圖3所示，當(dāng)目標(biāo)人體在場(chǎng)景中呈現(xiàn)為一種坐姿時(shí)，視頻輸出結(jié)果無(wú)變化，即無(wú)異常行為發(fā)生.圖4-6中場(chǎng)景人員分別為伏案、仰靠和走動(dòng)，經(jīng)判定這幾種行為均為違規(guī)行為，因此，觸發(fā)系統(tǒng)報(bào)警信號(hào)進(jìn)行報(bào)警并作報(bào)警記錄.

5 結(jié) 語(yǔ)

本文研究并設(shè)計(jì)了一個(gè)基于視頻序列的列車駕駛員行為識(shí)別系統(tǒng).通過(guò)對(duì)運(yùn)動(dòng)目標(biāo)檢測(cè)算法的研究，提出采用混合高斯模型與幀間差分法搭配使用的改進(jìn)目標(biāo)檢測(cè)算法，既克服了光照影響也提取出人體完整輪廓，并采用自適應(yīng)閾值分割方法，使目標(biāo)檢測(cè)在不同場(chǎng)景都有較好的效果；針對(duì)駕駛員違規(guī)行為識(shí)別，采用復(fù)雜度低且效果較好的星形骨架特征提取方法來(lái)描述人體的運(yùn)動(dòng)特征，最后采用隱馬爾科夫模型實(shí)現(xiàn)了對(duì)連續(xù)的駕駛員行為進(jìn)行快速識(shí)別.經(jīng)過(guò)功能測(cè)試結(jié)果說(shuō)明本系統(tǒng)能較好地完成列車駕駛員基本行為的識(shí)別功能，并對(duì)違規(guī)行為能做出及時(shí)報(bào)警和記錄.

［1］蘇 兵，李 剛，王洪元. 基于改進(jìn)高斯混合模型的運(yùn)動(dòng)目標(biāo)檢測(cè)方法[J]. 計(jì)算機(jī)工程，2012(2)：210-212.

［2］OTSU N. A threshold selection method from gray-level histogram[J]. IEEE Transactions on Systems Man and Cybernetics，1979，9(1)：62-66.

［3］STAUFFER C，GRIMSON W E L. Adaptive background mixture models for real-time tracking[C]. Fort Collins：IEEE Computer Society Conference on Computer Vision and Pattern Recongnition，1999.

［4］FUJIYOSHI H，LIPTON A J. Real-time human motion analysis by Image Skeletonization[C]. Princeton，NJ：Fourth IEEE Workshop on Applications of Computer Vision，1998.

［5］黃 靜，孔令富，李海濤. 基于傅里葉-隱馬爾科夫模型的人體行為識(shí)別[J]. 計(jì)算機(jī)仿真，2011，28(7)：245-248.

［6］SCHULDT C，LAPTEV I，CAPUTO B. Recognizing human actions：a local SVM approach[J]. International Journal of Pattern Recognition，2004(3)：32-36.

［7］MARSZALEK M，LAPTEV I，SCHMID C. Actions in Context[C]. Miami，F(xiàn)L：IEEE Conference on Computer Vision Pattern Recognition，2009.