車內(nèi)司乘人員異常行為檢測研究

王晨WANG Chen；張海寧ZHANG Hai-ning

（西安工業(yè)大學(xué)電子信息工程學(xué)院，西安 710021）

0 引言

車內(nèi)異常行為的發(fā)生嚴(yán)重影響司乘人員的行車安全，現(xiàn)有車內(nèi)視頻監(jiān)控異常行為主要集中在疲勞駕駛和分心駕駛。本文主要研究突發(fā)疾病時駕駛員的異常駕駛行為及司乘人員的異常交互行為[1]。

目前，針對駕駛員異常行為識別研究主要有以下2類：基于車輛狀態(tài)及參數(shù)的方法，通過測量方向盤運動、踏板位置等參數(shù)檢測駕駛狀態(tài)，增加了車載外設(shè)將導(dǎo)致高錯誤識別率且無法識別特定行為[2]；基于人工基本特征的方法，如提取圖像的局部紋理、Haar、HOG等人工特征[3]并引入多特征融合，彌補了僅依賴單個特征的缺點，但對復(fù)雜背景的多維時間序列和多分類，僅識別行為是否屬于異常，降低了識別準(zhǔn)確率。

目前，檢測司乘人員異常行為應(yīng)用很少。但據(jù)其他不同場景中異常行為識別應(yīng)用：如Rougier C等將運動歷史圖像與人體形狀變化相結(jié)合以檢測異常行為，但只能近似表示人體，精度較低[4]?；谶\動軌跡方法，跟蹤并檢測人體運動圖像軌跡是否偏離正常軌跡來確定異常行為[5]。如文獻[6]方法主要針對開放或人員位移變化明顯的場景，且在光照、空間受限等約束下，其準(zhǔn)確率會大大降低。

本文引入骨架關(guān)鍵點重構(gòu)姿勢模型，設(shè)計一種DBDC分類檢測方法；對司乘人員異常行為提出一種基于時空特征的檢測算法，利用金字塔光流算法跟蹤SIFT算法提取的時間特征點，統(tǒng)計特征點位移及動能，該方法能準(zhǔn)確識別人體行為姿態(tài)，使識別準(zhǔn)確率可達95%以上。

1 網(wǎng)絡(luò)模型

使用AlphaPose骨架關(guān)鍵點檢測模型，用于提取車中駕駛員和乘客的關(guān)鍵點，以識別車內(nèi)行為。如圖1所示為AlphaPoae網(wǎng)絡(luò)結(jié)構(gòu)。

圖1 AlphaPose網(wǎng)絡(luò)結(jié)構(gòu)

2 駕駛員異常行為識別檢測

2.1 構(gòu)建姿態(tài)特征

車內(nèi)人員大部分保持坐姿，駕駛行為基本由上身運動組成，本文使用人體上部13個關(guān)鍵骨架點坐標(biāo)位置信息提取特征數(shù)據(jù)，區(qū)分安全駕駛、趴在方向盤上、暈倒斜躺三種行為。研究知道，駕駛員三種姿勢間特征明顯，故構(gòu)建以下5個特征：駕駛員右左手肘的夾角θ1、θ2，左右手腕和左右手肘的上下相對位置關(guān)系Lrep、Rrep（公式（1）、（2）），駕駛員與垂直方向之間的夾角α，如圖2。

圖2 姿勢特征部分標(biāo)注

對駕駛員右、左肘指向右、左腕的向量和垂直方向的單位矢量間的夾角θr、θl計算如公式（3）、（4）：

當(dāng)θr、θl≥90°且θr、θl≤180°：表示手腕的相對位置在肘部上方，置為1；當(dāng)θr、θl≥0°且θr、θl≤90°：表示手腕在肘部下方，置為-1。使用Rrep和Lrep區(qū)分是否屬于暈倒斜躺。圖3表示安全駕駛和暈倒斜躺時θr和θl夾角的比較。

圖3 安全駕駛和暈倒斜躺姿勢角度對比

對于趴在方向盤上行為構(gòu)建駕駛員與豎直方向間的夾角α來區(qū)分，駕駛員向量為Ssm與Shm間的連線，計算為公式（5）、（6）：

如圖2，安全駕駛時α一般很小或可忽略，即傾斜角度非常小，但當(dāng)駕駛員趴在方向盤上時，α?xí)l(fā)生較大變化，即可能變?yōu)檩^大的銳角或出現(xiàn)更大變化，以此來區(qū)分駕駛員是否發(fā)生趴在方向盤上這種異常行為。

2.2 DBDC模型訓(xùn)練

受MobileNetV2模型思想啟發(fā)，本文提出了DBDC模型（圖4）對駕駛員三種行為進行分類識別，使其識別精度和速度更高。模型使用5層深度可分離卷積層，通道數(shù)以2的冪次方逐次增加，每層由一層深度卷積和逐點卷積構(gòu)成，大大降低了卷積參數(shù)和計算量，提高了識別速率。最后使用全局平均池化和全連接層對其進行分類。

圖4 DBDC模型網(wǎng)絡(luò)結(jié)構(gòu)

2.3 異常行為檢測算法評價指標(biāo)

在對該模型評估中，評價指標(biāo)使用準(zhǔn)確率、精確率、召回率、F值、漏警率和虛警率。

3 司乘人員異常行為識別檢測

3.1 構(gòu)建檢測模型

司乘人員異常行為主要指所發(fā)生在前排乘客與駕駛員之間的身體交互行為，包括撕扯、打架等暴力行為，包括大量大幅度行為動作。

本文將AlphaPose模型提取的關(guān)鍵坐標(biāo)點信息在黑色背景下重建相關(guān)性姿態(tài)。采用SIFT算法對司乘人員姿態(tài)圖進行角點提取以獲得每幀圖像的空間特征信息。采用金字塔L-K光流算法將角點作為特征點進行跟蹤并計算獲得幀間特征點的光流矢量。并對圖像幀中所有特征點的位移變化及動能進行計算以判斷是否發(fā)生異常行為。

3.2 判別規(guī)則

首先根據(jù)特征及其光流變化信息，將每個特征點的位移變化量劃分為坐標(biāo)軸上的x軸和y軸上的分量（ux，uy），計算得出相應(yīng)每個特征點的位移變化值d（公式（7）），從而計算每幀圖像上所有特征點位移的平均值davg（公式（8）），表示車內(nèi)人員的整體移動幅度：

發(fā)生沖突時，其時間相對比較長，因此為避免因時間過短而造成的誤判，在進行數(shù)據(jù)計算分析時，本文中設(shè)定分界閾值dth，當(dāng)連續(xù)三幀圖像中計算的davg均高于dth時，即首先認(rèn)為存在沖突行為。

由以上可知，對于連續(xù)三幀閾值判斷，不能完全正確對異常行為進行區(qū)分判斷，故再次對圖像幀中特征點的動能進行計算，由動能公式可得，對于特征點的動能依賴于其權(quán)重和運動速度幅值，其中將每個特征點的光流矢量劃分為坐標(biāo)軸上的x、y軸上的分量（vx，vy），求得每一個特征點的速度平方值（公式（9））及方向角（公式（10））。

在計算動能中，特征點運動方向決定了權(quán)重Q的取值（公式（11）），即可計算得到第幀圖像上所有特征點的動能值，從而得到平均動能（公式（12））來體現(xiàn)每一幀圖像上的動能變化。其中表示第k幀內(nèi)第i個特征點的速度方向，θk-1表示k-1幀的平均運動方向。

本文中設(shè)定動能閾值Eth，與所計算的每幀平均動能Eavg進行比較。若Eavg＞Eth，則表示車內(nèi)有大幅動作產(chǎn)生，即判斷發(fā)生異常行為；若Eavg＜Eth，則表示車內(nèi)未發(fā)生大幅動作，即判斷為安全駕駛。

最后將兩者結(jié)合判斷，判定規(guī)則如下：若davg、Eavg兩者滿足同時大于所設(shè)閾值，則判定為出現(xiàn)異常行為，否則視為安全駕駛。

4 實驗與分析

4.1 實驗條件與數(shù)據(jù)準(zhǔn)備

本實驗平臺操作系統(tǒng)為Windows 10；CPU為Inter Corei7-6700；軟件采用PyCharm2021.3.3；深度學(xué)習(xí)框架是Pytorch；編程環(huán)境是Python 3.9。使用小米云臺版2K監(jiān)控攝像頭且位置處于前排乘客座位前的右下角。

司乘人員行為數(shù)據(jù)集是為5組視頻數(shù)據(jù)所保存的圖像幀和視頻幀，其中包含駕駛員的三種駕駛行為圖像幀2433張，和司乘人員之間交互行為視頻幀100段，分別為安全駕和有暴力沖突的駕駛行為各50段，每段5秒左右。

4.2 駕駛員異常行為檢測結(jié)果

①駕駛員姿勢識別模型評估。在評估所構(gòu)建的駕駛員姿勢識別模型時，使用本文所劃分訓(xùn)練好的三種行為數(shù)據(jù)集對模型進行測試，獲得表1所示的準(zhǔn)確率。

表1 駕駛員姿態(tài)識別模型對三種行為的識別結(jié)果

分析測試結(jié)果可得，其平均準(zhǔn)確率達到了96.46%，三種駕駛行為的識別準(zhǔn)確率都在95%以上，對于異常行為的識別檢測相差不大。

②DBDC模型評估結(jié)果。定義安全駕駛為負樣本，趴在方向盤上、暈倒斜躺為正樣本，對輸出結(jié)果進行二分類，計算上述指標(biāo)得出地結(jié)果如表2。

表2 DBDC模型評估結(jié)果

由表2結(jié)果可得，算法的準(zhǔn)確識別率達到在97.59%，漏警率為2.3%，虛警率為5.03%，由測試數(shù)據(jù)分析，其中有4幀圖片為漏警、9幀圖片為虛警。

4.3 司乘人員異常行為檢測結(jié)果

①繪制特征點位移、動能變化曲線圖。如圖5（a）位移變化曲線圖可看出對于正常駕駛和異常駕駛行為有明確的分界點，設(shè)置判別閾值為22，當(dāng)連續(xù)三幀均davg＞22，即首先可判斷車內(nèi)司乘人員發(fā)生異常行為；圖5（b）動能變化閾值設(shè)為4000，在30幀和110幀之間，平均動能非常大，在前30幀和110幀后，平均動能小于閾值，故動能變化能較準(zhǔn)確判別駕駛行為是否異常。

圖5 特征點位移、動能變化曲線圖

②司乘人員異常行為檢測算法評估結(jié)果。結(jié)合特征點平均位移及動能變化，對本文提出的司乘人員異常行為檢測算法評估結(jié)果如表3。

表3 司乘人員異常行為檢測算法測試結(jié)果

分析測試結(jié)果，識別安全準(zhǔn)確率達到99.68%，異常識別準(zhǔn)確率為95.03%。經(jīng)過對誤判幀圖像的分析可得其主要原因一是視頻數(shù)據(jù)為攝像頭模擬拍攝，乘客突然出現(xiàn)大幅度動作時會遮擋攝像頭，導(dǎo)致在識別時會誤判為打斗行為；二是當(dāng)兩人某點同時出現(xiàn)大幅度動作且持續(xù)則會出現(xiàn)誤判為打斗行為。

5 結(jié)束語

針對前排司乘人員的異常駕駛行為，提出基于AlphaPose模型的骨架關(guān)鍵點的識別檢測方法。首先，針對駕駛員異常行為，結(jié)合骨架關(guān)鍵點構(gòu)建姿態(tài)模型，引入深度可分離卷積，設(shè)計訓(xùn)練DBDC分類模型。其次，針對車內(nèi)司乘人員異常交互行為并利用駕駛員和乘客姿勢估計中獲得的結(jié)果在黑色背景上重構(gòu)姿態(tài)模型，提取時空特征，并根據(jù)特征點光流信息計算圖像幀中平均位移及動能來判斷行為是否異常，使得檢測準(zhǔn)確率提高到95%以上，并降低了檢測速度，以此作為智能監(jiān)控系統(tǒng)應(yīng)用的技術(shù)支撐。