基于自適應(yīng)伽馬校正的異常駕駛行為檢測(cè)方法

艾青松，張皓喆，嚴(yán)俊偉，3

（1.武漢理工大學(xué) 信息工程學(xué)院，武漢 430070；2.湖北大學(xué) 計(jì)算機(jī)與信息工程學(xué)院，武漢 430062；3.寬帶無(wú)線通信和傳感器網(wǎng)絡(luò)湖北省重點(diǎn)實(shí)驗(yàn)室，武漢 430070）

0 概述

隨著公路運(yùn)輸需求不斷上升，重型卡車運(yùn)輸成為主要陸運(yùn)方式。商用車車聯(lián)網(wǎng)技術(shù)不斷發(fā)展，尤其是云計(jì)算與通信技術(shù)的進(jìn)步，提高了重型卡車運(yùn)輸?shù)慕?jīng)濟(jì)性與便利性?？爝\(yùn)行業(yè)具有時(shí)效要求高、夜間行駛較多、成本控制嚴(yán)格等特點(diǎn)，在防止異常駕駛行為方面需求較高［1］。當(dāng)重型卡車駕駛員出現(xiàn)異常駕駛行為時(shí)，及時(shí)檢測(cè)并提醒，對(duì)保證駕駛安全和提高運(yùn)輸效率十分重要。因此，在低照度條件下精準(zhǔn)快速地檢測(cè)異常駕駛行為具有重要的現(xiàn)實(shí)意義。

目前，已有關(guān)于異常駕駛行為檢測(cè)方面的研究按照數(shù)據(jù)來(lái)源分為兩大類：車輛數(shù)據(jù)和生理特征?；谲囕v數(shù)據(jù)的異常駕駛行為檢測(cè)，通過(guò)獲取相關(guān)車輛數(shù)據(jù)（例如速度、加速度、方向盤(pán)角速度等）來(lái)判定駕駛行為。這類方法易受到周圍環(huán)境影響，在面對(duì)不同的道路情況和車輛異常狀態(tài)時(shí)，準(zhǔn)確率較低。隨著機(jī)器視覺(jué)的發(fā)展，基于生理特征的異常駕駛行為檢測(cè)成為主流方法，相比于其他方法，通過(guò)判斷駕駛員的異常動(dòng)作（例如吸煙，接打電話等）來(lái)檢測(cè)的方法因受外界干擾少、檢測(cè)速度快等特點(diǎn)被廣泛應(yīng)用［2］。

近年來(lái)，研究人員開(kāi)始將深度學(xué)習(xí)算法應(yīng)用于異常駕駛行為分析領(lǐng)域。文獻(xiàn)［3］將改進(jìn)的YOLOv3 檢測(cè)算法用于重點(diǎn)關(guān)注異常駕駛行為特征，引入融合注意力模塊提高檢測(cè)效率。文獻(xiàn)［4］介紹了3 種新穎的深度學(xué)習(xí)網(wǎng)絡(luò)，分別為寬組密集網(wǎng)絡(luò)、寬組殘差密集網(wǎng)絡(luò)和替代寬組殘差密集網(wǎng)絡(luò)，并與傳統(tǒng)檢測(cè)網(wǎng)絡(luò)和現(xiàn)有檢測(cè)網(wǎng)絡(luò)進(jìn)行比較，體現(xiàn)出其檢測(cè)精確度高與魯棒性強(qiáng)的優(yōu)勢(shì)。文獻(xiàn)［5］介紹了一種時(shí)空間融合駕駛行為識(shí)別方法，通過(guò)兩流卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）框架進(jìn)行視頻識(shí)別，其中空間流CNN 從靜止幀中捕獲外觀信息，而時(shí)間流CNN 通過(guò)預(yù)先計(jì)算來(lái)捕獲幾個(gè)相鄰運(yùn)動(dòng)幀間的光流位移，綜合判斷異常駕駛行為。文獻(xiàn)［6］介紹了一種基于個(gè)人的分層駕駛員監(jiān)控系統(tǒng)（Hierarchical Driver Monitoring Systems，HDMS），HDMS 的第1 層基于歷史駕駛數(shù)據(jù)判定異常駕駛行為，第2 層進(jìn)一步判斷行為是否為瞌睡駕駛或分心駕駛。文獻(xiàn)［7］介紹了通過(guò)樣本圖像對(duì)深度神經(jīng)網(wǎng)絡(luò)Mask R-CNN 改進(jìn)，使之能夠識(shí)別更多種危險(xiǎn)駕駛行為。文獻(xiàn)［8］介紹了一個(gè)端到端深度學(xué)習(xí)框架，通過(guò)融合卷積神經(jīng)網(wǎng)絡(luò)和帶有注意單元的循環(huán)神經(jīng)網(wǎng)絡(luò)對(duì)時(shí)間特征進(jìn)行建模，捕捉顯著的駕駛行為特征。

傳統(tǒng)機(jī)器視覺(jué)檢測(cè)異常駕駛行為通?；谏疃葘W(xué)習(xí)模型或面部特征［9］。在低照度條件下，通過(guò)圖像增強(qiáng)算法后，由于存在圖像信息量降低，像素點(diǎn)間向量差值減小，識(shí)別過(guò)程中出現(xiàn)關(guān)鍵細(xì)節(jié)丟失、噪聲較大、清晰度低、難以識(shí)別邊緣等問(wèn)題，因此基于眼睛、嘴巴狀態(tài)的傳統(tǒng)檢測(cè)方式準(zhǔn)確率較低［10］。此外，在此情況下基于深度學(xué)習(xí)模型的檢測(cè)方法速度較慢，難以滿足實(shí)時(shí)性要求。

本文提出一種基于自適應(yīng)圖像增強(qiáng)的異常駕駛行為檢測(cè)方法，通過(guò)自適應(yīng)伽馬（Gamma）校正圖像來(lái)提高圖像的亮度和信息熵，利用背景建模方法進(jìn)行干擾剔除，從而得到檢測(cè)區(qū)域圖像。使用Canny雙閾值邊緣檢測(cè)技術(shù)得到頭部和手部輪廓，提高時(shí)間閾值，實(shí)現(xiàn)檢測(cè)異常駕駛行為的目的。

1 低光照下的異常駕駛行為檢測(cè)

1.1 異常駕駛行為判定

駕駛行為是指駕駛員在場(chǎng)景和周圍環(huán)境中，結(jié)合自身狀態(tài)來(lái)操縱車輛。駕駛行為是一個(gè)復(fù)雜的概念，具備隨機(jī)性和不確定性，通常被認(rèn)為是發(fā)生交通碰撞的重要因素之一。如何快速、精準(zhǔn)地判定異常駕駛行為在今天仍然被認(rèn)為是一個(gè)具有挑戰(zhàn)性的話題［11］。異常駕駛行為檢測(cè)數(shù)據(jù)來(lái)源包括車輛數(shù)據(jù)和駕駛員生理特征兩個(gè)方面，生理特征指駕駛員在駕駛車輛時(shí)的身體機(jī)能狀態(tài)，例如疲勞、壓力、位置、動(dòng)作等。通過(guò)監(jiān)督位置和動(dòng)作可檢測(cè)或預(yù)測(cè)駕駛員生理特征，駕駛員的動(dòng)作被認(rèn)為是駕駛員對(duì)周圍環(huán)境做出的反應(yīng)。車輛數(shù)據(jù)指在行駛過(guò)程中車輛的狀態(tài)，駕駛員面對(duì)突發(fā)情況做出的反應(yīng)，導(dǎo)致車輛出現(xiàn)急轉(zhuǎn)彎、急加速、急減速等現(xiàn)象，車輛數(shù)據(jù)反映出駕駛員做出異常駕駛行為的過(guò)程。在不同環(huán)境背景下，許多因素會(huì)導(dǎo)致車輛出現(xiàn)異常數(shù)據(jù)。通過(guò)車輛數(shù)據(jù)判斷駕駛行為需要隨著時(shí)間和外界情況的變化建立復(fù)雜模型，同時(shí)與道路特征（例如曲率、坡度、車道寬度），道路情況（例如干燥、潮濕），天氣情況（例如下雨、晴天、霧天、下雪、結(jié)冰），光線情況（例如白天、夜晚），交通情況（例如擁堵、暢通）等因素關(guān)系密切，因此通過(guò)車輛數(shù)據(jù)判定異常駕駛行為具有局限性。例如，當(dāng)車輛出現(xiàn)長(zhǎng)時(shí)間走走停?；蚣奔铀?急減速的情況時(shí)，難以判斷是否源于駕駛員異常駕駛行為還是交通擁堵導(dǎo)致，此方法易出現(xiàn)誤判，干擾駕駛員正常駕駛。

基于駕駛員生理特征的檢測(cè)可以實(shí)時(shí)反饋出駕駛員在做出異常駕駛行為時(shí)的變化，同時(shí)具有識(shí)別精確度高、魯棒性強(qiáng)的特點(diǎn)。異常駕駛行為包含喝酒、談話、發(fā)短信、打電話、吃飯、吸煙等。Kaggle發(fā)起的State Farm 駕駛員分心檢測(cè)比賽規(guī)定了6 種異常駕駛行為，其檢測(cè)原理是通過(guò)機(jī)器視覺(jué)識(shí)別出駕駛員的身體動(dòng)作，定位駕駛員頭部以及手部位置并追蹤中心點(diǎn)坐標(biāo)，通過(guò)判定肢體間的相互動(dòng)作來(lái)識(shí)別異常駕駛行為［12］。在常見(jiàn)異常行為中，例如圖1 所示的吸煙、接打電話，手部出現(xiàn)在頭部周圍且持續(xù)一段時(shí)間，在發(fā)生此行為時(shí)，駕駛員注意力轉(zhuǎn)移到非道路信息，并且持續(xù)偏離駕駛目標(biāo)，在這過(guò)程中極易發(fā)生交通事故。檢測(cè)駕駛員的手部出現(xiàn)頭部周圍的狀態(tài)，當(dāng)持續(xù)時(shí)間過(guò)長(zhǎng)并且與頭部位置距離過(guò)近時(shí)判定為發(fā)生異常駕駛行為。因此可以將檢測(cè)目標(biāo)集中于判定手部和頭部相對(duì)位置。

圖1 不安全駕駛行為示例Fig.1 Examples of unsafe driving behavior

1.2 異常駕駛行為檢測(cè)方法

通過(guò)駕駛?cè)说念^部、手部間距離來(lái)判定異常駕駛行為的方法需要確定關(guān)鍵點(diǎn)間的相對(duì)位置，并且融合距離閾值和時(shí)間閾值判斷異常駕駛行為。由于重卡駕駛員夜間駕車時(shí)間較長(zhǎng)，在低照度情況下，通過(guò)傳統(tǒng)方法PERCLOS 和PMOT 進(jìn)行檢測(cè)時(shí)，圖像細(xì)節(jié)容易丟失，駕駛員狀態(tài)難以精準(zhǔn)檢測(cè)［13］。本文通過(guò)改進(jìn)伽馬校正算法，對(duì)輸入圖像進(jìn)行預(yù)處理，校正圖像亮度和對(duì)比度，來(lái)提高識(shí)別準(zhǔn)確率。為剔除背景和周圍環(huán)境的干擾，首先利用背景建模提取駕駛員前景圖像，獲得駕駛員的駕駛信息。然后進(jìn)行Canny 邊緣檢測(cè)，得出頭部、手部關(guān)鍵點(diǎn)相對(duì)位置，并且進(jìn)行實(shí)時(shí)跟蹤監(jiān)測(cè)。最后，當(dāng)定位特征點(diǎn)后，根據(jù)歐氏距離進(jìn)行計(jì)算，當(dāng)頭部和手部特征點(diǎn)距離過(guò)近，持續(xù)時(shí)間超過(guò)時(shí)間閾值時(shí)，將此刻判定為發(fā)生異常駕駛行為，同時(shí)進(jìn)行報(bào)警，如圖2 所示。

圖2 基于自適應(yīng)伽馬校正的異常駕駛行為檢測(cè)方法框架Fig.2 Framework of abnormal driving behavior detection method based on adaptive Gamma correction

1.2.1 低照度下的改進(jìn)自適應(yīng)伽馬校正

人眼對(duì)低照度下的感知能力強(qiáng)于高照度下的感知能力，即在暗光的情況下能分辨出更多細(xì)節(jié)，因此亮度校正是伽馬校正的重點(diǎn)。伽馬校正表達(dá)式為：

其中：I表示輸入圖像的灰度值，歸一化處理后取值［0，1］；f(I)表示輸出圖像強(qiáng)度；c和γ為校正系數(shù)，通常c取值［0，1］，不同的γ會(huì)對(duì)圖像強(qiáng)度有不同的拉伸效果，當(dāng)γ>1 時(shí)，圖像強(qiáng)度降低，當(dāng)γ<1 時(shí)，圖像強(qiáng)度提高［14］。

由于閾值設(shè)定固定，因此在進(jìn)行伽馬校正時(shí)對(duì)所有圖像的校正效果相同。對(duì)于不同的灰度值和顯示效果的圖像，校正效果單一，部分重要信息缺失。因此本文引入BIGA 方法［15］，通過(guò)雙閾值改進(jìn)伽馬函數(shù)，可以在提高暗部光強(qiáng)度的同時(shí)抑制亮區(qū)增強(qiáng)，防止彩色圖像增強(qiáng)過(guò)度，其表達(dá)式如下：

其中：x是輸入圖像的灰度值；γ是可調(diào)節(jié)變量，用以調(diào)整圖像增強(qiáng)程度，通常取γ=2.5；α是調(diào)節(jié)參數(shù)，控制增強(qiáng)圖像亮度的取值范圍為［0，1］；Ga(x)是一個(gè)凸函數(shù)，用于增強(qiáng)圖像的暗區(qū)域；Gb(x)是一個(gè)凹函數(shù)，用于抑制圖像的亮區(qū)域。最終增強(qiáng)算法的調(diào)整函數(shù)G(x)是由Ga(x)和Gb(x)加權(quán)得到的。然而公式中α、γ參數(shù)均為全局閾值并且手動(dòng)設(shè)置，對(duì)于不同環(huán)境和駕駛因素，提升效果不明顯。

針對(duì)不同照度和圖像色彩的差異，改進(jìn)算法中的參數(shù)為自適應(yīng)調(diào)節(jié)，分別通過(guò)圖像平均灰度值和圖像信息熵來(lái)改進(jìn)α、γ的值進(jìn)而校正圖像。自適應(yīng)閾值的改進(jìn)解決了傳統(tǒng)算法對(duì)圖像改善后出現(xiàn)對(duì)比度弱、亮度提升少、邊緣細(xì)節(jié)模糊的問(wèn)題。對(duì)于照度不同的圖像，通過(guò)灰度值范圍確定α值的范圍進(jìn)行自適應(yīng)調(diào)節(jié)。將RGB 3 個(gè)通道的分量按照一定的比例計(jì)算得到灰度圖像，根據(jù)文獻(xiàn)［16］和檢測(cè)圖像特征得出分量比例，RGB 格式圖像平均灰度值ggray計(jì)算公式如下：

計(jì)算原RGB 圖像3 個(gè)通道得到圖像灰度值，通過(guò)映射函數(shù)得到α值，提高校正圖像效果，得到更多圖像細(xì)節(jié)并傳入異常駕駛行為識(shí)別模型，提高精確度和檢測(cè)效率。通過(guò)映射函數(shù)得到α值，即ggray→α，表達(dá)式如下：

將灰度值取值范圍歸一化為［0，1］，α'的取值范圍為［0.3，0.7］，其作用是校正圖形亮度。

基于圖像信息熵確定閾值γ。當(dāng)圖像內(nèi)容豐富，信息量大時(shí)，圖像信息熵大；當(dāng)圖像內(nèi)容單一，信息量小時(shí)，圖像信息熵小。對(duì)于信息熵不同的圖像，通過(guò)改變?cè)瘮?shù)的γ值提升圖像顯示效果，提高對(duì)比度，以顯示更多圖像細(xì)節(jié)。通過(guò)映射函數(shù)得到γ值，即H→γ，表達(dá)式如式（7）所示：

其中：γ為原函數(shù)閾值，通常取值為2.5；γ'為改進(jìn)后的閾值，取值范圍為［2，3］；將圖像的鄰域像素灰度均值（j）作為灰度分布的空間特征量，與像素灰度值（i）組成特征二元組，記為（i，j），i、j分別表示像素的灰度值、鄰域灰度均值，取值范圍均為［0，255］。使用圖像信息熵來(lái)自適應(yīng)調(diào)整γ參數(shù)，通過(guò)改進(jìn)亮度分量校正圖像來(lái)提高不同對(duì)比度圖像的質(zhì)量，以顯示更多的細(xì)節(jié)信息［17］。

常見(jiàn)圖像均使用RGB 色彩空間表示，但直接對(duì)RGB 圖像進(jìn)行增強(qiáng)容易導(dǎo)致圖像色彩失真，且運(yùn)算量巨大。HSV 是一種將RGB 色彩空間中的點(diǎn)在倒圓錐體中表示的方法，它描述比RGB 更準(zhǔn)確的感知顏色聯(lián)系，并仍保持計(jì)算簡(jiǎn)單的特點(diǎn)。HSV 表示Hue、Saturation、Value［18］，且相互間有獨(dú)立性，在對(duì)其任一個(gè)通道進(jìn)行校正時(shí)，不會(huì)出現(xiàn)色彩失真的現(xiàn)象。將輸入圖像轉(zhuǎn)換為HSV 空間后，對(duì)其V分量進(jìn)行伽馬校正后轉(zhuǎn)回RGB 圖像進(jìn)行表示。該流程如圖3 所示。將改進(jìn)函數(shù)融合到原雙閾值伽馬函數(shù)中，在校正圖像亮度的同時(shí)，根據(jù)圖像信息熵自適應(yīng)提高對(duì)比度，使圖像顯示出更多細(xì)節(jié)信息，表達(dá)式如下所示：

圖3 改進(jìn)伽馬校正的流程Fig.3 Procedure of improving Gamma correction

1.2.2 關(guān)鍵點(diǎn)定位

常規(guī)駕駛行為檢測(cè)方法中，背景和環(huán)境干擾導(dǎo)致檢測(cè)準(zhǔn)確率差。經(jīng)過(guò)自適應(yīng)伽馬校正并將駕駛員和背景灰度差值提升后，根據(jù)歷史像素點(diǎn)和像素差值變化消除背景，可以精準(zhǔn)高速地排除背景區(qū)域?qū)喞R(shí)別的影響［19］。

前景圖像的提取效果主要依靠背景消除的準(zhǔn)確程度，目前效果較好的背景建模方法包括改進(jìn)高斯混合模型2（Mixture of Gaussian Model 2，MOG2）和K-近鄰（K-Nearest Neighbor，KNN）［20］方法。MOG2方法為每個(gè)像素點(diǎn)選擇一個(gè)合適的高斯分布前景分割器，這樣一來(lái)，亮度變化具有較強(qiáng)的魯棒性。通過(guò)創(chuàng)建背景對(duì)象，檢測(cè)并標(biāo)記目標(biāo)區(qū)域。KNN 方法將當(dāng)前像素點(diǎn)與歷史信息進(jìn)行比較，做出前景背景的判斷，如果超過(guò)差別閾值則歸于“潛在背景點(diǎn)”，如果歷史信息中屬于潛在背景點(diǎn)的個(gè)數(shù)超過(guò)設(shè)定閾值，則將此區(qū)域歸為背景并記錄于歷史信息中［21］。

提取出前景圖像后通過(guò)邊緣檢測(cè)將灰度級(jí)的突變、顏色的突變、紋理結(jié)構(gòu)的突變等分割開(kāi)。邊緣是一個(gè)區(qū)域的結(jié)束，也是另一個(gè)區(qū)域的開(kāi)始，利用該特征可以對(duì)圖像中頭部、手部的輪廓進(jìn)行檢測(cè)。常用的邊緣 檢測(cè)算子有Sobel、Prewitt、Roberts、Canny、Laplacian 等［22］，其特點(diǎn)如表1 所示。

表1 不同邊緣檢測(cè)算子對(duì)比 Table 1 Comparison of different edge detection operators

在低照度條件環(huán)境下，由異常駕駛行為檢測(cè)條件可知，需檢測(cè)頭部、手部輪廓，并且要求對(duì)抗噪聲干擾能力高。本文在周圍環(huán)境光變化較大的情況下進(jìn)行自適應(yīng)伽馬校正，得到邊緣增強(qiáng)后的圖像，并利用Canny 算子進(jìn)行邊緣檢測(cè)，不僅對(duì)弱化的邊緣更加敏感［23］，而且能保留圖像特征。

在檢測(cè)目標(biāo)區(qū)域時(shí)，為避免檢測(cè)框具有大量交集區(qū)域，需將相交輪廓融合從而得出完整的頭部輪廓。通過(guò)判定輪廓交集的方法，得到輪廓相鄰條件并進(jìn)行取反，通過(guò)式（10）和式（11）判斷相鄰輪廓位置。

將得到的駕駛員運(yùn)動(dòng)圖像進(jìn)行邊緣連接，得到完整的駕駛員輪廓。利用邊緣檢測(cè)描繪出頭部和手部的輪廓，計(jì)算圖形中心矩，確定質(zhì)心坐標(biāo)作為駕駛員和手部的關(guān)鍵點(diǎn)定位。圖像空間矩的計(jì)算式［24］如式（12）所示：

其中：array（x，y）是像素（x，y）處的像素值?？梢钥闯?，圖像空間矩的影響因素包含像素值大小和像素位置；當(dāng)i=j=0 時(shí)，moo為圖像的零階空間矩，此時(shí)與像素位置無(wú)關(guān)；當(dāng)j=0,i=1 或i=0,j=1 時(shí)，m01、m10成為圖像一階空間矩，在空間位置上只與像素的行或列有關(guān)。根據(jù)圖像空間矩原理，得到圖像質(zhì)心坐標(biāo)公式如下：

1.2.3 基于手眼距離的異常駕駛行為檢測(cè)

通過(guò)定位駕駛員頭部、手部位置進(jìn)行異常駕駛行為判定。由第1.2.2 節(jié)獲得輪廓中心距坐標(biāo)后，為了更明確地表示兩中心距間的相對(duì)位置，將笛卡爾坐標(biāo)系轉(zhuǎn)換為極坐標(biāo)系。

極坐標(biāo)系屬于二維坐標(biāo)系，在保證中心區(qū)域的高分辨率情況下降低外圍采樣率，在保證重要區(qū)域信息處理完成情況下降低數(shù)據(jù)處理數(shù)量，從而增加處理速度，是一種類似人類視覺(jué)機(jī)制的處理方法［25］。圖4 為圖像在對(duì)數(shù)極坐標(biāo)系和直角坐標(biāo)系之間的映射關(guān)系示意圖，其中圖4（a）為笛卡爾坐標(biāo)系，圖4（b）為極坐標(biāo)系。手部的中心距位置總是分布在頭部周圍，以頭部中心矩為極點(diǎn)O，將手部中心距設(shè)為圖像內(nèi)任意一點(diǎn)M（ρ，θ）。由于笛卡爾坐標(biāo)系原點(diǎn)位于左上角（0，0），y軸正方向向下，因此做出如下調(diào)整：轉(zhuǎn)換后的極坐標(biāo)系y軸方向向上，并且以x軸正半軸方向?yàn)?°起始，沿順時(shí)針?lè)较蛐D(zhuǎn)360°回到起始角度，如圖4 所示。

圖4 坐標(biāo)系轉(zhuǎn)換Fig.4 Coordinate system transformation

在圖4 中，對(duì)輸入視頻中的異常幀進(jìn)行駕駛行為判定，將頭部關(guān)鍵點(diǎn)作為極點(diǎn)O，則手部關(guān)鍵點(diǎn)為M（ρ，θ）。極徑ρ為頭部與手部之間的距離，θ為頭部與手部間的夾角。設(shè)定距離閾值d1，當(dāng)ρ≤d1時(shí)，記錄開(kāi)始時(shí)間t1，當(dāng)ρ>d1時(shí)，記錄異常駕駛行為結(jié)束時(shí)間t2。設(shè)定時(shí)間閾值t3，當(dāng)t2－t1≥t3時(shí)，融合時(shí)空間因素判定異常駕駛行為。當(dāng)ρ>d1時(shí)，記錄每段正常駕駛行為，并且記錄正常駕駛時(shí)間［26］。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 數(shù)據(jù)集與數(shù)據(jù)預(yù)處理

目前，國(guó)內(nèi)外文獻(xiàn)和開(kāi)源數(shù)據(jù)集中針對(duì)異常駕駛行為的有效數(shù)據(jù)集較少，數(shù)據(jù)集中只包含光照固定的場(chǎng)景，不適用于本文不同照度下的異常駕駛行為識(shí)別。為驗(yàn)證文中提出方法的有效性，招募4 名實(shí)驗(yàn)者，要求駕駛經(jīng)驗(yàn)在2 年以上，健康狀態(tài)良好，無(wú)睡眠障礙，且在測(cè)試前無(wú)飲酒、熬夜等行為。本文采用固定攝像機(jī)記錄重卡駕駛員在日常駕駛時(shí)做出的動(dòng)作行為并作為測(cè)試數(shù)據(jù)集，以驗(yàn)證算法效果。

測(cè)試視頻分辨率為1 280×720像素，幀率為60幀/s。測(cè)試駕駛員在模型駕駛中進(jìn)行接打電話、吸煙和正常駕駛3 類駕駛行為，在檢測(cè)中設(shè)置不同背景及不同程度的目標(biāo)遮擋，增大檢測(cè)難度。通過(guò)數(shù)據(jù)增強(qiáng)對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行處理，改變數(shù)據(jù)集中視頻圖像的光線強(qiáng)度，模擬陰天、夜間、強(qiáng)光環(huán)境下的駕駛，并作為異常駕駛行為檢測(cè)數(shù)據(jù)集。通過(guò)自適應(yīng)伽馬校正方法對(duì)數(shù)據(jù)集進(jìn)行預(yù)處理，結(jié)果如圖5 所示。對(duì)數(shù)據(jù)集的圖像進(jìn)行預(yù)處理后，每類駕駛狀態(tài)的樣本數(shù)目如表2 所示。

表2 駕駛行為的數(shù)據(jù)樣本 Table 2 Data samples of driving behavior 單位：次

圖5 圖像預(yù)處理前后的對(duì)比Fig.5 Comparison of the graph before and after preprocessing

2.2 評(píng)價(jià)指標(biāo)

使用預(yù)處理前后的數(shù)據(jù)集進(jìn)行異常駕駛行為檢測(cè)，采用以下評(píng)價(jià)指標(biāo)來(lái)顯示改進(jìn)伽馬校正的性能：

1）準(zhǔn)確率（Precision）。準(zhǔn)確率是指所有檢測(cè)出的目標(biāo)中檢測(cè)正確的概率，表達(dá)式如下：

2）召回率（Recall）。召回率是指所有的正樣本中正確識(shí)別的概率，表達(dá)式如下：

其中：TTP、FFP、FFN分別為每組實(shí)驗(yàn)平均異常駕駛行為次數(shù)、正常駕駛行為次數(shù)、漏檢異常駕駛行為次數(shù)。

3）幀率（Frame Per Second，F(xiàn)PS），F(xiàn)PS 是指畫(huà)面每秒傳輸幀數(shù)。

2.3 結(jié)果分析

2.3.1 不同閾值下的伽馬校正效果

針對(duì)不同照度的圖像，自適應(yīng)伽馬校正將整體亮度提升，改善暗部區(qū)域細(xì)節(jié)和曝光過(guò)度，增加圖像邊緣區(qū)域的對(duì)比度，保留更多邊界細(xì)節(jié)，使圖像顯示更加清晰。改進(jìn)校正算法中不同γ值對(duì)圖像校正的效果不同；當(dāng)γ<1 時(shí)，在低灰度范圍內(nèi)，動(dòng)態(tài)變化增大；進(jìn)而圖像對(duì)比度增強(qiáng)，圖像整體的灰度值變大。當(dāng)γ>1 時(shí)，低灰度范圍的動(dòng)態(tài)變化減小，降低了圖像低灰度區(qū)域的對(duì)比度，整體的灰度值變小。

對(duì)于不同照度的圖像，根據(jù)圖像平均灰度值映射α值。處理低照度圖像時(shí)，改進(jìn)雙閾值伽馬函數(shù)中心點(diǎn)上移，使得圖像整體灰度值增加，圖像顯示更加明亮，同時(shí)抑制高亮區(qū)域，增強(qiáng)暗部區(qū)域細(xì)節(jié)。在處理高照度圖像時(shí)函數(shù)中心點(diǎn)下移，使得圖像輪廓更加清晰。對(duì)比結(jié)果如圖6 所示。

圖6 不同參數(shù)下的伽馬校正效果Fig.6 Gamma correction effect under different parameters

2.3.2 改進(jìn)結(jié)果對(duì)比分析

為驗(yàn)證本文方法的有效性，將視頻數(shù)據(jù)集根據(jù)照度差異分為4 組數(shù)據(jù)，每段視頻數(shù)據(jù)為900 s，幀率為60 幀/s。分別為晴天駕駛測(cè)試集、強(qiáng)光駕駛測(cè)試集、陰天駕駛測(cè)試集、夜間駕駛測(cè)試集。每組分為正常組和對(duì)照組，正常組為貨車司機(jī)駕駛視頻數(shù)據(jù)，對(duì)照組為經(jīng)過(guò)自適應(yīng)伽馬校正后的正常組視頻數(shù)據(jù)。將測(cè)試集循環(huán)，并將其分為9 段測(cè)試數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，每次實(shí)驗(yàn)中包含異常駕駛行為和正常駕駛行為，所有實(shí)驗(yàn)參數(shù)均相同，結(jié)果如表3 所示。

表3 模型改進(jìn)前后的性能對(duì)比 Table 3 Comparison of model performance before and after improvement

將自適應(yīng)伽馬校正前后異常駕駛行為檢測(cè)效果進(jìn)行對(duì)比，由表3 可以看出經(jīng)過(guò)自適應(yīng)伽馬校正后模型的檢測(cè)性能提升明顯。特別是陰天和夜間的情況，準(zhǔn)確率分別提升10.9 和11.9 個(gè)百分點(diǎn)，召回率均提升51.8 個(gè)百分點(diǎn)。

為了對(duì)比不同圖像增強(qiáng)方法在異常駕駛行為檢測(cè)中的表現(xiàn)，針對(duì)檢測(cè)準(zhǔn)確率和幀率兩個(gè)指標(biāo)，與文獻(xiàn)［27］中基于單尺度Retinex（SSR）方法和文獻(xiàn)［28］中多尺度Retinex（MSR）方法以及自適應(yīng)直方圖均衡化（簡(jiǎn)稱直方圖均衡化）方法進(jìn)行比較。對(duì)比實(shí)驗(yàn)分為9 次，除圖像校正方法外，每次實(shí)驗(yàn)參數(shù)完全相同，結(jié)果如圖7 所示。由圖7 可以看出，本文方法檢測(cè)的平均準(zhǔn)確率高于其他方法。在檢測(cè)速度方面，本文方法優(yōu)于SSR 和MSR 方法。但由于直方圖均衡化方法的模型簡(jiǎn)易，其檢測(cè)速度略高于本文方法，檢測(cè)準(zhǔn)確率卻遠(yuǎn)低于本文方法。本文方法的核心在于依賴灰度值和信息熵實(shí)現(xiàn)自適應(yīng)校正圖像，增加圖像邊緣信息和對(duì)比度，更加貼合邊緣檢測(cè)原理，因此檢測(cè)模型性能更強(qiáng)。

圖7 暗光條件下不同增強(qiáng)方法的性能對(duì)比Fig.7 Performance comparison of different enhancement methods in dark conditions

3 結(jié)束語(yǔ)

本文提出一種基于自適應(yīng)伽馬校正的異常駕駛行為檢測(cè)方法，將不同照度的駕駛行為視頻校正后進(jìn)行檢測(cè)，通過(guò)背景建模清除干擾，得到駕駛員頭部和手部的輪廓。在此基礎(chǔ)上計(jì)算手部與頭部關(guān)鍵點(diǎn)間距離，通過(guò)時(shí)空間融合判定異常駕駛行為。實(shí)驗(yàn)結(jié)果表明，在不同照度條件下，本文方法能夠?qū)Ξ惓ｑ{駛行為進(jìn)行高效、精準(zhǔn)檢測(cè)。下一步將對(duì)駕駛員臉部追蹤方法進(jìn)行研究，提高檢測(cè)準(zhǔn)確率，達(dá)到實(shí)時(shí)監(jiān)測(cè)的目的。