基于車窗區(qū)域定位的出租汽車駕駛員蓄須行為的自動檢測技術(shù)研究

汪祖云，廖惠敏，黃訓平，劉鵬宇，賈克斌

（1.北京市交通執(zhí)法總隊，北京 100044；2.北京工業(yè)大學 信息學部，北京 100124；3.未來網(wǎng)絡(luò)科技高精尖創(chuàng)新中心，北京 100124；4.先進信息網(wǎng)絡(luò)北京實驗室，北京 100124；5.計算智能與智能系統(tǒng)北京市重點實驗室，北京 100124）

0 引言

交通運輸業(yè)是服務性行業(yè)的重要組成部分，也是國民經(jīng)濟的基礎(chǔ)性和先導性產(chǎn)業(yè)，其發(fā)展水平與國民經(jīng)濟的發(fā)展有著極為重要的聯(lián)系。如何采取有效措施，加強和完善交通運輸行業(yè)的監(jiān)管，成為政府部門的一項重要工作。在社會各界致力于發(fā)展智能交通的背景下，智能交通領(lǐng)域科技執(zhí)法方面的問題已成為當下的研究熱點[1]。為了加大對交通運輸業(yè)的監(jiān)管力度，各交通執(zhí)法部門不斷探索非現(xiàn)場執(zhí)法，以提高執(zhí)法效能，有效減少執(zhí)法人員與違法人員的直接接觸，使執(zhí)法更加公正客觀[2]。

出租汽車是交通運輸行業(yè)不可或缺的一部分，在北京、上海等特大城市交通場站，由于客流密度極大，出租車供不應求的現(xiàn)象大量存在，在這種情況下，執(zhí)法人員的工作強度和執(zhí)法難度大大增加。同時，出租車行業(yè)又屬于服務行業(yè)的范疇，被譽為“城市的流動名片”，因此出租車駕駛員的面貌、著裝等體現(xiàn)個人素養(yǎng)的方面也被納入交通執(zhí)法部門的執(zhí)法范疇，蓄須行為就是其中之一。在交通場站等復雜環(huán)境下，利用視頻監(jiān)控圖像，實現(xiàn)蓄須行為的自動檢測，將極大減輕執(zhí)法人員的工作壓力，提升工作效率。

目前，針對出租車駕駛員蓄須行為自動檢測技術(shù)的研究較少，國內(nèi)外大部分的研究重點還是針對特定簡單環(huán)境下的蓄須檢測。Cai等[3]提出基于人臉特征點和膚色分割的胡子檢測算法，該算法較依賴顏色信息，因此檢測準確率比較容易受到光線的影響。Gu等[4]提出一種結(jié)合紋理特征的胡須檢測方法，但是該方法針對人臉數(shù)據(jù)進行檢測，難以在實際中應用。Wang等[5]提出了一種基于圖像脫色和紋理特征的胡須檢測算法，但是該算法主要針對男女性別識別。Dhahri等[6]等提出了一種利用三維信息來檢測和去除胡須的方法，該方法將人臉分成五部分進行操作，在背景復雜度高的場景中很難應用。Le等[7]提出了一種利用自商算法和稀疏矩陣實現(xiàn)胡須檢測的方法，在標準數(shù)據(jù)集下能取得良好的檢測效果。以上文獻大部分檢測算法僅在特定測試數(shù)據(jù)集中驗證有效，不能確保其在實際應用中的有效性。

針對上述研究存在的問題，本文提出一種可適用于復雜場景下的出租車駕駛員蓄須行為的自動檢測方法。首先，該方法以車窗區(qū)域檢測代替完整出租車檢測的方式，準確定位出租車駕駛員位置。然后，對圖像的亮度通道進行基于MSR算法的圖像增強，降低光線對圖像的影響。最后，利用人臉檢測庫（libfacedetection）對下巴區(qū)域進行準確定位。最后，利用膚色信息和灰度閾值分割相結(jié)合的方法來判定該駕駛員是否存在蓄須行為。

1 車窗區(qū)域檢測

在交通監(jiān)控視頻中，場景具備一定的復雜性，因此需要對出租車駕駛員進行精準定位，也就是對出租車駕駛室進行精準定位。本文利用出租車特有的車頂燈設(shè)計，結(jié)合包含駕駛室的車窗區(qū)域（以下統(tǒng)稱車窗區(qū)域），提出一種基于Haar-Adaboost算法的車窗區(qū)域檢測方法[8]。同時為降低算法的誤檢率，提出了一種基于車頂燈的滑動顏色直方圖匹配方法，通過二次檢測，刪除第一次誤檢的區(qū)域。

1.1 Haar-Adaboost算法

Haar特征指的是一種矩形特征，其值可表示為黑色矩形區(qū)域的灰度值與白色矩形區(qū)域的灰度值的差，以此來生成圖像特征矩陣。不同的Haar特征模板功能也不相同，常用的Haar特征模板如圖1所示。

圖1 常用Haar特征模板

Adaboost算法是一種改進的Boosting算法[9]。該算法不需要弱分類器的先驗知識。它的核心是為相同的訓練集訓練不同的弱分類器，然后將這些弱分類器合成強分類器，最后將強分類器級聯(lián)成最終分類器。圖2是由分類器進行級聯(lián)和檢測出租車的過程。

圖2 Adaboost分類器檢測流程

通過在圖像上使用不同大小的矩形窗口進行多尺度掃描，并使用級聯(lián)分類器判斷掃描的每個矩形窗口。如果一個矩形窗口特征通過了所有的級聯(lián)分類器，表明該區(qū)域是出租車車窗區(qū)域（可獲取當前圖像中車輛的位置），否則表示該區(qū)域不是出租車車窗區(qū)域。

本文采用的訓練集包含2 767張車窗區(qū)域正樣本和7 219張環(huán)境負樣本，如圖3所示，正樣本統(tǒng)一歸一化為28×20個像素點，負樣本歸一化為480×360個像素點。同時設(shè)置每3個弱分類器構(gòu)成一個強分類器，最終將訓練好的Haar-Adaboost分類器用交通監(jiān)控視頻進行測試，試驗結(jié)果如圖4所示。

圖3 部分訓練正負樣本

圖4 車窗區(qū)域初步檢測結(jié)果

1.2 滑動顏色直方圖匹配

顏色直方圖相似度的高低可以反映兩幅圖像的相似程度[10]。本文利用前文檢測到的車窗區(qū)域，截取包含車頂燈的部分，將該部分設(shè)置為ROI。利用本文提出的滑動基于顏色直方圖匹配的檢測方法對ROI進行二次檢測，以有效降低誤檢率。匹配過程如圖5（a）所示。

通過將ROI分成三等份，將每一部分與車頂燈進行顏色直方圖匹配（采用巴氏距離計算匹配相似度），可以得到匹配曲線。通過100張包含車頂燈的ROI和100張不包含車頂燈的ROI進行上述匹配，最后把每部分匹配結(jié)果取均值處理，試驗結(jié)果如圖5（b）所示。

圖5 顏色直方圖匹配過程和結(jié)果圖

試驗結(jié)果說明包含車頂燈和不包含車頂燈的ROI的滑動顏色直方圖匹配結(jié)果的差異主要體現(xiàn)在Part2，包含車頂燈計算出的巴氏距離要明顯小于其他部分，利用這一差異，設(shè)定區(qū)分是否包含車頂燈的標準，如公式（1）所示。

DBi(i=1,2,3)為每部分計算出的巴氏距離，當ROI區(qū)域第二部分（Part2）的匹配結(jié)果小于等于0.2（匹配結(jié)果為1，表示匹配成功）時，停止相似度匹配，判定包含車頂標志。當ROI區(qū)域第二部分（Part2）的匹配結(jié)果大于0.2，但第一部分（Part1）和第三部分（Part3）匹配結(jié)果都比第二部分（Part2）高0.3時，則同樣表示匹配成功。否則，將該區(qū)域認定為誤檢區(qū)域。

利用交通監(jiān)控視頻對算法性能進行測試，結(jié)果如圖6所示。從圖6中可知，原先誤檢區(qū)域被消除。

圖6 算法性能測試結(jié)果

2 基于亮度通道的MSR算法

在實際環(huán)境中，出租車駕駛員處于半封閉的車內(nèi)，導致車內(nèi)容易產(chǎn)生偏光現(xiàn)象，從而對后續(xù)的特征點定位和胡須分割產(chǎn)生很大的干擾，因此，需要對圖像進行光線平衡。本文采用基于亮度通道的MSR算法，將車窗區(qū)域的圖像轉(zhuǎn)到HSV顏色空間，進行基于亮度通道（V通道）的MSR圖像增強，以降低光線對圖像的影響[11-12]。

根據(jù)Retinex理論，人眼感知物體的亮度取決于環(huán)境的照明和物體表面對照射光的反射，其數(shù)學表達式如公式（2）所示：

式（2）中：I(x,y)為被觀察者或攝像機接收到的圖像信號；L(x,y)為環(huán)境光的照射分量；R(x,y)為攜帶目標物體圖像細節(jié)信息的反射分量。

將（2）式兩邊取對數(shù)，則可消除入射光的影響，得到物體的真實面貌，即有關(guān)系式：

將這個原理運用到圖像處理上，即針對已經(jīng)獲得的圖像數(shù)據(jù)I(x,y），計算出對應的R(x,y)，則R(x,y)即視為增強后的圖像。Retinex理論的提出者指出，這個L(x,y)可以通過對圖像數(shù)據(jù)I(x,y)進行高斯模糊得到，多尺度指的是多種高斯模糊半徑。因此，通過對分離出的V通道進行MSR圖像增強，既能還原圖像被光線影響的細節(jié)，又能保留圖像本來的色彩。圖7是對被光線影響的出租車駕駛室的圖像增強結(jié)果。從圖7中可以看出，駕駛員的臉部和出租車等細節(jié)都有很大程度的恢復。

3 下巴提取和胡須分割

人臉檢測發(fā)展至今已經(jīng)比較成熟，本文基于人臉檢測庫（libfacedetection）進行人臉特征點提取，該庫在檢測速度上是Haar-Adaboost算法的2～3 倍[13]。libfacedetection將標記的68個特征點作為人臉檢測結(jié)果。本文將3～13和31～35號特征點相連，構(gòu)成下巴區(qū)域的外輪廓；將48～59號特征點相連，構(gòu)成下巴區(qū)域的內(nèi)輪廓（嘴唇區(qū)域）。將外輪廓包含區(qū)域減去內(nèi)輪廓包含區(qū)域構(gòu)成下巴區(qū)域[14-15]，如圖8所示。

圖7 MSRBVC算法恢復結(jié)果

圖8 下巴區(qū)域

本文提取的下巴區(qū)域包含的信息只有膚色和胡須。因此本文采用直接驗證和間接驗證相結(jié)合的方法來對胡須進行分割。直接驗證利用胡須像素較膚色像素更深的特征，采用灰度閾值法進行胡須分割。間接驗證把下巴區(qū)域的非膚色像素看作胡須像素來對胡須進行分割。

3.1 灰度閾值法

灰度閾值法即將原彩色圖像轉(zhuǎn)換為單通道的灰度圖像，利用胡須和膚色的灰度信息分布在不同的灰度級，設(shè)置合適的閾值，將胡須像素點分割出來。圖9（a）為各灰度閾值的分割效果，圖9（b）為各灰度閾值的運算結(jié)果。

基于盡可能多地分割出胡須像素點的考慮，根據(jù)試驗結(jié)果，本文將閾值設(shè)定為100。

3.2 膚色檢測

本文基于Ycrcb顏色空間對膚色進行檢測[16-18]，因為該空間受亮度影響小，膚色會產(chǎn)生良好的類聚。根據(jù)經(jīng)驗，像素點的Cr,Cb值滿足：133≤Cr≤173,77≤Cb≤127，那么該點被認為是膚色像素點。

將膚色檢測結(jié)果和灰度閾值法分割結(jié)果進行與運算，得到最終的胡須分割圖像，如圖9（b）所示。最后，統(tǒng)計胡須像素點所占下巴區(qū)域的像素比例，若達到違法條件，則判定該駕駛員存在蓄須行為。

圖9 各灰度閾值的分割效果和與運算結(jié)果

4 試驗結(jié)果分析

為驗證本文提出的出租車駕駛員蓄須行為檢測方法的有效性，隨機抽取了3段交通監(jiān)控視頻進行檢測，視頻所包含的有效信息如表1所示。部分試驗結(jié)果如圖10所示。

表1 測試視頻中包含的有效信息

圖10 算法測試結(jié)果

當判定該名駕駛員存在蓄胡須行為時，在檢測結(jié)果圖上疊加紅色字符“Beard”。

三段視頻的檢測結(jié)果匯總?cè)绫?所示。

表2 檢測結(jié)果匯總

在檢測到蓄須的駕駛員中，包含全部的正樣本。即蓄須行為的檢出率達到100%，但是存在一定數(shù)量的誤檢。試驗結(jié)果表明，本文提出的方法能夠有效識別出租車駕駛員的蓄須行為，盡管存在一定的誤檢，依然能極大緩解交通執(zhí)法部門的執(zhí)法壓力。

5 結(jié)論

針對出租車給交通執(zhí)法帶來的壓力日益增長，本文首先提出了一種出租車駕駛員蓄須行為的自動檢測方法，該方法用車窗區(qū)域檢測代替?zhèn)鹘y(tǒng)的整車檢測，既能避開車輛部分遮擋問題，又能快速鎖定駕駛員位置，同時提出一種滑動顏色直方圖匹配的方法以降低車窗區(qū)域檢測的誤檢率。其次，利用基于亮度通道的MSR算法對圖像細節(jié)進行恢復，使該方法在光線影響較大的情況下也能有較高的檢測準確率。最后，將膚色檢測和灰度閾值法相結(jié)合，直接和間接地對胡須進行分割，增加了算法的魯棒性。通過實際應用，證明了該方法在復雜環(huán)境中的有效性和可行性，后續(xù)將針對誤檢問題進行優(yōu)化。