一種復(fù)雜光照下列車司機(jī)人臉自適應(yīng)圖像增強(qiáng)方法

江躍龍 黃震

摘? 要：針對列車高速行駛過程中，進(jìn)入隧道后低光照和出隧道后的高光照圖像，分別采取低光照和高光照圖像增強(qiáng)方法進(jìn)行處理，增強(qiáng)列車司機(jī)人臉圖像陰暗區(qū)域，提出一種復(fù)雜光照下列車司機(jī)人臉自適應(yīng)圖像增強(qiáng)方法并進(jìn)行了研究，實(shí)驗(yàn)結(jié)果表明，在復(fù)雜光照下列車司機(jī)人臉自適應(yīng)圖像增強(qiáng)方法能有效提高人臉檢測成功率，降低誤檢率，為后續(xù)研究AdaBoost算法進(jìn)行人臉精準(zhǔn)檢測，提取Haar特征以及積分圖訓(xùn)練弱分類器和訓(xùn)練強(qiáng)分類器奠定一定基礎(chǔ)。

關(guān)鍵詞：圖像增強(qiáng);低光照;直方圖均衡化;人臉檢測率

中圖分類號：TP391.4? ? ? 文獻(xiàn)標(biāo)識碼：A 文章編號：2096-4706（2021）05-0103-05

An Adaptive Image Enhancement Method for Train Drivers Face under

Complex Illumination

JIANG Yuelong，HUANG Zhen

（Guangzhou Railway Polytechnic，Guangzhou? 510610，China）

Abstract：In the process of high-speed train driving，the low illumination and high illumination images after entering and leaving the tunnel are processed by low illumination and high illumination image enhancement methods respectively to enhance the dark area of the train drivers face image. An adaptive image enhancement method for train drivers face under complex illumination is proposed and studied. The experimental results show that the adaptive image enhancement method for train drivers face under complex illumination can effectively improve the face detection success rate and reduce the false detection rate，which lays a foundation for the follow-up study of AdaBoost algorithm for accurate face detection，Haar feature extraction and integral image training of weak classifier and strong classifier.

Keywords：image enhancement;low light;histogram equalization;face detection rate

0? 引? 言

2020年受疫情影響，中國軌道交通基礎(chǔ)設(shè)備建設(shè)發(fā)展現(xiàn)狀及趨勢將逆周期調(diào)節(jié)回升，截至2021年，全國（不含港澳臺）共有44個(gè)城市開通運(yùn)營城市軌道交通線路233條，運(yùn)營里程7 545.5公里，車站4 660座，實(shí)際開行列車2 528萬列次，完成客運(yùn)量175.9億人次，進(jìn)站量109.1億人次[1]，按目前情況發(fā)展來看，“十四五”新增運(yùn)營里程和列車車次相比“十三五”將再上一個(gè)臺階，城軌市場仍處于增量階段。從我國人口布局來看，城市軌道交通發(fā)展?jié)摿薮?。軌道交通的快速發(fā)展，為人民日常出行和日常生活提供了很大便利，軌道交通是我國國民經(jīng)濟(jì)的命脈和交通運(yùn)輸?shù)墓歉删W(wǎng)絡(luò)，它促進(jìn)了經(jīng)濟(jì)發(fā)展，同時(shí)，對列車的運(yùn)營安全提出了更嚴(yán)格和更高的要求。

列車司機(jī)在駕駛中打盹睡覺、疲勞駕駛都屬于嚴(yán)重違章駕駛行為，是鐵路規(guī)章制度中嚴(yán)禁的，對列車司機(jī)的疲勞檢測關(guān)鍵是軌道交通列車駕駛室內(nèi)攝像頭采集的列車司機(jī)圖像，對列車司機(jī)圖像進(jìn)行預(yù)處理，其中主要使用的方式是基于非線性平滑技術(shù)的中值濾波處理和光照補(bǔ)償處理。采用非線性平滑技術(shù)的中值濾波法，主要作用是消除列車司機(jī)圖像中存在的噪聲[2]，采用直方圖均衡化處理的方法（實(shí)質(zhì)是對圖像中所有像素點(diǎn)的灰度級進(jìn)行調(diào)整變換）進(jìn)行光照補(bǔ)償，實(shí)現(xiàn)增強(qiáng)列車司機(jī)圖像對比度（Image Contrast）。

1? 列車行駛過程中的復(fù)雜光照

由于列車行駛過程中外界環(huán)境是復(fù)雜的，在軌道交通列車駕駛室內(nèi)拍攝的列車司機(jī)圖像采集后對比度偏低、列車司機(jī)圖像光線偏暗、灰度動態(tài)范圍亮度差和收縮等方面的問題，導(dǎo)致列車司機(jī)的圖像出現(xiàn)質(zhì)量模糊以及退化嚴(yán)重的現(xiàn)象，為了在保持列車司機(jī)圖像的原始圖像不受影響，針對移動目標(biāo)檢測、目標(biāo)識別、列車司機(jī)圖像特征提取等后續(xù)圖像處理的要求，通過列車司機(jī)圖像人臉動態(tài)范圍的擴(kuò)展提升畫面質(zhì)量、亮度和視覺效果，使得增強(qiáng)后的列車司機(jī)圖像更符合人眼視覺體驗(yàn)，有利于AI機(jī)器視覺分析和處理。

在列車行駛過程中復(fù)雜光照通常含有強(qiáng)烈太陽光照射、在隧道中光線較為昏暗，若列車司機(jī)長時(shí)間處于強(qiáng)光以及昏暗的外界光照環(huán)境下看行車路況對于列車司機(jī)行駛是一項(xiàng)巨大挑戰(zhàn)，也是極為不安全的。在白天行車過程中，隧道的視野環(huán)境通常是外亮內(nèi)暗環(huán)境;夜間行車過程中，隧道的視野環(huán)境通常是外暗內(nèi)亮。

當(dāng)列車行駛在進(jìn)出隧道時(shí)，列車司機(jī)的眼睛都會因突然的光線昏暗漸變到強(qiáng)光變化而出現(xiàn)短暫性的視覺失明，形成了視覺盲區(qū)和“視覺白區(qū)”。當(dāng)列車行駛在隧道行駛過程中，列車司機(jī)不但要承受光線的變化，而且視線、視野肯定受限，所以列車司機(jī)高速駛出隧道時(shí)，系統(tǒng)應(yīng)盡可能自適應(yīng)調(diào)節(jié)駕駛內(nèi)的燈光強(qiáng)弱調(diào)節(jié)，保持駕駛內(nèi)外可以提供給列車司機(jī)一個(gè)舒適行車環(huán)境。

2? 圖像增強(qiáng)的傳統(tǒng)主流方法

采集駕駛室內(nèi)列車司機(jī)人臉圖像過程，由于列車行車過程速度很快，環(huán)境條件復(fù)雜，所以有可能會產(chǎn)生外界噪聲干擾攝像頭所采集列車司機(jī)人臉數(shù)據(jù)信息的圖像，也有可能會在嵌入式處理器采集列車司機(jī)人臉圖像信息的過程中產(chǎn)生噪聲干擾。

根據(jù)列車司機(jī)人臉圖像的噪聲與信號的相關(guān)性，可將其表示為：Y（x，y）表示輸入原始圖像數(shù)據(jù)，F(xiàn)（x，y）表示圖像信號，S（x，y）表示司機(jī)圖像在列車行駛過程中產(chǎn)生的噪聲。

傳統(tǒng)攝像頭采集圖像信息的過程中產(chǎn)生主要有以下幾種噪聲：

（1）加性噪聲，該噪聲通常是指散彈噪聲或熱噪聲，不管有沒有信號存在，它都是始終存在。其與輸入圖像信號數(shù)據(jù)沒有關(guān)聯(lián)，它可表示為Y（x，y）=F（x，y）+S（x，y）;如信道噪聲以及攝像機(jī)在正常采集列車司機(jī)圖像時(shí)嵌入式智能攝像頭掃描圖像將產(chǎn)生熱噪聲、散彈的加性噪聲。

（2）乘性噪聲，此類噪聲將是一種圖像在獲取、傳輸或處理過程中，通過乘法加入相關(guān)信號的隨機(jī)噪聲，其與原始的圖像信號有關(guān)系，乘性噪聲對原始圖像的干擾比較嚴(yán)重，通常乘性噪聲的圖像是表示為Y（x，y）=F（x，y）+S（x，y）F（x，y），在實(shí)際應(yīng)用過程中難以有效地對帶有乘性噪聲的原始圖像數(shù)據(jù)處理，因?yàn)槌诵栽肼暺鸱^劇烈，均勻度也較低。

（3）量化噪聲，該類噪聲在傳統(tǒng)的現(xiàn)代通信編碼中，從已調(diào)信號中恢復(fù)信號的過程后，恢復(fù)的信號與原始傳輸信號之間的差異是由于信號幅度與時(shí)間之間量化或在模數(shù)轉(zhuǎn)化ADC量化過程引入量化失真的噪聲，該類量化失真與輸入圖像信號沒有關(guān)系，而是信號在量化過程產(chǎn)生量化誤差，而直接反映到信號接收端的現(xiàn)象。

在列車在行駛過程中，采集的列車司機(jī)人臉以及駕駛室的圖像應(yīng)該盡可能消除或減少噪聲，可將輸出列車司機(jī)的圖像灰度級數(shù)增大到一定程度，使得司機(jī)圖像中局部細(xì)節(jié)看起來清晰，可以有效地解決因列車司機(jī)圖像的灰度級范圍小導(dǎo)致圖像對比度較低的問題。

而傳統(tǒng)的圖像處理增強(qiáng)和無損優(yōu)化圖像常用幾種方法，如水平翻轉(zhuǎn)、隨機(jī)錯(cuò)切變換、隨機(jī)翻轉(zhuǎn)角度、直方圖正規(guī)化、直方圖均衡化（Histogram equalization）、自適應(yīng)直方圖均衡化（AHE）、線性變換、Gamma校正、線性變換、基于HSV空間的彩色圖像增強(qiáng)方法、同態(tài)濾波器、直方圖均衡化、對比度拉升等。

近年來國內(nèi)外研究使用傳統(tǒng)低照度圖像處理增強(qiáng)主流處理方法主要有：

（1）低照度的艦船圖像增強(qiáng)研究，田江麗等[3]提出對低照度圖像建立Retinex模型，建立圖像光照基礎(chǔ)模型，引入低照度艦船圖像，獲得圖層光照分布狀態(tài)，通過亮度進(jìn)行調(diào)整來濾除圖層噪點(diǎn)目的。

（2）李慶忠等[4]提出了基于并聯(lián)殘差網(wǎng)絡(luò)的低照度圖像增強(qiáng)算法，為了解決低照度圖像亮度低、對比度低、信息丟失嚴(yán)重、顏色失真等問題，其核心思路是將交替殘差模塊與局部全局殘差模塊進(jìn)行并聯(lián)，運(yùn)用改進(jìn)的損失函數(shù)計(jì)算測試集損失，不斷調(diào)整網(wǎng)絡(luò)參數(shù)。

（3）張超等[5]提出一種基于動態(tài)場景估計(jì)的自適應(yīng)圖像增強(qiáng)算法，利用拉普拉斯算子來銳化圖像細(xì)節(jié)，構(gòu)建不同場景下的圖像灰度映射函數(shù)，通過動態(tài)場景估計(jì)數(shù)據(jù)來調(diào)整圖像灰度和對比度。

（4）馬悅等[6]基于深度學(xué)習(xí)的低照度圖像增強(qiáng)方法，提出了一種基于深度學(xué)習(xí)的端到端神經(jīng)網(wǎng)絡(luò)，其主要思想是通過空間和通道雙重注意力機(jī)制來抑制色差和噪聲，用來引導(dǎo)網(wǎng)絡(luò)細(xì)化冗余的色彩特征。

3? 列車司機(jī)駕駛室的圖像噪聲處理

利用人工智能+賦能對列車司機(jī)的疲勞狀態(tài)進(jìn)行判斷之前，列車司機(jī)駕駛室的圖像噪聲處理是至關(guān)重要的環(huán)節(jié)，目前對圖像噪聲處理主要有以下幾種處理方法：

（1）極大值和極小值濾波，該方法一種比較保守的圖像處理手段，其原理就是選取排序周圍像素和中心像素點(diǎn)的值，然將中心像素點(diǎn)值與最小和最大像素點(diǎn)值進(jìn)行比較，如果該中心點(diǎn)的像素點(diǎn)值與最小值相比還要小，那么替換中心像素點(diǎn)值為最小值，如果中心像素與最大值相比還要大，那么替換中心像素為最大值，這樣處理可以有效率過濾灰度值比較低的信號噪聲。極大值濾波可以表示為：Maximum（F）=

max[F（x+n，y+p）]，其中，（x，y）屬于A，（x+n，y+p）是定義在圖像上的橫坐標(biāo)、縱坐標(biāo)，（n，p）是定義在運(yùn)算的模板A上的坐標(biāo)。

一個(gè)Ker（A）矩陣為3×3的最大最小值濾波如圖1所示。

排序以后為6，8，9，11，12，13，14，15，中心像素：36，最大值和最小值濾波后，中心像素值分別為：15和6。

（2）均值濾波是典型的線性濾波算法，也被稱為線性濾波，是圖像處理中較為常用的算法，其采用的主要方法為鄰域平均法，即用幾個(gè)像素灰度的平均值來代替每個(gè)像素的灰度，從頻率域?qū)用嫔蟻砜淳禐V波是一種高頻信號將會被過濾的低通濾波器，因此，它可以很好地消除列車司機(jī)圖像的尖銳噪聲問題，從而很好實(shí)現(xiàn)平滑圖像，具有速度快，算法簡單等優(yōu)點(diǎn)。理想的均值濾波主要思想是用每個(gè)像素值和它周圍的像素點(diǎn)值計(jì)算出來的平均值替換原來的圖像中每個(gè)像素值。據(jù)通常是3×3的矩陣，如圖2所示。

以圖2矩形中X中心為中心像素，中心像素周圍有八個(gè)像素，計(jì)算九個(gè)像素點(diǎn)的平均值，替換X中心的像素值。

圖片中一個(gè)方塊區(qū)域（3×3矩陣）內(nèi)，中心點(diǎn)像素點(diǎn)值為全部點(diǎn)像素點(diǎn)值加權(quán)平均值。均值濾波就是對于整張?jiān)紙D片進(jìn)行上面的操作。

式中，處理后圖像在該點(diǎn)上的灰度值為g（x，y），M為該模板（3×3矩陣）中包含當(dāng)前像素在內(nèi)的像素值總個(gè)數(shù)。

均值濾波由于本身存在著固有的缺陷，可以有效抑制加性噪聲，只能輕微的減弱它，但其容易引起原始圖像模糊，所以它不能很好地保護(hù)原始圖像細(xì)節(jié)問題[7]，針對原始圖像去噪的同時(shí)也破壞了原始圖像的細(xì)節(jié)部分，使得圖像變得模糊，不能很好地去除圖像的噪聲點(diǎn)。

（3）中點(diǎn)濾波，結(jié)合統(tǒng)計(jì)排序和求平均，對于隨機(jī)分布噪聲工作得很好，如高斯噪聲或均勻噪聲。

（4）中值濾波，在“最小絕對誤差”準(zhǔn)則下的最優(yōu)濾波法，通過對鄰域內(nèi)像素按灰度排序的結(jié)果決定中心像素的灰度，將周圍像素和中心像素排序以后，取中值。在一連串?dāng)?shù)字：{3，2，4，6，7，9，10}中，數(shù)字6就是這串?dāng)?shù)字的中值。由此我們可以應(yīng)用到圖像處理中，在圖像中取3×3的矩陣，該矩陣有九個(gè)像素點(diǎn)，我們將九個(gè)像素點(diǎn)進(jìn)行排序：1，3，11，13，18，22，27，29，41，最后將這個(gè)矩陣的中心點(diǎn)賦值18，作為為這九個(gè)像素的中值。

我們可以看如圖3所示的5×5矩陣進(jìn)行理解。

均值濾波法具有平滑圖像，速度快，算法簡單等優(yōu)點(diǎn)，雖對于高斯噪聲的效果比較好，而中值濾波卻對于椒鹽噪聲的效果比較好。

4? 列車司機(jī)圖像預(yù)處理

直方圖均衡化（Histogram Equalization，HE）是把一張已知列車司機(jī)原始圖像經(jīng)過灰度轉(zhuǎn)換得到列車司機(jī)灰度圖，如圖4、圖5所示，然后經(jīng)過一種特殊變換，得到灰度概率密度分布，使它演變?yōu)橐环哂芯鶆蚧叶雀怕拭芏确植嫉男聢D像，如圖6所示?？梢栽鰪?qiáng)給定原始圖像的對比度，使得結(jié)果原始圖像具有均勻的灰度級分布。該方法可以平滑和拉伸圖像直方圖的動態(tài)范圍，從而提高整體對比度。

當(dāng)在列車行駛過程中復(fù)雜光照通常包含強(qiáng)烈太陽光照射與隧道中的昏暗光線，進(jìn)出隧道時(shí)，圖像需要增強(qiáng)和預(yù)處理，圖7為模擬列車司機(jī)原始圖像（數(shù)據(jù)集源于低光照人臉數(shù)據(jù)集），對列車司機(jī)圖像分別進(jìn)行直方圖處理、非線性中值濾波法去除列車司機(jī)圖像的噪聲處理和列車司機(jī)圖像直方圖均衡化處理。

5? 復(fù)雜光照下列車司機(jī)人臉圖像自適應(yīng)增強(qiáng)方法

圖像增強(qiáng)處理算法有：圖像平面上修改灰度的算法（空域法）、變換輸入圖像、在變換域執(zhí)行特定任務(wù)、應(yīng)用逆變換回到空間域（變換域法）和改變邊界圖像附近的灰度，去除間隙，并混合圖像使得增強(qiáng)（融合法）。采集列車司機(jī)人臉和駕駛室內(nèi)的圖像，系統(tǒng)將先計(jì)算列車司機(jī)的人臉以及駕駛室圖像平均亮度，然后通過前期評估數(shù)據(jù)得到的正常光照亮度范圍區(qū)間值作為參考，判斷當(dāng)前人臉以及駕駛室圖像的光照水平。對于駛?cè)胨淼篮篑{駛室光照環(huán)境處于低光照和出隧道后駕駛室光照環(huán)境處于高光照圖像，分別采取低光照和高光照圖像增強(qiáng)方法進(jìn)行處理。

系統(tǒng)整體設(shè)計(jì)如圖8所示。

對于正常光照列車司機(jī)的圖像，不需要進(jìn)行其他額外處理，采集列車司機(jī)的圖像然后粗定位人臉并精準(zhǔn)定位人眼，通過列車司機(jī)的眼睛狀態(tài)評估和判斷列車司機(jī)是否處于疲勞狀態(tài)。如圖9所示，列車每一次進(jìn)出隧道后光照增強(qiáng)處理后，重新計(jì)算列車司機(jī)圖像亮度并衡量光照水平情況。

6? 結(jié)? 論

本文提出一種復(fù)雜光照下列車司機(jī)人臉自適應(yīng)圖像增強(qiáng)方法，對于在列車行駛過程中，進(jìn)入隧道后低光照和出隧道后的高光照圖像，采取低光照和高光照圖像增強(qiáng)方法以及增強(qiáng)司機(jī)圖像陰暗區(qū)域的信息，為后續(xù)研究對列車司機(jī)圖像中人臉區(qū)域的預(yù)分割、人臉位置的粗定位及高檢測率的AdaBoost算法訓(xùn)練出弱分類器，然后將該弱分類器組合形成層疊的強(qiáng)分類器進(jìn)行人臉精準(zhǔn)檢測，提取Haar特征以及為積分圖訓(xùn)練弱分類器和訓(xùn)練強(qiáng)分類器奠定一定基礎(chǔ)。

參考文獻(xiàn)：

[1] 劉志強(qiáng).全國城市軌道交通運(yùn)營里程達(dá)7545.5公里 [N].人民日報(bào)，2021-01-07（10）.

[2] 趙亞利，魏迎梅，老松楊.一種基于聚類分割的航空圖像道路提取方法 [J].系統(tǒng)仿真學(xué)報(bào)，2014，26（9）：2198-2202.

[3] 田江麗，李攀.低照度的艦船圖像增強(qiáng)研究 [J].艦船科學(xué)技術(shù)，2021，43（2）：88-90.

[4] 陳清江，李金陽，胡倩楠.基于并聯(lián)殘差網(wǎng)絡(luò)的低照度圖像增強(qiáng)算法 [J/OL].激光與光電子學(xué)進(jìn)展：1-17[2021-02-24].http：//kns.cnki.net/kcms/detail/31.1690.tn.20210222.1313.029.html.

[5] 張超，楊晶晶，王盛，等.基于動態(tài)場景估計(jì)的自適應(yīng)圖像增強(qiáng)算法 [J].計(jì)算機(jī)工程，2013，39（5）：34-41.

[6] 馬悅.基于深度學(xué)習(xí)的低照度圖像增強(qiáng)方法 [J].信息技術(shù)，2021（1）：85-89.

[7] 王際航.基于視頻圖像的眼動系統(tǒng)算法研究與實(shí)現(xiàn) [D].長春：吉林大學(xué)，2016.

作者簡介：江躍龍（1984—），男，漢族，福建龍巖人，講師，電子技術(shù)工程師，碩士研究生，研究方向：人工智能、智能信息系統(tǒng)、機(jī)器學(xué)習(xí)、機(jī)器視覺;黃震（1999—），男，漢族，江西上饒人，研究方向：鐵道通信與信息化技術(shù) 。