關(guān)于農(nóng)機(jī)駕駛員疲勞檢測(cè)的研究綜述

盧奧瑋 ，董 增 ，李珊輝

（塔里木大學(xué)信息工程學(xué)院，新疆 阿拉爾 843300）

0 引言

現(xiàn)階段，在農(nóng)忙時(shí)節(jié)，農(nóng)機(jī)跨區(qū)作業(yè)實(shí)現(xiàn)常態(tài)化，出現(xiàn)農(nóng)機(jī)少、作業(yè)面積大的現(xiàn)象，因此作物收獲時(shí)農(nóng)機(jī)駕駛員長(zhǎng)時(shí)間駕駛農(nóng)機(jī)作業(yè)，易發(fā)生農(nóng)機(jī)駕駛員疲勞駕駛傷人、損物的事故，造成人員傷亡、農(nóng)機(jī)損壞的現(xiàn)象。因此，農(nóng)機(jī)駕駛員疲勞檢測(cè)對(duì)于預(yù)防農(nóng)機(jī)事故的發(fā)生起到了重要的作用，而研究農(nóng)機(jī)駕駛員疲勞特征是疲勞檢測(cè)的基礎(chǔ)。

農(nóng)機(jī)駕駛員需要在復(fù)雜環(huán)境下進(jìn)行長(zhǎng)期性的作業(yè)，這對(duì)于駕駛員來(lái)說(shuō)無(wú)疑是一個(gè)極大的挑戰(zhàn)。特別是在我國(guó)的農(nóng)村地區(qū)，地塊小、分布不均勻，很多時(shí)候都需要調(diào)動(dòng)車頭的行為，這對(duì)于駕駛員的體力以及各方面的消耗無(wú)疑是巨大的，從而導(dǎo)致了其精神方面的疏忽和大意，更容易引發(fā)事故。而由于人眼的一些特殊行為能夠較為準(zhǔn)確地體現(xiàn)出駕駛員是否存在疲憊的情況，因而從人眼行為出發(fā)，研究出對(duì)人眼行為進(jìn)行檢測(cè)反映駕駛員是否疲憊的系統(tǒng)已成為當(dāng)前的核心研究方向，這主要需要在得到的圖像或者視頻中快速準(zhǔn)確地定位到目標(biāo)人物的人眼位置，依照人眼的狀態(tài)來(lái)判斷農(nóng)機(jī)駕駛員是否疲勞。

1 理論基礎(chǔ)

疲勞是一種生理現(xiàn)象，當(dāng)人的身體在長(zhǎng)時(shí)間或高強(qiáng)度工作后，會(huì)出現(xiàn)疲勞的癥狀。疲勞主要表現(xiàn)為身體機(jī)能下降、反應(yīng)速度變慢、注意力不集中等。在生理學(xué)中，有許多參數(shù)可以用來(lái)評(píng)估人的疲勞程度，例如心率、血壓、呼吸頻率、眼球運(yùn)動(dòng)等。這些參數(shù)在人疲勞時(shí)都會(huì)發(fā)生變化，因此，通過(guò)監(jiān)測(cè)和分析這些參數(shù)，可以準(zhǔn)確地評(píng)估農(nóng)機(jī)駕駛員的疲勞程度。現(xiàn)如今，人工智能技術(shù)，特別是深度學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)技術(shù)，可以從大量的數(shù)據(jù)中學(xué)習(xí)和抽取有用的信息。在農(nóng)機(jī)駕駛員[1]疲勞檢測(cè)中，可以通過(guò)深度學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)技術(shù)，學(xué)習(xí)和識(shí)別駕駛員眼部、面部等微小變化，準(zhǔn)確評(píng)估他們的疲勞程度。這種基于人工智能技術(shù)的疲勞檢測(cè)方法，因其高準(zhǔn)確率和非侵入性等特點(diǎn)，成為當(dāng)前疲勞檢測(cè)的主流研究方法。

2 研究進(jìn)展

研究農(nóng)機(jī)駕駛員疲勞駕駛的檢測(cè)方法對(duì)于保護(hù)人民的生命財(cái)產(chǎn)安全具有極大的現(xiàn)實(shí)意義。隨著農(nóng)機(jī)在農(nóng)業(yè)生產(chǎn)中的廣泛應(yīng)用，農(nóng)機(jī)駕駛員長(zhǎng)時(shí)間連續(xù)工作可能導(dǎo)致疲勞駕駛，增加了事故發(fā)生的風(fēng)險(xiǎn)。要想降低風(fēng)險(xiǎn)，準(zhǔn)確判斷農(nóng)機(jī)駕駛員的疲勞駕駛行為并進(jìn)行警報(bào)，這其中的重點(diǎn)以及難點(diǎn)就在于疲勞的檢測(cè)是否準(zhǔn)確。檢測(cè)的方法主要分為三大類：接觸式檢測(cè)、非接觸式檢測(cè)以及近年來(lái)新興的卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)技術(shù)。

2.1 接觸式檢測(cè)

在對(duì)駕駛員的疲勞程度進(jìn)行評(píng)估時(shí)，存在許多客觀的測(cè)量方法。這些方法主要通過(guò)直接測(cè)量人體的某些生理參數(shù)，來(lái)客觀地評(píng)估駕駛員的疲勞狀況，其中包括眼電圖、腦電圖、心電圖等。

眼電圖主要用于測(cè)量眼球的活動(dòng)，通過(guò)分析眼球的移動(dòng)軌跡、眼皮的抖動(dòng)等信息，可以判斷駕駛員是否出現(xiàn)疲勞的跡象。這種方法的優(yōu)點(diǎn)是實(shí)時(shí)性強(qiáng)，能夠及時(shí)地反映駕駛員的疲勞狀況。腦電圖主要用于測(cè)量大腦的電活動(dòng)，可以直接反映大腦的工作狀態(tài)，從而判斷駕駛員是否疲勞。腦電圖的主要優(yōu)點(diǎn)是準(zhǔn)確性高，但需要專門的設(shè)備和專業(yè)的操作人員。心電圖是通過(guò)測(cè)量心臟的電活動(dòng)，來(lái)評(píng)估駕駛員的疲勞程度。駕駛員疲勞時(shí)，心臟的電活動(dòng)可能會(huì)發(fā)生一些變化。

然而，由于疲勞駕駛所產(chǎn)生的原因不同，僅僅依靠醫(yī)學(xué)手段獲取人體的各項(xiàng)數(shù)值來(lái)判斷是否疲勞的檢測(cè)方法還是有些不準(zhǔn)確，因?yàn)檫@通常會(huì)受到人體的自身思維以及各類主觀因素的影響，無(wú)法判斷出該情況是否屬于正常的疲勞情況，因而非接觸式檢測(cè)在此基礎(chǔ)上逐漸發(fā)展起來(lái)。

2.2 非接觸式檢測(cè)

非接觸式檢測(cè)是指用農(nóng)機(jī)本身的某些參數(shù)或農(nóng)機(jī)駕駛員的眼部圖像來(lái)判斷駕駛員的疲勞狀態(tài)。Liu等[1]提出一種基于面部表情分析的疲勞檢測(cè)算法，通過(guò)MB-LBP 和Adaboost 分類器進(jìn)行訓(xùn)練，使用訓(xùn)練好的模型檢測(cè)駕駛員眼睛和嘴巴的狀態(tài)，多信息融合提高系統(tǒng)的檢測(cè)精度，計(jì)算單位時(shí)間內(nèi)閉眼時(shí)間的比例和打哈欠頻率的比例可以描述駕駛員的疲勞狀態(tài)。弗吉尼亞大學(xué)精神生理學(xué)教授Walt Wierwille 博士針對(duì)駕駛員疲勞問(wèn)題，提出了一種新穎且實(shí)用的疲勞測(cè)量方法psycho physiological fatigue detection devices and measures，即采用PERCLOS 作為疲勞測(cè)量的主要指標(biāo)，同時(shí)采用腦電圖儀、頭部運(yùn)動(dòng)探測(cè)器等作為輔助測(cè)量工具[2-3]。PERCLOS 指標(biāo)可衡量駕駛員的疲勞程度，主要測(cè)量參數(shù)是駕駛員的眼睛閉合時(shí)間與總的觀察時(shí)間的比例。該指標(biāo)發(fā)明者認(rèn)為，駕駛員疲勞時(shí)，眼睛的閉合時(shí)間會(huì)增加，通過(guò)測(cè)量并計(jì)算這個(gè)比例，可以準(zhǔn)確地評(píng)估駕駛員的疲勞程度。

各類汽車公司相繼推出的自動(dòng)化駕駛輔助系統(tǒng)能有效減少行車時(shí)駕駛員因?yàn)槠诨蛘咂渌蚨l(fā)生的錯(cuò)誤[4-5]，但這類系統(tǒng)一般都依賴于傳感器的精度和有利的環(huán)境，在不利環(huán)境下，這類傳感器的精度會(huì)明顯降低[6]。Li 等[7]模擬了真實(shí)的行車環(huán)境，并在轉(zhuǎn)向桿上安裝了傳感器，收集方向盤角度數(shù)據(jù)，提出基于方向盤角度實(shí)時(shí)檢測(cè)駕駛員疲勞程度的方案。Lawoyin 等[8]利用三軸加速度傳感器監(jiān)測(cè)方向盤的轉(zhuǎn)動(dòng)判斷駕駛員的疲勞狀態(tài)。Li 等[9]研究駕駛員疲勞狀態(tài)與方向盤握力之間的關(guān)系，提出了一種使用方向盤握力檢測(cè)疲勞狀態(tài)的方法。吉林大學(xué)對(duì)車輛的偏離情況進(jìn)行研究，提出了一種車道偏離警告系統(tǒng)，該系統(tǒng)主要是查看車輛是否偏離了正常軌道，如果偏離值超過(guò)一定范圍，則對(duì)駕駛員發(fā)出警報(bào)[10]。

眼睛的狀態(tài)是評(píng)估駕駛員疲勞程度的關(guān)鍵指標(biāo)，因此，眼部特征識(shí)別技術(shù)在駕駛員疲勞檢測(cè)中起著重要作用。這種技術(shù)可以廣泛應(yīng)用于交通安全檢查、人機(jī)交互、公共場(chǎng)所的安全監(jiān)控以及輔助語(yǔ)言交流；同時(shí)，也可以在國(guó)家安全事務(wù)、海關(guān)、邊境管理以及醫(yī)療保健服務(wù)等領(lǐng)域發(fā)揮重要作用[11]。

對(duì)于公交車、重型卡車等大型車輛駕駛員的疲勞檢測(cè)十分重要，因?yàn)檫@一般都會(huì)涉及大型交通事故的誘因，Mandal 等[12]針對(duì)此，通過(guò)眼睛的開閉、眼珠的運(yùn)動(dòng)等特征來(lái)判斷駕駛員是否疲勞，從而設(shè)計(jì)出針對(duì)性的檢測(cè)系統(tǒng)，該系統(tǒng)主要由幾個(gè)關(guān)鍵模塊構(gòu)成，包括頭部、面部和眼部的檢測(cè)以及眼睛開閉程度的估計(jì)，還有PERCLOS 參數(shù)的估計(jì)和疲勞等級(jí)的分類。系統(tǒng)采用譜回歸來(lái)評(píng)估眼睛的開閉程度，并通過(guò)自適應(yīng)積分模型來(lái)分析眼睛的狀態(tài)。

2.3 卷積神經(jīng)網(wǎng)絡(luò)

近年來(lái)，深度學(xué)習(xí)技術(shù)發(fā)展非常迅速，它以大規(guī)模的圖像數(shù)據(jù)為基礎(chǔ)，從而能自動(dòng)地學(xué)習(xí)低級(jí)、中級(jí)、高級(jí)的各種特征。

一般人腦受到各種刺激的時(shí)候，其中的信息會(huì)從神經(jīng)末梢接收，然后進(jìn)入細(xì)胞體的樹突之中，再經(jīng)過(guò)軸突，最后到達(dá)另一端的神經(jīng)末梢。另一端的神經(jīng)末梢又會(huì)連接著其他的神經(jīng)元，一層層地接收和傳遞，就能達(dá)到傳遞刺激的效果，這就是大腦進(jìn)行學(xué)習(xí)的一個(gè)過(guò)程，而人工神經(jīng)網(wǎng)絡(luò)就是基于這種人腦的思維方式所得到的想法。在包含多個(gè)神經(jīng)元的人工神經(jīng)網(wǎng)絡(luò)中，每個(gè)神經(jīng)元都有著輸入和輸出，輸出結(jié)果會(huì)讓神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行不斷的學(xué)習(xí)和訓(xùn)練，同時(shí)進(jìn)行權(quán)值調(diào)整，不斷改善自身、修正權(quán)值以便于適應(yīng)外界環(huán)境，直到最終能輸出理想的結(jié)果。

卷積神經(jīng)網(wǎng)絡(luò)是一類包含卷積計(jì)算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)（Feedforward Neural Networks），是深度學(xué)習(xí)（Deep Learning）的代表算法之一，創(chuàng)始者是Yann LeCun[13-14]。卷積神經(jīng)網(wǎng)絡(luò)目前已廣泛應(yīng)用于圖像分類、圖像檢索、目標(biāo)檢測(cè)、圖像分割、圖像特征遷移等計(jì)算機(jī)視覺研究中[15]。自從卷積神經(jīng)網(wǎng)絡(luò)問(wèn)世，人類就從機(jī)械的學(xué)習(xí)中看到了更多的可能性。CNN 模型在結(jié)構(gòu)性上追求著深層次，層次越深，學(xué)習(xí)的程度也就越深，這是一個(gè)多層的MLP 的模型。其中的結(jié)構(gòu)特點(diǎn)是：同層之中結(jié)構(gòu)的卷積核共享權(quán)值，層與層之間需要通過(guò)卷積核來(lái)進(jìn)行連接從而達(dá)到數(shù)據(jù)傳輸和學(xué)習(xí)的目的，同時(shí)，單個(gè)層的數(shù)據(jù)關(guān)聯(lián)也只與上一層傳輸過(guò)來(lái)的數(shù)據(jù)有關(guān)。但除去全連接層以外，其他的每層都是使用局部連接進(jìn)行的，這些顯著特征使得權(quán)重?cái)?shù)量減少、模型復(fù)雜度降低、過(guò)擬合風(fēng)險(xiǎn)減小、模型的泛化能力大大提高。使用CNN 模型處理多維圖像時(shí)，可以直接向模型輸入原始圖片，省去了圖像預(yù)處理及數(shù)據(jù)重建等復(fù)雜過(guò)程。

而在疲勞檢測(cè)方面，也主要聚焦于深度學(xué)習(xí)以及卷積神經(jīng)網(wǎng)絡(luò)，此方法憑借低成本、高準(zhǔn)確率、非侵入等特性成為疲勞檢測(cè)領(lǐng)域最主要的研究方法。李慧楠[16]利用改進(jìn)的YOLOv5 算法根據(jù)人臉特征設(shè)計(jì)出了一種人臉檢測(cè)器，主要是對(duì)船舶駕駛員的人臉檢測(cè)以及五官的定位，而后對(duì)駕駛員眼嘴狀態(tài)的識(shí)別算法又進(jìn)行了優(yōu)化，使得能利用卷積神經(jīng)網(wǎng)絡(luò)技術(shù)進(jìn)一步提升疲勞檢測(cè)的精度。Duan 等[17]對(duì)眼部特征進(jìn)行了更深度的研究，從而提出了一種自動(dòng)學(xué)習(xí)眼部特征的算法，該類算法使用線性動(dòng)態(tài)系統(tǒng)（LDS），優(yōu)化了學(xué)習(xí)特征。

自20世紀(jì)90年代至今，眾多專家對(duì)各類方法進(jìn)行了實(shí)驗(yàn)，試圖更準(zhǔn)確有效地采集人眼特征信息，來(lái)助力疲勞檢測(cè)的研究。這些研究旨在發(fā)展出一種可靠、高效的疲勞檢測(cè)系統(tǒng)，以提前發(fā)現(xiàn)疲勞駕駛的跡象，采取及時(shí)的干預(yù)措施，從而降低交通事故的發(fā)生率。

進(jìn)入21 世紀(jì)，為了更好地貼合日常所需，視頻檢測(cè)技術(shù)應(yīng)運(yùn)而生，DSP 芯片技術(shù)的發(fā)展也使得視頻檢測(cè)技術(shù)得到了廣泛應(yīng)用。國(guó)外廠商發(fā)現(xiàn)了商機(jī)，進(jìn)行了深入的開發(fā)和研究，針對(duì)各類汽車推出了眾多有效的疲勞檢測(cè)產(chǎn)品。美國(guó)的卡耐基梅隆大學(xué)在各方的資助下，開發(fā)出了一套通過(guò)視頻檢測(cè)駕駛員疲勞程度的儀器，通過(guò)監(jiān)測(cè)駕駛員在單位時(shí)間內(nèi)的眨眼次數(shù)來(lái)判斷其疲勞狀態(tài)。此類儀器具備較好的檢測(cè)效果，同時(shí)也能很好地用于車輛行駛檢測(cè)之中。而我國(guó)在這方面的研究起步較晚，最初主要依賴國(guó)外研究成果，自身獨(dú)立成果較少。在國(guó)內(nèi)各方學(xué)者的共同努力下，疲勞駕駛研究日益成熟，對(duì)人眼的各類圖像處理識(shí)別以及各類特征提取都有了技術(shù)上的進(jìn)步。目前的研究成果在產(chǎn)品應(yīng)用方面較為有限，主要受到算法等條件的制約。未來(lái)，對(duì)于農(nóng)機(jī)駕駛員疲勞檢測(cè)，重點(diǎn)應(yīng)解決日照強(qiáng)烈時(shí)駕駛員戴眼鏡反光、長(zhǎng)發(fā)遮擋眼睛，中老年人駕駛農(nóng)機(jī)時(shí)操作不靈活，在駕駛員年齡不同的情況下確保圖像識(shí)別準(zhǔn)確性等問(wèn)題。

3 存在的問(wèn)題及挑戰(zhàn)

目前，人工智能技術(shù)不斷發(fā)展，其相關(guān)領(lǐng)域也隨之蓬勃發(fā)展，農(nóng)機(jī)駕駛員疲勞檢測(cè)也逐漸向更精確的卷積神經(jīng)網(wǎng)絡(luò)方向發(fā)展。相比于傳統(tǒng)的疲勞檢測(cè)方法，如眼動(dòng)追蹤、生理信號(hào)檢測(cè)等，基于人工智能的卷積神經(jīng)網(wǎng)絡(luò)技術(shù)無(wú)需昂貴的設(shè)備和專業(yè)的操作人員，只需要一臺(tái)裝有相應(yīng)軟件的計(jì)算機(jī)即可。同時(shí)，深度學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)的疲勞檢測(cè)準(zhǔn)確性較高，因?yàn)樗饕菑拇罅康臄?shù)據(jù)中學(xué)習(xí)和抽取有用的信息，不斷更新優(yōu)化自身以提高準(zhǔn)確性。在非侵入性方面，此方法無(wú)需對(duì)駕駛員進(jìn)行任何身體接觸，只需要通過(guò)攝像頭等設(shè)備對(duì)駕駛員的面部表情、眼部狀態(tài)等進(jìn)行監(jiān)測(cè)，這也符合生活需求，避免了許多麻煩。

現(xiàn)階段運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)的主要問(wèn)題為：首先，因?yàn)樾枰鎸?shí)數(shù)據(jù)，農(nóng)機(jī)駕駛員疲勞檢測(cè)尚未有針對(duì)性的數(shù)據(jù)集，但真實(shí)數(shù)據(jù)的產(chǎn)生往往伴隨著風(fēng)險(xiǎn)的出現(xiàn)，因而采集和獲得該類圖像數(shù)據(jù)變得十分困難。其次，農(nóng)機(jī)作業(yè)過(guò)程中，農(nóng)機(jī)駕駛環(huán)境的復(fù)雜多樣和光線變化會(huì)對(duì)視覺特征的提取造成干擾，使得尋優(yōu)過(guò)程變得困難。最后，駕駛員面部朝向和頭部姿態(tài)的變化也會(huì)對(duì)人眼圖像的采集完整性造成影響。同時(shí)，駕駛員佩戴眼鏡或墨鏡時(shí)，會(huì)對(duì)眼部區(qū)域造成遮擋，進(jìn)一步增加了識(shí)別的難度。

盡管計(jì)算機(jī)技術(shù)的發(fā)展加快了算法的處理速度，但大量實(shí)時(shí)數(shù)據(jù)的處理仍然是農(nóng)機(jī)駕駛員疲勞檢測(cè)技術(shù)在實(shí)際應(yīng)用中面臨的挑戰(zhàn)之一。如何在檢測(cè)準(zhǔn)確性和實(shí)時(shí)性之間進(jìn)行合理權(quán)衡，將是未來(lái)需要研究的重要問(wèn)題，還需努力尋找解決方案，以確保該疲勞檢測(cè)技術(shù)能夠在實(shí)際場(chǎng)景中高效運(yùn)行，并為駕駛員提供準(zhǔn)確可靠的疲勞預(yù)警。