基于人體姿態(tài)空時(shí)特征的駕駛員疲勞檢測

李泰國，張?zhí)觳?，李超，張英志，王?/p>

(1.蘭州交通大學(xué)，自動(dòng)化與電氣工程學(xué)院，蘭州 730070；2.陜西省康復(fù)醫(yī)院，運(yùn)動(dòng)療法一科，西安 710065）

0 引言

世界衛(wèi)生組織(WHO)2017年發(fā)布的《Road Safety》強(qiáng)調(diào)，全球道路交通死亡人數(shù)繼續(xù)上升[1]。其中，疲勞駕駛是發(fā)生道路交通安全事故的重要原因之一[2]。因此，設(shè)計(jì)一種準(zhǔn)確率高，魯棒性強(qiáng)的駕駛員疲勞檢測系統(tǒng)，可以在駕駛員處于疲勞狀態(tài)時(shí)進(jìn)行干預(yù)，對(duì)預(yù)防道路交通事故具有重要意義。

當(dāng)駕駛員處于疲勞狀態(tài)時(shí)，其腦電圖(EEG)、心電圖(ECG)和皮膚電導(dǎo)等神經(jīng)生理學(xué)信號(hào)的波動(dòng)均會(huì)與正常駕駛狀態(tài)有著較大區(qū)別[3]。因此，基于駕駛員生理信號(hào)的疲勞檢測方法被廣泛研究。但生理信號(hào)是通過穿戴在駕駛員身體上的電極或傳感器進(jìn)行采集，長時(shí)間使用會(huì)使駕駛員產(chǎn)生排斥情緒，從而影響正常駕駛[4]。

非侵入式疲勞檢測方法包括基于車輛運(yùn)行狀態(tài)的方法和基于計(jì)算機(jī)視覺的方法。基于車輛運(yùn)行狀態(tài)檢測駕駛員疲勞時(shí)，其檢測信號(hào)包括車輛轉(zhuǎn)角，車速變化等，這種方法的局限性在于很難及時(shí)反應(yīng)駕駛員實(shí)際狀態(tài)，實(shí)時(shí)性不足[5]?；谟?jì)算機(jī)視覺的疲勞檢測方法通過提取駕駛員的面部行為特征進(jìn)行疲勞預(yù)測[6]，包括眼動(dòng)特征、嘴部特征，頭部特征等。此方法不僅是非侵入式檢測，而且檢測的實(shí)時(shí)性也有保證[7]。但是，在駕駛過程中，如果駕駛員面部被遮擋或者頭部姿態(tài)變化較大時(shí)，會(huì)因丟失面部關(guān)鍵點(diǎn)造成無法提取疲勞特征，使疲勞檢測的準(zhǔn)確率和魯棒性受到限制[8]。為克服面部遮擋以及頭部姿態(tài)變化對(duì)疲勞特征提取的影響，本文引入人體姿態(tài)變化作為駕駛員疲勞特征提取的依據(jù)，通過分析駕駛員在駕駛過程中的姿態(tài)變化對(duì)駕駛員的疲勞狀態(tài)進(jìn)行預(yù)測。

3.城鎮(zhèn)住房分配體制由原來的實(shí)物分配制度轉(zhuǎn)變?yōu)樨泿欧峙渲贫??？v觀改革開放40年中國城鎮(zhèn)住房分配形式的改革，由原來職工獲得國家單位的實(shí)物分房，逐步轉(zhuǎn)變?yōu)楦鶕?jù)自己的經(jīng)濟(jì)支付能力向市場購買或租賃住房，形成了以高收入家庭為對(duì)象的商品房供應(yīng)體系。與此同時(shí)，國家為中低收入家庭提供具有社會(huì)保障性質(zhì)的經(jīng)濟(jì)適用住房及廉租住房，形成了保障房供應(yīng)體系。然而，商品房供應(yīng)體系過度發(fā)達(dá)并且占比太高，保障房供應(yīng)體系嚴(yán)重不足并且占比太低，成為這一時(shí)期住房分配上的結(jié)構(gòu)性缺陷。這表明，新時(shí)代中國城鎮(zhèn)住房分配體制深化改革的思路和理念要基于克服當(dāng)前的住房分配結(jié)構(gòu)性缺陷。

調(diào)查研究國內(nèi)外人體姿態(tài)應(yīng)用發(fā)現(xiàn)，人們進(jìn)行各種活動(dòng)時(shí)，身體姿態(tài)變化的數(shù)據(jù)中包含很多反映人們當(dāng)前狀態(tài)的信息[9]，并且在安全監(jiān)管[10]、人機(jī)交互等領(lǐng)域[11]已有廣泛的應(yīng)用。受人體姿態(tài)信息在相關(guān)領(lǐng)域應(yīng)用的啟發(fā)，本文研究疲勞檢測的方法中引入人體姿態(tài)的變化作為駕駛員疲勞特征提取的依據(jù)。

1 方案描述

MobileNet-V1網(wǎng)絡(luò)模型為減小參數(shù)，降低計(jì)算量，將常規(guī)卷積分成兩部分：深度卷積和1×1 的卷積。利用深度可分離卷積搭建輕量級(jí)神經(jīng)網(wǎng)絡(luò)，在網(wǎng)絡(luò)中利用結(jié)合逐點(diǎn)卷積的方式，降低網(wǎng)絡(luò)權(quán)值參數(shù)量，最終降低了模型大小。1×1卷積則不需要內(nèi)存的重新排序，能直接用通用矩陣乘(General Matrix Multiplication)對(duì)卷積優(yōu)化，大幅度提升了計(jì)算效率?；谶@種少計(jì)算量的特點(diǎn)，將其作為Simple Baselines 的骨干網(wǎng)絡(luò)，之后再進(jìn)行反卷積處理。

圖1 駕駛員疲勞檢測模型框圖Fig.1 Driver fatigue detection model block diagram

2 人體骨架關(guān)鍵點(diǎn)識(shí)別

Simple Baselines是基于Top-Down的二維人體姿態(tài)估計(jì)算法，以ResNet 為骨干網(wǎng)絡(luò)提取特征，輸出特征經(jīng)過3組反卷積處理后將特征圖尺寸放大，最后通過人體姿態(tài)熱力圖得到人體骨架關(guān)鍵點(diǎn)坐標(biāo)信息。為進(jìn)一步減少人體姿態(tài)關(guān)鍵點(diǎn)提取的計(jì)算量，使其容易部署在移動(dòng)端，對(duì)Simple Baselines網(wǎng)絡(luò)結(jié)構(gòu)中的骨干網(wǎng)絡(luò)——ResNet 網(wǎng)絡(luò)改進(jìn)為Mobilenet-V1網(wǎng)絡(luò)[13]。

在成熟穩(wěn)定的白酒行業(yè)，企業(yè)要想獲得新的增長機(jī)會(huì)需要進(jìn)行創(chuàng)新。品類創(chuàng)新是中小企業(yè)運(yùn)用較為普遍的創(chuàng)新策略。采用品類創(chuàng)新，以消費(fèi)者需求中重要但目前滿意程度低的需求為突破口，將有可能為企業(yè)開創(chuàng)一個(gè)全新的市場，成為該品類市場的領(lǐng)先者，并由此改變市場的競爭格局。

本文的檢測方案中，疲勞檢測模型框圖如圖1所示。首先將視頻輸入并依據(jù)改進(jìn)后的Simple Baselines網(wǎng)絡(luò)[12]提取人體姿態(tài)關(guān)鍵點(diǎn)坐標(biāo)，通過關(guān)鍵點(diǎn)坐標(biāo)建立多組疲勞特征，即圖1中的S,σL,σθ；隨后通過滑動(dòng)窗口計(jì)算疲勞特征的離散程度DF，最后將DF輸入長短期記憶網(wǎng)絡(luò)(LSTM)進(jìn)行分類訓(xùn)練后預(yù)測駕駛員的疲勞狀態(tài)。

改進(jìn)后的人體骨架關(guān)鍵點(diǎn)提取框架的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，在該模型中，輸入為圖像P，P∈R224×224×3，即圖像R的像素為224 pixel×224 pixel，層數(shù)為3；改進(jìn)后的網(wǎng)絡(luò)通過MobileNet-V1網(wǎng)絡(luò)提取特征圖X，X∈R7×7×1024；隨后通過3層反卷積層，使得到的特征圖輸出為高分辨率特征U，U∈R56×56×256；得到高分辨率特征U后，基于1×1卷積得到人體骨架關(guān)鍵點(diǎn)的熱力圖，然后預(yù)測輸出關(guān)鍵點(diǎn)的坐標(biāo)，圖3為提取的關(guān)鍵點(diǎn)信息結(jié)果。改進(jìn)后的網(wǎng)絡(luò)既可以準(zhǔn)確地提取出人體骨架關(guān)鍵點(diǎn)，也因其輕量化的模型為移動(dòng)平臺(tái)的部署提供基礎(chǔ)。

圖2 改進(jìn)后的人體骨架關(guān)鍵點(diǎn)提取網(wǎng)絡(luò)Fig.2 Improved human skeleton key point extraction network

圖3 人體骨架關(guān)鍵點(diǎn)示意圖Fig.3 Schematic diagram of key points of human skeleton

3 基于人體姿態(tài)的疲勞特征提取

通常，駕駛員需要在正常駕駛過程中不斷調(diào)整方向，即使在筆直的道路上行駛也需要對(duì)方向盤進(jìn)行調(diào)整[14]。當(dāng)駕駛員處于疲勞駕駛狀態(tài)時(shí)，則會(huì)出現(xiàn)操縱遲緩甚至停頓等現(xiàn)象。因此，通過定位駕駛員人體骨架關(guān)鍵點(diǎn)，并依據(jù)產(chǎn)生的關(guān)鍵點(diǎn)坐標(biāo)建立相應(yīng)的疲勞特征，便可對(duì)駕駛員的駕駛狀態(tài)做出反應(yīng)。

3.1 人體姿態(tài)關(guān)鍵點(diǎn)的分組模塊化

在車輛行駛過程中，駕駛員會(huì)不停觀察道路情況并做出相應(yīng)修正方向的動(dòng)作。通過分析駕駛員人體姿態(tài)關(guān)鍵點(diǎn)變化的相互關(guān)聯(lián)情況，依據(jù)“高內(nèi)聚、低耦合”原則建立可以反應(yīng)駕駛動(dòng)作幅度范圍的3 個(gè)模塊(頭部(Head)模塊，肩部(Body shoulder)模塊，手臂(Arm)模塊)，從而有效地反映駕駛員的駕駛姿態(tài)運(yùn)動(dòng)情況。具體建立方式如圖4所示。

圖4 模塊示意圖Fig.4 Module diagram

不同模塊之間的運(yùn)動(dòng)規(guī)律有較低的耦合性，但模塊內(nèi)部各關(guān)鍵點(diǎn)的語義信息具有高度的內(nèi)聚性，其中心點(diǎn)的運(yùn)動(dòng)與所在模塊的整體保持高度一致，故結(jié)合模塊的中心點(diǎn)建立疲勞特征可使選取的特征更好地反應(yīng)駕駛員的精神狀態(tài)。根據(jù)圖4的分組方式計(jì)算出每一個(gè)模塊的中心點(diǎn)，即頭部模塊中心點(diǎn)(Hx,Hy)，肩部模塊中心點(diǎn)(Bx,By)，手臂模塊中心點(diǎn)(Ax,Ay)，計(jì)算公式為

人生在世，誰都有可能遇到困難。至于臨時(shí)經(jīng)濟(jì)短缺，更是難免的事情，所以，親朋鄰里之間相互借個(gè)錢，乃是再尋常不過的事情了。有借有還，人之常情，正當(dāng)交往，無可非議。但是，對(duì)于官員尤其是手握一定權(quán)力者的借錢，那可就要另當(dāng)別論了。首先要打個(gè)問號(hào)，有所警惕。我不是說，當(dāng)官的都富有，不會(huì)碰到囊中羞澀的時(shí)候。問題是，有些官員玩的是明“借”實(shí)“訛”的把戲。在現(xiàn)實(shí)社會(huì)中，這已經(jīng)成為貪官的一種斂財(cái)手段。

式中：(Cx,Cy)為每一個(gè)模塊的中心點(diǎn)，C∈{A,B,H} ；Xi，Yi為圖4相應(yīng)模塊中的第i個(gè)點(diǎn)的關(guān)鍵點(diǎn)坐標(biāo)(Xi,Yi)；N為模塊中包含關(guān)鍵點(diǎn)的個(gè)數(shù)。借助駕駛員正常駕駛時(shí)模塊之間的變化關(guān)系，結(jié)合模塊中心點(diǎn)與人體骨架關(guān)鍵點(diǎn)建立基于人體姿態(tài)的疲勞特征。

3.2 模塊中心面積S

結(jié)果表明，基于MobileNet-V1 的改進(jìn)網(wǎng)絡(luò)和Resnet 的運(yùn)行速度相比，MobileNet-V1 在驍龍855移動(dòng)平臺(tái)反而有著更快的處理幀速，每秒可處理53 frame?？紤]其在移動(dòng)平臺(tái)中的表現(xiàn)，改進(jìn)網(wǎng)絡(luò)易于在平臺(tái)部署的特點(diǎn)更適用于本方案提出的疲勞檢測方法。

3.3 手臂投影距離組標(biāo)準(zhǔn)差σL

考慮到駕駛員操作方向盤時(shí)的動(dòng)作變化，將提取的手臂骨架關(guān)鍵點(diǎn)結(jié)合相應(yīng)模塊中心點(diǎn)按照?qǐng)D5的方式，構(gòu)建投影歐氏距離并計(jì)算，生成距離組L=[L1,L2,L3,L4]。

很不巧，敦煌接連下了一個(gè)禮拜的雨，他們只能窩在客棧里，林露白看書發(fā)呆，魏舟玩手機(jī)打游戲，坐得很近，但一天下來都沒什么話可說。

圖5 離組L 示意圖Fig.5 Schematic diagram of distance group L

為比較非疲勞和疲勞狀態(tài)下疲勞特征的差異，實(shí)驗(yàn)中提取駕駛員人體姿態(tài)關(guān)鍵點(diǎn)后，計(jì)算駕駛員的疲勞特征F=[S,σL,σθ]。與疲勞駕駛狀態(tài)相比，非疲勞狀態(tài)下的疲勞特征更具發(fā)散性和混沌性。獲得疲勞特征值后，在考慮疲勞特征時(shí)間特性的基礎(chǔ)上，結(jié)合滑動(dòng)窗口的方式計(jì)算疲勞特征的離散程度DF=[DS,DL,Dθ]，充分地考慮了疲勞特征隨時(shí)間變化的特性。圖9為3個(gè)疲勞特征在疲勞與非疲勞狀態(tài)下的離散程度計(jì)算結(jié)果。

式中：Lj為投影歐氏距離，j=[1,2,3,4]；(Xji,Yji)分別為圖5中投影歐氏距離Lj所使用的人體骨架關(guān)鍵點(diǎn)坐標(biāo)。

2.企業(yè)文化對(duì)傳統(tǒng)文化的傳承與應(yīng)用不夠，與現(xiàn)代文化氣息的結(jié)合不足，也未能夠形成系統(tǒng)化和持續(xù)性的模式。以往多數(shù)企業(yè)在進(jìn)行管理的時(shí)候，都是從制度角度和指令角度出發(fā)的，關(guān)于文化建設(shè)，更多的也是當(dāng)前學(xué)習(xí)和借鑒西方先進(jìn)企業(yè)的經(jīng)驗(yàn)，所以很多企業(yè)都沒有對(duì)自身發(fā)展以來的各種歷史資料進(jìn)行保存和建設(shè)。企業(yè)文化也是一種文化，穩(wěn)定性和持續(xù)性才能使其具有更高的信服力。很多企業(yè)在當(dāng)前的企業(yè)文化建設(shè)時(shí)，也沒有利用當(dāng)前文化的各種新特點(diǎn)來提高創(chuàng)新力。比如，當(dāng)今各種文化之間都在全面、深度地融合。因此，企業(yè)文化得適應(yīng)這一新的時(shí)代特點(diǎn)。

2.2.2 移栽后田間管理：西瓜移栽后正值春季多風(fēng)的季節(jié)，拱棚一定要用土壓實(shí)，防止被風(fēng)刮壞，威脅幼苗的安全。在晴朗無風(fēng)的天氣，把部分拱棚揭開，通風(fēng)換氣，同時(shí)避免強(qiáng)光對(duì)葉片造成灼傷。及時(shí)澆水，保證苗期生長的需要。

3.4 向量夾角標(biāo)準(zhǔn)差σθ

駕駛過程中的視角會(huì)由于觀察道路而不停變化，基于這種情況選擇相關(guān)關(guān)鍵點(diǎn)與模塊中心點(diǎn)，按圖6所示的方法計(jì)算向量與向量之間的夾角θ，之后對(duì)夾角θ與駕駛員的精神狀態(tài)結(jié)合并分析。

圖6 角度組θ 示意圖Fig.6 Schematic diagram of angle group θ

首先提取圍成夾角的向量，如圖6中的，結(jié)合向量計(jì)算夾角θ余弦值為

近年來，致密油開發(fā)已成為國內(nèi)外石油開發(fā)的熱點(diǎn)。北美巴肯致密油的成功開發(fā)，對(duì)全球的油氣市場產(chǎn)生了深遠(yuǎn)的影響［1-2］。勝利油田致密砂巖油藏儲(chǔ)量規(guī)模大，后備資源豐富［3］，但油藏埋藏深，儲(chǔ)層物性差，直井壓后產(chǎn)量遞減快，采出程度低［4］。為了解決這一難題，勝利油田優(yōu)選渤南油田義123塊為實(shí)驗(yàn)區(qū)塊，采用非常規(guī)多級(jí)壓裂水平井開發(fā)技術(shù)［5-8］對(duì)其進(jìn)行有效開發(fā)。

將余弦值定義為人體姿態(tài)角度組cosθ。參照式(4)計(jì)算出角度組的標(biāo)準(zhǔn)差σθ。

3.5 疲勞特征離散程度

分析疲勞特征結(jié)果F=[S,σL,σθ]，其結(jié)果數(shù)值的大小會(huì)受到駕駛員的姿態(tài)移動(dòng)影響。根據(jù)這種變化，計(jì)算疲勞特征的離散程度(Degree of Dispersion)，即DS,DL,Dθ，使其更利于反映駕駛員疲勞狀態(tài)的變化。離散程度的計(jì)算通過固定滑動(dòng)窗口區(qū)間長度Δ對(duì)疲勞特征進(jìn)行等分，其中Δ=500，每滑動(dòng)一次的滑動(dòng)步長為50，依據(jù)每一個(gè)窗口內(nèi)的數(shù)據(jù)，計(jì)算該窗口內(nèi)數(shù)據(jù)離散度為

在新農(nóng)村建設(shè)時(shí)期，為了確保農(nóng)村財(cái)務(wù)管理人員有更高的財(cái)務(wù)管理水平，需要嚴(yán)格培養(yǎng)農(nóng)村財(cái)務(wù)管理人員的專業(yè)化管理能力，不僅需要確保管理人員具備足夠的財(cái)務(wù)專業(yè)知識(shí)，同時(shí)還需要有一定的管理能力，只有這樣才能促進(jìn)我國農(nóng)村地區(qū)經(jīng)濟(jì)水平的持續(xù)提升。而在對(duì)農(nóng)村財(cái)務(wù)管理人員進(jìn)行培養(yǎng)的過程中，需要設(shè)立專門的培訓(xùn)機(jī)制，并且將新型的培訓(xùn)措施運(yùn)用其中，確保農(nóng)村財(cái)務(wù)管理人員對(duì)于培訓(xùn)工作的開展擁有興趣，并且能積極地投入培訓(xùn)中，有利于管理人員及時(shí)掌握最新的財(cái)務(wù)管理知識(shí)與技能，對(duì)于農(nóng)村財(cái)務(wù)管理人員綜合素質(zhì)的提升有著顯著效果［3］。

式中：F=[ ]S,σL,σθ為不同的疲勞特征(即模塊中心面積S，手臂投影距離組標(biāo)準(zhǔn)差σL，向量夾角標(biāo)準(zhǔn)差的離散程度σθ)；DF為不同特征下的離散程度；Δ為滑動(dòng)窗口長度；在數(shù)據(jù)長度為Δ的滑動(dòng)窗口內(nèi)，dFi、分別為不同疲勞特征(S,σL,σθ)的單個(gè)值和一個(gè)Δ的平均值。

由于駕駛員的駕駛狀態(tài)變化是一個(gè)連續(xù)性的過程，故該步驟中結(jié)合滑動(dòng)窗口計(jì)算疲勞特征的離散程度，相比單幀或固定幀的計(jì)算方法，借助滑動(dòng)窗口可以將用于分類的數(shù)據(jù)更加符合疲勞發(fā)生的過程。

4 LSTM分類方法

LSTM 神經(jīng)網(wǎng)絡(luò)是一種改進(jìn)的遞歸神經(jīng)網(wǎng)絡(luò)(RNN)[15]，通過在隱藏單元中加入自連通“門”來解決梯度消失問題。如圖7所示，LSTM 網(wǎng)絡(luò)的計(jì)算節(jié)點(diǎn)包括輸入門、輸出門、遺忘門和記憶細(xì)胞Cell。

圖7 LSTM網(wǎng)絡(luò)結(jié)構(gòu)Fig.7 LSTM network structure

LSTM的核心思想在于圖7中兩條水平線所代表的信息流，以及當(dāng)前時(shí)間(Xt)的輸入和之前時(shí)間(ht-1)輸出的組合。圖中：ft為遺忘函數(shù)；tanh為雙曲正切函數(shù)，確保輸出值在[-1,1]；σ為Sigmoid 激活函數(shù)。本文通過LSTM網(wǎng)絡(luò)可以利用疲勞特征之間的時(shí)序記憶信息，使分類預(yù)測的結(jié)果結(jié)合了時(shí)間特性，更有利于挖掘駕駛員的疲勞狀態(tài)信息。

5 實(shí)驗(yàn)驗(yàn)證

5.1 數(shù)據(jù)采集與實(shí)驗(yàn)環(huán)境

COCO (The Microsoft Common Objects in Context)數(shù)據(jù)集是一個(gè)可用于圖像檢測，語義分割和圖像標(biāo)題生成的大規(guī)模數(shù)據(jù)集，在其用于人體姿態(tài)識(shí)別的圖像集中，包含有足夠多的個(gè)人樣本并與圖像一一對(duì)應(yīng)的17個(gè)骨架關(guān)鍵點(diǎn)的標(biāo)注。使用該數(shù)據(jù)集訓(xùn)練改進(jìn)后的Simple Baselines網(wǎng)絡(luò)，訓(xùn)練后的模型可以實(shí)現(xiàn)駕駛員人體骨架關(guān)鍵點(diǎn)的提取。

此外，基于駕駛員人體姿態(tài)的疲勞檢測缺乏公用測試數(shù)據(jù)集，為了驗(yàn)證所提檢測模型的有效性，本文通過搭建的模擬駕駛平臺(tái)采集了13名(9名男性和4名女性)，年齡在20～50歲志愿者的駕駛數(shù)據(jù)樣本?；谲浖癊uro Truck 2”搭載羅技方向盤套件作為駕駛平臺(tái)。攝像機(jī)位于駕駛員的左上角，高度固定。拍攝視頻分辨率為1280×720，幀速30 frame·s-1。收集數(shù)據(jù)之前，被試者先學(xué)習(xí)卡羅琳斯卡嗜睡量表(KSS)的評(píng)價(jià)標(biāo)準(zhǔn)[16]，將KSS的9個(gè)級(jí)別劃分為兩大類(疲勞和非疲勞)。第1輪數(shù)據(jù)收集在8:00-9:00 進(jìn)行，受試者在前一天晚上獲得足夠的睡眠，在自我評(píng)估為非疲勞狀態(tài)下駕駛并收集5 min 的駕駛數(shù)據(jù)；第2 輪數(shù)據(jù)收集時(shí)間在凌晨3:00-4:00，從第1輪結(jié)束到第2輪開始，受試者不允許睡眠，當(dāng)自我評(píng)估疲勞時(shí)，開始模擬駕駛并收集疲勞狀態(tài)下的駕駛數(shù)據(jù)。

在最大功率640 kW、0～120 km/h速度下仿照實(shí)際動(dòng)車組加速的過程，得到DC/DC變換器電池側(cè)電流Ibat和直流側(cè)電壓Udc的仿真波形如圖4所示。

其中V3表示的山塘承載能力較弱，山塘的水資源開發(fā)潛力較小，在水資源限制的情況下，若繼續(xù)發(fā)展下去，當(dāng)?shù)氐霓r(nóng)業(yè)發(fā)展將受到限制，需采用科學(xué)合理的方法降低水資源的用量、提高水資源利用率。V1表示的山塘承載能力較好，水資源豐富，對(duì)以后的發(fā)展有較大的支撐作用，當(dāng)?shù)氐乃Y源狀況是比較樂觀。V2表示的山塘水資源承載能力情況介于以上兩者之間，表明當(dāng)?shù)氐乃Y源具有一定的承載能力，對(duì)于未來水資源的開發(fā)利用有一定的潛力。

自建數(shù)據(jù)集包含26 個(gè)視頻片段，其中20 個(gè)視頻片段作為訓(xùn)練集，6 個(gè)視頻片段作為測試集。訓(xùn)練集分為10 個(gè)正樣本視頻片段(非疲勞狀態(tài))和10個(gè)負(fù)樣本視頻片段(疲勞狀態(tài))。測試集分為3個(gè)正樣本視頻片段(非疲勞狀態(tài))和3個(gè)負(fù)樣本視頻片段(疲勞狀態(tài))。

5.2 駕駛員人體姿態(tài)定位

基于MobileNet-V1 改進(jìn)的人體關(guān)鍵點(diǎn)識(shí)別網(wǎng)絡(luò)在COCO 關(guān)鍵點(diǎn)檢測數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。單批次訓(xùn)練樣本數(shù)量(batch_size)為50，共訓(xùn)練100 個(gè)epoch。與原始的網(wǎng)絡(luò)相比，改進(jìn)后的網(wǎng)絡(luò)模型運(yùn)算量小，識(shí)別速度得到了進(jìn)一步的提高。使用改進(jìn)后的網(wǎng)絡(luò)以及原始網(wǎng)絡(luò)進(jìn)行性能和運(yùn)算量的對(duì)比結(jié)果如表1所示。

表1 不同網(wǎng)絡(luò)的性能和運(yùn)算量的對(duì)比Table 1 Comparison of performance and computation of different networks

3個(gè)模塊中心點(diǎn)圍成的模塊中心面積在駕駛時(shí)不停變化，計(jì)算出S并將其作為疲勞特征之一，利用S的變化可以反應(yīng)駕駛員不同精神狀態(tài)下的肢體運(yùn)動(dòng)情況。

王陽明(1472—1529)，名守仁，字伯安，別號(hào)陽明子、陽明山人，世稱陽明先生。其父王華是明憲宗成化十七年(1481年)的狀元。王陽明生于明成化八年(1472年)，于孝宗弘治十二年(1499年)登進(jìn)士第，武宗正德元年(1506年)冬，因上疏援救戴銑等而得罪大太監(jiān)劉瑾，貶為貴州龍場驛驛丞。在龍場驛任上，王陽明致力于主觀唯心主義思想的研究，并形成了著名的“心學(xué)”體系。后官至南京兵部尚書，嘉靖七年(1529年)卒，歸葬浙江山陰洪溪鄉(xiāng)(今屬紹興縣蘭亭鎮(zhèn))。卒后三十八年，即隆慶元年，追贈(zèng)新建侯，謚文成。

基于MobileNet-V1 的改進(jìn)網(wǎng)絡(luò)對(duì)駕駛狀態(tài)數(shù)據(jù)集進(jìn)行關(guān)鍵點(diǎn)檢測，檢測結(jié)果如圖8所示。

圖8 人體姿態(tài)關(guān)鍵點(diǎn)檢測結(jié)果Fig.8 Detection results of human pose key points

5.3 疲勞特征離散程度計(jì)算

L1,L2,L3,L4的計(jì)算方式為

圖9 離散程度結(jié)果Fig.9 Dispersion degree results

通過圖9的結(jié)果可以看出駕駛員在不同精神狀態(tài)下疲勞特征取值的發(fā)散程度。具體到實(shí)例數(shù)據(jù)中，當(dāng)駕駛員處于非疲勞駕駛狀態(tài)時(shí)，由于不停做出修正駕駛方向等操作，引起駕駛姿態(tài)的變化，從而導(dǎo)致離散程度DF的取值處于相對(duì)較高的范圍，如圖9中的實(shí)線所示。同時(shí)從圖中還可以看出，駕駛員非疲勞駕駛時(shí)離散程度的取值波動(dòng)頻繁且幅度較大，而其整體始終處于相對(duì)較高狀態(tài)，其原因是駕駛員在清醒時(shí)可以根據(jù)實(shí)際路況做出及時(shí)有效的駕駛動(dòng)作。相比之下，疲勞狀態(tài)下駕駛員的動(dòng)作變化遲鈍，疲勞特征在疲勞時(shí)處于波動(dòng)較小的狀態(tài)，對(duì)應(yīng)的DF幾乎維持在很小的一個(gè)范圍內(nèi)，離散程度值相對(duì)較低。

距離值會(huì)隨著駕駛員的人體姿態(tài)變化而導(dǎo)致L頻繁變化，根據(jù)L的變化程度計(jì)算距離組標(biāo)準(zhǔn)差σL，可以反映L的變化大小與幅度，即駕駛員雙臂移動(dòng)情況。計(jì)算方式為

因此，通過兩種狀態(tài)下DF的較大差異建立駕駛員疲勞特征離散程度與駕駛員精神狀態(tài)之間的相關(guān)性。非疲勞駕駛會(huì)引起離散程度處于比較高的范圍；而駕駛員越疲勞，其疲勞特征的DF越低，并且比較平穩(wěn)。

5.4 分類預(yù)測方法對(duì)比

在提取到不同疲勞特征的離散程度后，將離散程度DF作為分類預(yù)測的數(shù)據(jù)輸入至分類網(wǎng)絡(luò)進(jìn)行訓(xùn)練預(yù)測，為進(jìn)一步區(qū)分不同特征下對(duì)疲勞檢測的影響，設(shè)計(jì)對(duì)比實(shí)驗(yàn)，將單個(gè)離散程度DS,DL,Dθ與整體離散程度DF=[DS,DL,Dθ]分別進(jìn)行疲勞預(yù)測，比較不同的特征離散程度對(duì)輸出準(zhǔn)確率的影響。 實(shí)驗(yàn)中同時(shí)使用LSTM，Support Vector Machines (SVM) 和Multilayer Perceptron (MLP)做分類預(yù)測，選擇Accuracy 作為統(tǒng)一的度量標(biāo)準(zhǔn)，根據(jù)產(chǎn)生的預(yù)測結(jié)果選擇適合本方法的最優(yōu)分類器。提取數(shù)據(jù)集輸出的離散程度，即訓(xùn)練集3200組(1600正樣本，1600負(fù)樣本)，測試集950組(480正樣本，470負(fù)樣本)對(duì)駕駛員的疲勞程度進(jìn)行初步訓(xùn)練預(yù)測。分類基于不同特征與分類方法對(duì)離散程度的分類結(jié)果如圖10所示。

圖10 不同分類器檢測性能對(duì)比Fig.10 Comparison of detection performance of different classifiers

實(shí)驗(yàn)驗(yàn)證了結(jié)合所有疲勞特征的離散程度進(jìn)行分類，與僅使用單個(gè)離散程度DS,DL,Dθ的分類結(jié)果相比，使用DF進(jìn)行分類有著更好的準(zhǔn)確率，其原因分析如下：

(1)不同的疲勞特征在不同道路情況的變化幅度不同，如果只依靠單個(gè)離散程度進(jìn)行檢測，會(huì)使檢測結(jié)果發(fā)生較大的誤差。然而通過多個(gè)離散程度結(jié)合的方式進(jìn)行檢測，則可以有效地彌補(bǔ)這一缺陷，從而提高疲勞檢測的準(zhǔn)確率和魯棒性。

鄉(xiāng)土文化自信在鄉(xiāng)村振興過程中具有十分重要的作用，是鄉(xiāng)村振興發(fā)展的精神支撐，是制約鄉(xiāng)村振興發(fā)展的重要因素之一。一個(gè)不可否認(rèn)的事實(shí)是，隨著城市化的不斷發(fā)展，越來越多的年輕人選擇走出鄉(xiāng)村進(jìn)城務(wù)工，農(nóng)村出現(xiàn)了更多的留守老人和留守兒童。這種現(xiàn)象導(dǎo)致鄉(xiāng)土文化后繼無人，逐漸走向衰敗，鄉(xiāng)民的文化自信隨之減弱。如何改變這種局面，切實(shí)提升鄉(xiāng)土文化自信，對(duì)于重構(gòu)鄉(xiāng)民的精神自信、推進(jìn)鄉(xiāng)村振興戰(zhàn)略的順利實(shí)施具有積極的意義。

(2)不同疲勞特征對(duì)駕駛員精神狀態(tài)的敏感程度不同，在對(duì)DL的分類預(yù)測中，3 種分類方法的準(zhǔn)確率分別為93.1%，91.5%，90.1%，產(chǎn)生預(yù)測的差別較小，但是對(duì)DS進(jìn)行分類預(yù)測時(shí)，準(zhǔn)確率分別為94.5%，91.6%，85.6%，差別較大。采用多個(gè)疲勞特征離散程度結(jié)合的方式，可以消除疲勞特征敏感程度不同所帶來的對(duì)分類預(yù)測的影響。

此外，為了深入驗(yàn)證不同分類網(wǎng)絡(luò)的預(yù)測效果，本文將LSTM網(wǎng)絡(luò)的分類結(jié)果與SVM、MLP進(jìn)行了比較。LSTM 網(wǎng)絡(luò)識(shí)別駕駛員疲勞情況的準(zhǔn)確率為96.55%，比SVM 的準(zhǔn)確率93.4%和MLP 的91.7%效果好。其主要原因是LSTM網(wǎng)絡(luò)進(jìn)行訓(xùn)練時(shí)輸入的不是單個(gè)數(shù)據(jù)，而是將計(jì)算出的一段時(shí)間的離散程度數(shù)據(jù)(Δ=500)輸入LSTM 網(wǎng)絡(luò)進(jìn)行訓(xùn)練，這種過程可以解決訓(xùn)練過程中梯度消失和梯度爆炸問題。SVM和MLP缺乏LSTM網(wǎng)絡(luò)對(duì)長時(shí)間序列建模的能力，實(shí)驗(yàn)結(jié)果表明，LSTM 網(wǎng)絡(luò)識(shí)別駕駛員疲勞狀態(tài)的性能優(yōu)于其他兩種方法。

5.5 基于LSTM的疲勞檢測

本文分析了駕駛姿態(tài)與精神狀態(tài)之間的關(guān)系，提取人體姿態(tài)建立疲勞特征，通過離散程度表示不同狀態(tài)下疲勞特征的發(fā)散性，并將此作為疲勞檢測的輸入。在分類實(shí)驗(yàn)中將全部數(shù)據(jù)集按照8∶2 劃分訓(xùn)練集和測試集，確定參數(shù)使訓(xùn)練兼顧精度與實(shí)效，設(shè)置迭代次數(shù)為100次，此外每迭代1次進(jìn)行一次準(zhǔn)確率輸出，結(jié)果如圖11所示。

圖11 損失函數(shù)與準(zhǔn)確率的變化趨勢(shì)圖Fig.11 Variation trend of loss function and accuracy

訓(xùn)練結(jié)果表明，該模型在本方案的預(yù)測方面表現(xiàn)良好。從圖11可以看出，每一輪整體訓(xùn)練損失函數(shù)值始終保持下降趨勢(shì)，表明該模型的學(xué)習(xí)效果良好。

選取疲勞特征的離散程度訓(xùn)練LSTM網(wǎng)絡(luò)后，得到分類模型對(duì)測試集進(jìn)行分類預(yù)測，在評(píng)價(jià)實(shí)驗(yàn)結(jié)果所采用的指標(biāo)中除了準(zhǔn)確率(Accuracy)以外，也使用了精確率(Precision)和召回率(Recall)來進(jìn)一步對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行評(píng)價(jià)。進(jìn)行駕駛員的疲勞狀態(tài)預(yù)測結(jié)果顯示，Recall與Precision分別為98.95%和97.73%，表明用于評(píng)估疲勞狀態(tài)的分類網(wǎng)絡(luò)對(duì)檢測目標(biāo)覆蓋率與檢測成功基礎(chǔ)上的正確率有很好的表現(xiàn)。最終檢測準(zhǔn)確率為98.31%，結(jié)果表明本方案具有較好的可行性和實(shí)用性。

6 結(jié)論

本文提取駕駛員人體姿態(tài)后，結(jié)合空-時(shí)特征對(duì)疲勞狀態(tài)進(jìn)行預(yù)測判定，通過對(duì)實(shí)驗(yàn)數(shù)據(jù)的分析，并對(duì)模型進(jìn)行有效性驗(yàn)證，得到結(jié)論：基于MobileNet-V1改進(jìn)人體骨架關(guān)鍵點(diǎn)識(shí)別網(wǎng)絡(luò)，使得模型保持了較高預(yù)測精度的同時(shí)減少了模型的計(jì)算量、提高了檢測效率；分析人體骨架在駕駛時(shí)的變化信息，提取關(guān)鍵點(diǎn)并建立多個(gè)疲勞特征，計(jì)算其離散程度用于比較不同狀態(tài)下疲勞特征的發(fā)散性；對(duì)比了使用不同疲勞特征與分類方法產(chǎn)生的預(yù)測結(jié)果，最終確定了可以達(dá)到最優(yōu)預(yù)測效果的分類方法；通過LSTM網(wǎng)絡(luò)對(duì)疲勞特征的離散程度進(jìn)行分類預(yù)測，使分類預(yù)測結(jié)果結(jié)合時(shí)間特性，更符合疲勞發(fā)生的過程。實(shí)驗(yàn)表明，本方法的預(yù)測準(zhǔn)確率達(dá)到98.35%，能夠很好地預(yù)測駕駛員的疲勞狀態(tài)。

雖然本方案可以較好地預(yù)測駕駛員的疲勞狀態(tài)，但仍存在一定的局限性：實(shí)驗(yàn)中在提取駕駛員特征的過程中，會(huì)受到光照條件和駕駛員駕駛動(dòng)作幅度個(gè)性化差異的干擾，從而影響人體姿態(tài)關(guān)鍵點(diǎn)的提取，會(huì)使本方案的準(zhǔn)確率受到一定程度的限制。后續(xù)值得對(duì)此作進(jìn)一步研究以提高駕駛員疲勞檢測的性能及魯棒性。