基于改進(jìn)長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)的駕駛行為檢測(cè)方法研究*

施冬梅，肖 鋒

（1.蘇州信息職業(yè)技術(shù)學(xué)院計(jì)算機(jī)科學(xué)與技術(shù)系，蘇州215200；2.西安工業(yè)大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，西安710021）

前言

我國(guó)交通事業(yè)蓬勃發(fā)展，隨之而來(lái)的是交通事故頻繁發(fā)生，據(jù)統(tǒng)計(jì)，這些事故中有69%的事故與駕駛員疲勞駕駛和不安全駕駛行為有關(guān)［1］。因此通過科技手段對(duì)駕駛員的駕駛行為進(jìn)行檢測(cè)并分析是當(dāng)今智能交通領(lǐng)域的研究熱點(diǎn)。疲勞駕駛和不安全駕駛行為的檢測(cè)，主要是采用學(xué)習(xí)算法首先定位視頻序列中的人臉和肢體，然后再對(duì)人眼、嘴巴等小目標(biāo)進(jìn)行識(shí)別，分析其狀態(tài)，從而判斷是否安全駕駛。在視頻序列圖像的人臉識(shí)別深度學(xué)習(xí)算法中，卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）和遞歸神經(jīng)網(wǎng)絡(luò)（recurrent neural networks，RNN）是目前常用的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，RNN結(jié)構(gòu)將時(shí)間的先后順序信息加入到了神經(jīng)網(wǎng)絡(luò)中，可以實(shí)現(xiàn)視頻時(shí)序圖像的識(shí)別。目前疲勞駕駛和不安全駕駛行為，主要通過生理參數(shù)［2-3］、車輛軌跡［4-5］、肢體動(dòng)作特征［6］進(jìn)行檢測(cè)，常見的生理參數(shù)檢測(cè)方法需要智能穿戴類檢測(cè)設(shè)備［7］，且已有應(yīng)用，但受限于人的心理、情緒變化，存在一定的誤差。車輛軌跡行為檢測(cè)方法受限于路面因素，也易造成誤判且有一定的滯后［8］。而肢體動(dòng)作特征檢測(cè)方法主要采用機(jī)器視覺和深度學(xué)習(xí)算法判斷不安全行為［9-10］，如通過閉眼時(shí)間比例（percentage of eyelid closure over the pupilover time，PERCLOS）［11］、眨眼頻率［12］、面部表情、肢體動(dòng)作等特征進(jìn)行檢測(cè)，學(xué)者關(guān)注較多。如利用多尺度同態(tài)濾波圖像增強(qiáng)算法［13］，針對(duì)復(fù)雜環(huán)境下捕捉到的圖像進(jìn)行增強(qiáng)，并通過視覺定位，分析駕駛員眼睛所處狀態(tài)［14］、嘴部動(dòng)作，進(jìn)而分析駕駛員的駕駛行為［15］。通過深度學(xué)習(xí)算法分析視頻時(shí)序語(yǔ)義信息，判斷駕駛員的不安全行為［16］。

在對(duì)時(shí)序信息建模時(shí)，為了防止梯度爆炸的問題，在RNN的結(jié)構(gòu)基礎(chǔ)上引入了長(zhǎng)短時(shí)記憶（long short time memory，LSTM）的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，LSTM的記憶和遺忘功能可以提高時(shí)序圖像的識(shí)別精度，因而LSTM模型通常被用來(lái)進(jìn)行視頻行為以及人臉識(shí)別［17］，廣泛用于考勤、安保等監(jiān)控領(lǐng)域。文獻(xiàn)［18］中利用單層的相關(guān)濾波器來(lái)預(yù)測(cè)目標(biāo)位置，并使用LSTM自適應(yīng)地學(xué)習(xí)確定最終目標(biāo)位置。文獻(xiàn)［19］中將提取的卷積特征輸入到具有兩個(gè)不同方向的雙向LSTM中，正反兩個(gè)方向模擬演化過程，實(shí)現(xiàn)特征融合。文獻(xiàn)［20］中通過自適應(yīng)語(yǔ)義注意模型，將兩個(gè)獨(dú)立的LSTM網(wǎng)絡(luò)集成后用于圖像目標(biāo)捕捉。文獻(xiàn)［21］中提出了一種改進(jìn)的基于雙流結(jié)構(gòu)的時(shí)空注意模型來(lái)識(shí)別視頻中的不同行為。文獻(xiàn)［22］中提出一種基于雙流特征的時(shí)空關(guān)注度長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)模型，用于行為識(shí)別。文獻(xiàn)［23］中提出了一個(gè)基于時(shí)空層次卷積長(zhǎng)短期記憶網(wǎng)絡(luò)來(lái)模擬時(shí)空域的行為結(jié)構(gòu)，用于行為識(shí)別?，F(xiàn)有視頻序列人體行為識(shí)別的難點(diǎn)在于目標(biāo)動(dòng)作僅占視頻序列中的一個(gè)小區(qū)域或者小部分，同時(shí)被識(shí)別人臉目標(biāo)易被周圍的背景信息干擾，如噪聲、光線、遮擋等，因此從視頻序列中提取人臉或人體行為的有效時(shí)空信息，成為行為識(shí)別的關(guān)鍵問題。注意力機(jī)制是一種內(nèi)部資源分配機(jī)制，在深度學(xué)習(xí)模型中，引入注意力機(jī)制（attention mechanism，AM），加強(qiáng)對(duì)關(guān)鍵語(yǔ)義信息的提取，能提高算法的識(shí)別準(zhǔn)確率［24］。目前描述LSTM模型應(yīng)用文獻(xiàn)中，主要集中在人體行為識(shí)別、人臉識(shí)別、物體識(shí)別等方面，而利用LSTM模型結(jié)構(gòu)和注意力機(jī)制有機(jī)融合進(jìn)行人臉與疲勞駕駛檢測(cè)的文獻(xiàn)比較少見。

本文中針對(duì)視頻圖像序列識(shí)別方法中的不足，將對(duì)LSTM方法進(jìn)行改進(jìn)，并引入注意力機(jī)制，設(shè)計(jì)了混合雙流通道AM?LSTM網(wǎng)絡(luò)結(jié)構(gòu)，分為時(shí)間流和空間流兩個(gè)通道卷積神經(jīng)網(wǎng)絡(luò)，采用不同的網(wǎng)絡(luò)算法，以空間金字塔池化層（spatial pyramid pooling，SPP）代替?zhèn)鹘y(tǒng)的均值池化，統(tǒng)一特征圖的尺度變換，用SSD進(jìn)行眼睛的定位，給出了眼睛狀態(tài)的檢測(cè)方法以及疲勞駕駛的判斷標(biāo)準(zhǔn)，本算法主要用于對(duì)駕駛員的疲勞狀態(tài)以及不安全駕駛行為進(jìn)行檢測(cè)，發(fā)現(xiàn)異常及時(shí)報(bào)警提醒，減少交通事故的發(fā)生。

1 長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)

1.1 改進(jìn)LSTM網(wǎng)絡(luò)結(jié)構(gòu)

在人臉圖像識(shí)別中，CNN無(wú)須圖像預(yù)處理，就可以直接輸入原始圖像，進(jìn)行卷積分類，因而得到了廣泛的應(yīng)用。但CNN在處理時(shí)間序列圖像存在一定不足，而LSTM模型含有記憶單元ct、輸入門it、遺忘門ft和輸出門ot，能有效解決這一問題。本文中對(duì)基本LSTM結(jié)構(gòu)進(jìn)行改進(jìn)［25］，在當(dāng)前輸入增加單層卷積，假設(shè)xt為輸入，ht為隱含層的當(dāng)前值，網(wǎng)絡(luò)函數(shù)記為f，則LSTM模型的卷積計(jì)算表示如下：

權(quán)矩陣；bf、bc、bo代表偏置；ht-1代表上一時(shí)刻狀態(tài)量，在這里使用tanh非線性函數(shù)；σ為門函數(shù)，σ輸出在0到1之間。為從復(fù)雜信息中選出目標(biāo)關(guān)鍵信息，進(jìn)一步在LSTM網(wǎng)絡(luò)結(jié)構(gòu)中的輸入門中引入注意力機(jī)制，構(gòu)成AM?LSTM結(jié)構(gòu)，如圖1所示。

圖1 AM?LSTM網(wǎng)絡(luò)結(jié)構(gòu)

假設(shè)用殘差網(wǎng)絡(luò)對(duì)視頻序列每一幀圖像提取的目標(biāo)特征為｛xi｝，目標(biāo)長(zhǎng)度為n1，則注意力機(jī)制動(dòng)態(tài)加權(quán)所有特征的總和為

第t個(gè)時(shí)間，特征xi的權(quán)重為，則特征向量xi所對(duì)應(yīng)的權(quán)重計(jì)算如下：

式中：fatt表示使用多層感知機(jī)；ht-1表示上個(gè)時(shí)刻的狀態(tài)；為一個(gè)中間變量。計(jì)算出權(quán)重之后，注意力機(jī)制開始對(duì)輸入序列進(jìn)行選擇，得到選擇后的序列ht，本文中注意力機(jī)制采用的是自適應(yīng)注意力模型，圖像描述框架如圖2所示。

圖2 注意力機(jī)制的圖像描述框架

1.2 雙流通道AM?LSTM網(wǎng)絡(luò)結(jié)構(gòu)算法

由于駕駛圖像采集過程中，像人眼這樣的小目標(biāo)，傳統(tǒng)的池化層會(huì)造成圖像部分信息缺失，所以在設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)時(shí)，本文中以空間金字塔池化層代替?zhèn)鹘y(tǒng)的均值池化，把不同卷積層的特征圖轉(zhuǎn)換成固定大小的特征向量，實(shí)現(xiàn)對(duì)特征圖統(tǒng)一尺度變換。設(shè)計(jì)混合雙流通道AM?LSTM結(jié)構(gòu)算法進(jìn)行疲勞駕駛行為檢測(cè)。雙流網(wǎng)絡(luò)分別使用圖像和光流場(chǎng)來(lái)表示時(shí)間流和空間流信息，雖然增加了一定的計(jì)算量，但可以降低復(fù)雜環(huán)境對(duì)時(shí)光流視頻序列產(chǎn)生的噪聲，提高了識(shí)別準(zhǔn)確率。時(shí)間流基于VGG16+Inception網(wǎng)絡(luò)結(jié)構(gòu)采用SSD算法計(jì)算視頻序列中相鄰兩幀光流圖像，再提取多幀光流圖像時(shí)序信息，主要是針對(duì)人眼等小目標(biāo)的檢測(cè)；空間流采用CNN方法對(duì)t幀時(shí)刻的RGB圖像提取空間特征，再經(jīng)過通道注意力和空間注意力模塊進(jìn)行關(guān)鍵信息的記憶、對(duì)比分析與提取，進(jìn)而實(shí)現(xiàn)特征融合，最后采用softmax分類，獲得駕駛行為狀態(tài)信息，混合雙流通道AM?LSTM如圖3所示。

圖3 混合雙流通道CNN+AM?LSTM網(wǎng)絡(luò)結(jié)構(gòu)

AM?LSTM模型的損失函數(shù)采用交叉熵函數(shù)，再通過反向傳播方法訓(xùn)練模型參數(shù)。根據(jù)前面的推導(dǎo)，可以通過前向傳播計(jì)算出在時(shí)刻t網(wǎng)絡(luò)的輸出向量y，總的誤差值L可定義如下：

式中：dit為輸出層第i個(gè)神經(jīng)元的期望輸出；yit為輸出層第i個(gè)神經(jīng)元的實(shí)際輸出；Y為輸出層神經(jīng)元的個(gè)數(shù)。在LSTM中，需要計(jì)算隱層輸出的誤差梯度δht和記憶狀態(tài)δct的誤差梯度，方法如下。

模型計(jì)算過程如下：初始化網(wǎng)絡(luò)權(quán)值，首先采用前向傳播，計(jì)算輸出值y和此時(shí)刻t的總誤差值；然后計(jì)算隱層單元的誤差梯度δht和記憶狀態(tài)δct；再計(jì)算遺忘門、輸入門、輸出門的權(quán)值更新ΔWf、ΔWi、ΔWo，最后更新權(quán)值Wf。

將AM?LSTM模型的時(shí)間步長(zhǎng)設(shè)置為m，將最后一個(gè)時(shí)間步長(zhǎng)的隱層狀態(tài)輸出看作最具特征代表性的高層語(yǔ)義特征，在AM?LSTM網(wǎng)絡(luò)中加一個(gè)soft max層，變成最終分類任務(wù)，針對(duì)最后的時(shí)間步長(zhǎng)可以將公式修改為

式中：Wo表示隱含層到輸出層的權(quán)重矩陣；bo表示偏差；ym表示最終分類結(jié)果；hm表示步長(zhǎng)達(dá)到m時(shí)的h狀態(tài)值。AM?LSTM模型的損失函數(shù)采用傳統(tǒng)的交叉熵函數(shù)，通過反向傳播方法訓(xùn)練參數(shù)。

2 疲勞駕駛行為檢測(cè)

當(dāng)駕駛員處于疲勞狀態(tài)時(shí)，最能反映的就是眼睛和嘴巴，如打哈欠、瞇眼睛等，通過算法檢測(cè)人眼的開度、PERCLOS值和動(dòng)作頻率來(lái)判斷疲勞程度。其中，PERCLOS值與疲勞駕駛的相關(guān)性最大。本文中采用PERCLOS標(biāo)準(zhǔn)，其含義是指在一個(gè)眨眼周期中，眼睛開度小于最大開度20%的時(shí)間與眼睛開度小于最大開度80%的時(shí)間的比值，以ρ表示：

式中：t1代表眼睛從眼瞼閉合至最大開度20%到完全閉合，再睜開至最大開度20%的時(shí)間；t2代表眼睛從眼瞼閉合至最大開度80%到完全閉合，再睜開至最大開度80%的時(shí)間。計(jì)算人眼開度時(shí)，首先要定位人臉，再利用SSD算法在人臉中搜索人眼，依據(jù)人眼上眼瞼與下眼瞼標(biāo)定的特征點(diǎn)來(lái)計(jì)算人眼開度，人眼的檢測(cè)點(diǎn)位如圖4所示。

圖4 人眼檢測(cè)示意圖

每只眼睛有8個(gè)檢測(cè)點(diǎn)，每個(gè)點(diǎn)位對(duì)應(yīng)一個(gè)坐標(biāo)，用（xEi，yEi）表示，首先計(jì)算出睜開眼時(shí)E1和E5、E2和E4、E6和E8之間的距離，取平均值作為正常駕駛?cè)搜郾犻_基準(zhǔn)值。

某人第i次眼睛睜開值可表示為

因?yàn)槊總€(gè)駕駛員人眼大小的狀態(tài)是不同的，同一輛車可能由多個(gè)駕駛員使用，針對(duì)不同人的眼睛大小、環(huán)境變化以及是否戴眼鏡等因素，實(shí)際的眼睛開度可用Eopen表示為

Eopen作為眼睛開度指標(biāo)，考慮光照等環(huán)境因素，測(cè)試結(jié)果為人眼開度處于0.8到0.65定位為輕度疲勞，0.65到0.45為疲勞，0.45以下為重度疲勞。人在疲勞情況下眨眼頻率會(huì)變快，眨眼頻率可以通過把時(shí)間轉(zhuǎn)換為該檢測(cè)時(shí)段里的視頻幀數(shù)比例來(lái)表示：

FEopen作為一個(gè)閾值，是用來(lái)判斷疲勞狀態(tài)的依據(jù)。實(shí)際采用眼睛開度、PERCLOS值和眨眼頻率綜合來(lái)判斷疲勞狀態(tài)，具體規(guī)則如表1所示。

表1 不同方法的疲勞狀態(tài)判斷值

3 實(shí)驗(yàn)結(jié)果分析

本實(shí)驗(yàn)是在主頻為4.0GHz Intel CPU、GeForce GTX 1080顯卡上實(shí)現(xiàn)的，軟件采用Python3.0、Matlab2016a和Tensor flow1.3框架。在駕駛行為檢測(cè)時(shí)，采用850 nm波長(zhǎng)的近紅外攝像頭采集視頻序列，采樣率為30 fps，視頻大小統(tǒng)一為320×240。在LFW數(shù)據(jù)集中進(jìn)行人臉圖像識(shí)別和在自建駕駛數(shù)據(jù)集進(jìn)行駕駛行為檢測(cè)實(shí)驗(yàn)。為便于分析測(cè)試數(shù)據(jù)，根據(jù)測(cè)算數(shù)據(jù)繪制了ROC（receiver operating characteristic）曲線，ROC分析的是二元分類模型，根據(jù)分類結(jié)果和AUC（area under curve，AUC）面積判斷方法的好壞，AUC面積越大代表方法越好。

3.1 疲勞狀態(tài)判斷參數(shù)實(shí)驗(yàn)

通過近紅外攝像頭分別采集駕駛員正常狀態(tài)下的視頻以及處于疲勞狀態(tài)下的視頻，每隔0.2 s采集一幀圖像，采集時(shí)間10 s，50幅圖像為一組數(shù)據(jù)。檢測(cè)結(jié)果如圖5所示。

從圖5可以看出，實(shí)測(cè)結(jié)果和表1的疲勞狀態(tài)判斷值很接近，驗(yàn)證了本方法的可行性。正常狀態(tài)的Eopen的值較大，疲勞狀態(tài)下，PERCLOS值和FEopen值較大，說明閉眼時(shí)間明顯加大，或處于瞇眼狀態(tài)。

圖5 視頻序列圖像的眼睛開度示意圖

3.2 LFW數(shù)據(jù)集實(shí)驗(yàn)

LFW數(shù)據(jù)集共有13 233張人臉圖像，都是來(lái)自于自然場(chǎng)景，每張圖像均給出對(duì)應(yīng)的人名，共有5 749人，實(shí)驗(yàn)時(shí)選取了1 000張圖像，其中800張用于訓(xùn)練，200張用于測(cè)試。采用了CNN、SSD、LRCN、LSTM等方法進(jìn)行ROC值和準(zhǔn)確率實(shí)驗(yàn)，結(jié)果如圖6所示。

從圖6可知，本方法的人臉目標(biāo)識(shí)別的ROC曲線的真陽(yáng)率和準(zhǔn)確率分別達(dá)到了0.855和83.28%，比CNN方法分別提高了0.077和4.76個(gè)百分點(diǎn)，比LSTM方法分別提高了0.016和1.36個(gè)百分點(diǎn)，雖然增加了一定的計(jì)算量，但識(shí)別精度和成功率提高了。表2是不同方法在LFW數(shù)據(jù)集中的計(jì)算量對(duì)比。

圖6 不同方法在LFW數(shù)據(jù)集中的實(shí)驗(yàn)結(jié)果

表2 不同方法計(jì)算效率對(duì)比

本方法在雙流LSTM網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上，增加了注意力模塊，使得網(wǎng)絡(luò)參數(shù)量略有增加，雖然訓(xùn)練時(shí)間增加了1.4 s，F(xiàn)LOPS減少了0.132，但本方法的準(zhǔn)確率提升1.36個(gè)百分點(diǎn)，在實(shí)施時(shí)，可以采用嵌入式DSP處理器和FPGA技術(shù)，能滿足疲勞駕駛檢測(cè)數(shù)據(jù)處理的精度和實(shí)時(shí)性需求。

3.3 自建駕駛數(shù)據(jù)集實(shí)驗(yàn)

為驗(yàn)證本文所提方法的準(zhǔn)確度和實(shí)用性，實(shí)驗(yàn)增加自建駕駛行為數(shù)據(jù)集，共采集到包括用手機(jī)、吃東西、雙手離開轉(zhuǎn)向盤、說話、扭頭、瞇眼睛、打哈欠、正常和其他違規(guī)動(dòng)作在內(nèi)的10種情形，每種情況采集3個(gè)視頻，共30個(gè)視頻，編號(hào)S1-S30。訓(xùn)練時(shí)，設(shè)置初始學(xué)習(xí)速率為0.001，Relu作為激活函數(shù)，用隨機(jī)梯度下降方法優(yōu)化，網(wǎng)絡(luò)節(jié)點(diǎn)數(shù)為64。將訓(xùn)練視頻數(shù)據(jù)未進(jìn)行二次稀疏光流提取的光流圖分別以連續(xù)2幀、連續(xù)4幀、連續(xù)10幀采集光流圖輸入網(wǎng)絡(luò)中進(jìn)行訓(xùn)練。在自建駕駛數(shù)據(jù)集上和其他方法進(jìn)行對(duì)比分析。

選取4種狀態(tài)的6個(gè)視頻序列對(duì)眼睛進(jìn)行測(cè)試，編號(hào)為S16-S21樣本幀數(shù)為800，結(jié)果如表3所示。

表3 眼睛狀態(tài)測(cè)試結(jié)果

在自建數(shù)據(jù)庫(kù)中對(duì)5種不安全駕駛行為進(jìn)行了測(cè)試，結(jié)果如表4所示。

表4 不同方法在自建數(shù)據(jù)庫(kù)中的測(cè)試結(jié)果

從表4可知，本方法采用了VGG16 Inception Net基礎(chǔ)網(wǎng)絡(luò)，融合了自適應(yīng)注意力機(jī)制，用混合雙流通道改進(jìn)了LSTM網(wǎng)絡(luò)結(jié)構(gòu)，利用注意力機(jī)制加強(qiáng)關(guān)鍵語(yǔ)義信息的提取，網(wǎng)絡(luò)學(xué)習(xí)能力得到了增加，提升了視頻系列圖像識(shí)別準(zhǔn)確率。最難檢測(cè)的疲勞狀態(tài)，SSD方法只有68.75%，LSTM為70.78%，本方法達(dá)到了73.36%，分別提高了4.61和2.58個(gè)百分點(diǎn)。

為進(jìn)一步驗(yàn)證本文模型對(duì)不同駕駛行為的檢測(cè)能力，基于AM?LSTM結(jié)構(gòu)模型的檢測(cè)結(jié)果，分別對(duì)8種駕駛行為結(jié)果繪制了ROC曲線，如圖7所示。

圖7 不同方法的ROC曲線

從圖7的8種駕駛行為的ROC曲線總體走勢(shì)可以看出，采用了金字塔池化，融入了注意力機(jī)制的混合雙流通道的LSTM結(jié)構(gòu)，具有較好的分類性能，尤其是對(duì)于用手機(jī)、說話、吃東西等AUC值達(dá)到了81%以上，疲勞駕駛中的打盹行為檢測(cè)也達(dá)到了72.7%。

在自建駕駛行為數(shù)據(jù)集中進(jìn)行CNN、LRCN、SSD、AM?LSTM 4種方法的損失函數(shù)實(shí)驗(yàn)分析，數(shù)據(jù)的前75%用于訓(xùn)練，后25%用于測(cè)試，學(xué)習(xí)率設(shè)定為0.001。采用交叉熵?fù)p失函數(shù)，利用Adam優(yōu)化器訓(xùn)練模型，500次迭代的損失函數(shù)曲線如圖8所示。

圖8 4種模型訓(xùn)練損失函數(shù)曲線

從圖8可以看到，4種模型的損失函數(shù)隨迭代次數(shù)增加逐漸減小并趨向0。CNN網(wǎng)絡(luò)損失函數(shù)值下降速度最慢，且最終的損失值大約為0.15。在剛開始階段，SSD的收斂速度比AM?LSTM快，這是因?yàn)榫W(wǎng)絡(luò)融入了注意力模塊，增加了計(jì)算量。但AM?LSTM的收斂速度逐漸加快，且最后收斂時(shí)的損失函數(shù)值要小于其他網(wǎng)絡(luò)。4種模型準(zhǔn)確率曲線如圖9所示。

圖9 4種模型準(zhǔn)確率曲線

從圖9看出，4種網(wǎng)絡(luò)的準(zhǔn)確率隨著迭代次數(shù)增加均不斷升高。初始階段，LRCN網(wǎng)絡(luò)的準(zhǔn)確率比AM?LSTM網(wǎng)絡(luò)準(zhǔn)確率上升速度略快，但最終AM?LSTM網(wǎng)絡(luò)的準(zhǔn)確率略高于其他網(wǎng)絡(luò)模型。

4 結(jié)論

疲勞駕駛和駕駛員的違規(guī)行為是造成交通事故的主要來(lái)源，本文中針對(duì)駕駛安全問題，采用人工智能技術(shù)和深度學(xué)習(xí)理論，基于CNN和LSTM相融合的方法，并融入注意力機(jī)制，提出了改進(jìn)的混合雙流CNN網(wǎng)絡(luò)，用于駕駛安全行為檢測(cè)。在網(wǎng)絡(luò)中采用金字塔池化代替?zhèn)鹘y(tǒng)池化層，統(tǒng)一圖像尺寸，在LSTM網(wǎng)絡(luò)中引入注意力機(jī)制，有效選取語(yǔ)義信息。在雙通道設(shè)計(jì)時(shí)，一個(gè)通道采用的是CNN算法，對(duì)視頻RGB圖像提取空間特征，一個(gè)通道采用SSD算法對(duì)視頻序列中相鄰兩幀計(jì)算光流圖像，用于對(duì)臉部眼睛等小目標(biāo)的檢測(cè)，雙通道特征融合以后，分類，獲得檢測(cè)結(jié)果。在LFW數(shù)據(jù)集和自建駕駛行為數(shù)據(jù)集中進(jìn)行了實(shí)驗(yàn)，獲得了不同方法和不同駕駛行為的ROC曲線、正確率和損失函數(shù)，測(cè)試結(jié)果表明本方法有較好的優(yōu)越性，能有效提高疲勞駕駛和不安全駕駛行為的檢測(cè)率。