基于神經(jīng)網(wǎng)絡(luò)融合的司機(jī)違規(guī)行為識(shí)別

李俊俊 楊華民 張澍裕 李松江

1(北京航天控制儀器研究所研發(fā)中心物聯(lián)網(wǎng)與智能結(jié)構(gòu)室 北京 100854)2(長(zhǎng)春理工大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院 吉林 長(zhǎng)春 130022)

0 引 言

隨著經(jīng)濟(jì)的快速發(fā)展，人們逐漸過(guò)上了幸福的生活，轎車逐漸成為人們?nèi)粘Ｉ钪械闹饕煌üぞ?，轎車給人們生活帶來(lái)便利的同時(shí)，也給不少人帶來(lái)了生命的危險(xiǎn)。交通事故的頻頻發(fā)生，使很多美好的家庭遭到沉重的打擊。在調(diào)查造成交通事故發(fā)生的原因時(shí)，經(jīng)過(guò)統(tǒng)計(jì)發(fā)現(xiàn)司機(jī)的不規(guī)范行為，比如在行駛過(guò)程中抽煙、玩手機(jī)是造成交通事故的很重要原因。通過(guò)制約司機(jī)的不規(guī)范行為可以在一定程度上減少不必要的交通事故。因此如何快速有效地識(shí)別出司機(jī)的不規(guī)范行為成為眾多研究者關(guān)心和關(guān)注的問(wèn)題。

司機(jī)駕駛違規(guī)檢測(cè)技術(shù)的發(fā)展，離不開圖像識(shí)別技術(shù)的發(fā)展，通過(guò)在汽車駕駛室里安裝攝像頭，來(lái)實(shí)時(shí)檢測(cè)司機(jī)的駕駛行為。近年來(lái)隨著深度學(xué)習(xí)的發(fā)展，把圖像識(shí)別技術(shù)推向了前所未有的高度。圖像識(shí)別是計(jì)算機(jī)視覺(jué)領(lǐng)域的重要研究方向之一，其主要是利用計(jì)算機(jī)對(duì)圖像進(jìn)行處理、分析和理解，從而能夠識(shí)別多種不同情況下的目標(biāo)及對(duì)象。在本文中主要利用圖像識(shí)別技術(shù)來(lái)發(fā)現(xiàn)司機(jī)在行駛過(guò)程中的不規(guī)范行為。

深度學(xué)習(xí)作為近年來(lái)越來(lái)越熱門的技術(shù)，其在圖像識(shí)別中表現(xiàn)出了極佳的效果。深度學(xué)習(xí)在2006年，由Geoffery Hinto和他的學(xué)生Ruslan Salakhutdinov在國(guó)際頂級(jí)學(xué)術(shù)期刊《Science》上發(fā)表的一篇文章[1]中第一次提出，隨后深度學(xué)習(xí)得到了迅速的發(fā)展。而作為深度學(xué)習(xí)中重量級(jí)的卷積神經(jīng)網(wǎng)絡(luò)CNN(Convolution neural network)則可以追溯到20世紀(jì)60年代初期，當(dāng)時(shí)是由兩位著名的生物學(xué)家Hubel和Wiesel在文獻(xiàn)[2]中提出了感受野的概念。到了20世紀(jì)80年代中期Fukushima在文獻(xiàn)[3]提出的基于感受野概念的神經(jīng)認(rèn)知機(jī)，在目前看來(lái)可以作為卷積神經(jīng)網(wǎng)絡(luò)第一次真正的實(shí)現(xiàn)。本文主要通過(guò)對(duì)深度學(xué)習(xí)中經(jīng)典的模型-卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行改進(jìn)，來(lái)檢測(cè)司機(jī)在駕駛過(guò)程中出現(xiàn)吸煙和玩手機(jī)這兩種行為，從而達(dá)到發(fā)出精準(zhǔn)警告信息的目的，進(jìn)而有效地降低交通事故的發(fā)生。因此司機(jī)違規(guī)行為識(shí)別研究就變得十分重要且有意義，本文正是基于此做的相關(guān)研究。

1 相關(guān)工作

司機(jī)違規(guī)檢測(cè)[25-27]研究也是因?yàn)殡S著人們出行車輛逐漸變多，導(dǎo)致交通事故頻發(fā)才逐漸引起研究人員的注意。近期學(xué)者對(duì)司機(jī)行為檢測(cè)大多還是采用傳統(tǒng)機(jī)器學(xué)習(xí)的算法。文獻(xiàn)[28]采用傳統(tǒng)的機(jī)器學(xué)習(xí)算法，提出一種基于自適應(yīng)特征聚類的特征檢測(cè)方法，該方法主要是將復(fù)雜環(huán)境下機(jī)車司機(jī)的操作行為特征提取出來(lái)，并通過(guò)和標(biāo)準(zhǔn)的操作行為進(jìn)行比較，從而判斷機(jī)車司機(jī)的操作行為是否違規(guī)。該文獻(xiàn)提出的方法雖然表現(xiàn)出了一定的優(yōu)勢(shì)，但僅限于小規(guī)模數(shù)據(jù)集，對(duì)于大場(chǎng)景大規(guī)模數(shù)據(jù)集表現(xiàn)一般，因此迫切需要采用最新的深度學(xué)習(xí)算法來(lái)解決司機(jī)行為檢測(cè)問(wèn)題。另外對(duì)于司機(jī)行為檢測(cè)另一個(gè)研究熱點(diǎn)是對(duì)于疲勞駕駛的研究，其中文獻(xiàn)[29]對(duì)目前司機(jī)疲勞駕駛檢測(cè)方法做了最新的綜述，從綜述中看出，迫切需要新的方法來(lái)應(yīng)用于司機(jī)行為檢測(cè)的研究。文獻(xiàn)[30]針對(duì)司機(jī)疲勞駕駛檢測(cè)，設(shè)計(jì)了一種基于圖像處理DSP芯片DM6437的疲勞駕駛視覺(jué)檢測(cè)系統(tǒng)，但采用硬件DSP來(lái)解決檢測(cè)問(wèn)題，在算法上創(chuàng)新較少。本文所做的研究是采用最新的深度學(xué)習(xí)算法來(lái)更好地解決司機(jī)違規(guī)行為識(shí)別檢測(cè)。

圖像識(shí)別屬于計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)主要研究方向，在過(guò)去的歲月里，很多學(xué)者都投身于圖像識(shí)別的領(lǐng)域中，也涌現(xiàn)出一批優(yōu)秀的圖像識(shí)別算法。

最早的圖像識(shí)別技術(shù)可以追溯到20世紀(jì)60年代[4]，不過(guò)當(dāng)時(shí)局限于硬件水平的發(fā)展，圖像識(shí)別技術(shù)一直處于低迷狀態(tài)。隨著科技的發(fā)展，計(jì)算機(jī)硬件的發(fā)展得到了空前的提高，尤其是GPU的快速發(fā)展，基于深度學(xué)習(xí)的圖像識(shí)別算法逐漸成為主流的算法。另外一個(gè)推動(dòng)圖像識(shí)別技術(shù)發(fā)展的是大規(guī)模數(shù)據(jù)集的發(fā)展，如ImageNet[5]、Places[6]、SUN397[7]等大規(guī)模數(shù)據(jù)集的出現(xiàn)，其中ImageNet數(shù)據(jù)集主要集中于物體概念的圖像，當(dāng)然也包括少量的場(chǎng)景概念圖像，該數(shù)據(jù)集是推動(dòng)深度學(xué)習(xí)算法的重量級(jí)數(shù)據(jù)集。

Krizhevsky等[8]在ImgeNet競(jìng)賽上取得了很好的成績(jī)，而這是他們第一次在ImageNet上訓(xùn)練出了一個(gè)8層的深度模型。自此之后卷積神經(jīng)網(wǎng)絡(luò)在圖像分類與識(shí)別領(lǐng)域受到前所未有的認(rèn)可。后續(xù)很多學(xué)者獻(xiàn)身于卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)化與改良。Simonyan等[9]在原來(lái)Krizhevsky等[8]的模型基礎(chǔ)上，提出一個(gè)19層的CNN模型(VGG-19)，VGG-19主要是通過(guò)增減卷積層來(lái)增加該模型的深度，同時(shí)采用較小的卷積濾波(3×3)。卷積神經(jīng)網(wǎng)絡(luò)能夠利用圖像的邊緣、角點(diǎn)、紋理等高層特征，對(duì)特定任務(wù)的有針對(duì)性的(specific)特征[10-11]，通過(guò)逐層特征學(xué)習(xí)來(lái)模擬人腦分層處理信息機(jī)制。隨著ImageNet競(jìng)賽的推進(jìn)，Szegedy等[12]受Hebbian原理和多尺度處理的啟發(fā)，提出了一個(gè)22層的深度學(xué)習(xí)模型GoogleNet[12]。GoogleNet主要由多個(gè)Inception Model堆疊形成，它主要利用不寬的卷積核對(duì)前一層的輸出做卷積，最后合并形成后一層的輸入。Zhou等則在Places[6]上對(duì)于多場(chǎng)景分類訓(xùn)練出不錯(cuò)的深度模型，可以有效解決多場(chǎng)景分類問(wèn)題。Liu等[13]采用在MIT-67上提出一種采用跨卷積層池化技術(shù)將卷積層的特征作為通用特征的模型，表現(xiàn)出了不錯(cuò)的效果。Gong等[14]先使用卷積神經(jīng)網(wǎng)絡(luò)基于圖像塊提取特征，隨后使用主成分分析降低維度形成圖形特征，相比于直接從整幅圖上提取卷積神經(jīng)網(wǎng)絡(luò)特征，該方法提取的特征具有幾何不變性。

以上這些模型都在通用數(shù)據(jù)集上表現(xiàn)出了不錯(cuò)的效果，但在特定領(lǐng)域的數(shù)據(jù)集上還不能完全適用。本文在解決特殊領(lǐng)域司機(jī)違規(guī)行為識(shí)別問(wèn)題時(shí)，既要考慮性能問(wèn)題，同時(shí)也要考慮效率問(wèn)題。最終，本文提出了三級(jí)級(jí)聯(lián)的卷積神經(jīng)網(wǎng)絡(luò)并通過(guò)改進(jìn)激活函數(shù)的方法來(lái)有效地解決司機(jī)違規(guī)行為識(shí)別問(wèn)題。

2 神經(jīng)網(wǎng)絡(luò)融合

傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)融合，通常是將兩個(gè)或多個(gè)網(wǎng)絡(luò)線性加權(quán)或者采用隨機(jī)梯度的方式進(jìn)行加權(quán)融合，而本文提出的神經(jīng)網(wǎng)絡(luò)融合是結(jié)合FCNN網(wǎng)絡(luò)與本文提出的三級(jí)級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)。首先我們使用FCNN網(wǎng)絡(luò)對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行數(shù)據(jù)處理，對(duì)圖像進(jìn)行分割，這樣分割后的圖像僅僅包含我們需要的任務(wù)信息，過(guò)濾邊緣多余的信息，再通過(guò)本文提出的三級(jí)級(jí)聯(lián)的神經(jīng)網(wǎng)絡(luò)進(jìn)行最終的處理。整體架構(gòu)圖如圖1所示。

2.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)通常是由輸入層、卷積層、池化層、全連接層以及輸出層這五個(gè)部分組成，其中卷積層和池化層一般交替進(jìn)行，即一個(gè)卷積層鏈接一個(gè)池化層，池化層后再鏈接一個(gè)卷積層，依次類推。從中也可以清晰地看到由于卷積層中輸出特征面的每個(gè)神經(jīng)元與其輸入進(jìn)行局部鏈接，并通過(guò)對(duì)應(yīng)的連接權(quán)值與局部輸入進(jìn)行加權(quán)求和，再加上偏置值，得到該神經(jīng)元輸入值，該過(guò)程等同于卷積過(guò)程，CNN名稱也由此而來(lái)[15]。

Yann LeCun教授在1998年提出了LeNet-5模型[15]，LeNet-5目前被公認(rèn)為是第一個(gè)成功應(yīng)用于數(shù)據(jù)識(shí)別問(wèn)題的卷積神經(jīng)網(wǎng)絡(luò)，LeNet-5模型可以達(dá)到大約99.2%的正確率。文獻(xiàn)[16-23]分別提出了針對(duì)特定領(lǐng)域內(nèi)的問(wèn)題設(shè)計(jì)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，得到了精度很高的實(shí)驗(yàn)結(jié)果。雖然LeNet-5在公開的數(shù)據(jù)集中已經(jīng)表現(xiàn)出了良好的性能，但是在特定領(lǐng)域的數(shù)據(jù)集中還存在一些不足。因此本文基礎(chǔ)的對(duì)比模型是LeNet-5典型的卷積神經(jīng)網(wǎng)絡(luò)，但在LeNet-5的結(jié)構(gòu)基礎(chǔ)上采用了文獻(xiàn)[24]中的激活函數(shù)來(lái)改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)中的激活函數(shù)，從而更好地識(shí)別出司機(jī)的違規(guī)行為。

2.2 FCNN網(wǎng)絡(luò)

FCNN網(wǎng)絡(luò)使用Lonjong等在CVP2015中提出的對(duì)圖像進(jìn)行像素級(jí)的分類網(wǎng)絡(luò)模型，主要是為了更好地解決語(yǔ)義級(jí)別的圖像分割問(wèn)題。它與經(jīng)典的CNN網(wǎng)絡(luò)最大不同在于，經(jīng)典的CNN網(wǎng)絡(luò)在卷積層后通常使用全連接層得到固定長(zhǎng)度的特征向量進(jìn)行分類，也就是我們經(jīng)常用的全連接層后面緊跟著SoftMax進(jìn)行輸出，而FCNN網(wǎng)絡(luò)可以接受任意尺寸的輸入圖像，采用反卷積層對(duì)最后一個(gè)卷積層的feature map進(jìn)行上采樣，使它恢復(fù)到與輸入圖像相同的尺寸，從而對(duì)每個(gè)像素都產(chǎn)生一個(gè)預(yù)測(cè)，同時(shí)保留了原始輸入圖像的空間信息，并在上采樣的特征圖上進(jìn)行逐像素分類。最后逐個(gè)像素計(jì)算softmax分類的損失，相當(dāng)于每一個(gè)像素對(duì)應(yīng)一個(gè)訓(xùn)練樣本。

通過(guò)上面的描述，我們可以清晰地看到FCNN網(wǎng)絡(luò)主要應(yīng)用于圖像分類，而本文的主要任務(wù)是進(jìn)行圖像分類，那么如何利用FCNN網(wǎng)絡(luò)來(lái)提高分類性能，成為本文的主要工作點(diǎn)。本文采用FCNN網(wǎng)絡(luò)是在圖像預(yù)處理階段，對(duì)圖像先進(jìn)行語(yǔ)義分割，保留人物部分。之所以保留人物部分是因?yàn)槲覀儾杉膱D像，除了人物外還有很多車內(nèi)的其他物體，但我們主要是檢測(cè)司機(jī)的違規(guī)行為，因此只關(guān)注人物信息。在進(jìn)行分類之前首先對(duì)圖片進(jìn)行語(yǔ)義分割，可以有助于過(guò)濾掉其他無(wú)關(guān)特征，保留更加有效的特征。

2.3 三級(jí)級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)

在2.1節(jié)給出的神經(jīng)網(wǎng)絡(luò)是最基本的神經(jīng)網(wǎng)絡(luò)，在大部分的識(shí)別任務(wù)中可以得到不錯(cuò)的效果，但是對(duì)于司機(jī)違規(guī)行為識(shí)別領(lǐng)域，則表現(xiàn)一般。其原因在于司機(jī)在開車過(guò)程中主要的違規(guī)行為表現(xiàn)在頭部與手臂部位，比如抽煙和玩手機(jī)這兩種行為。因此針對(duì)司機(jī)的違規(guī)行為識(shí)別，我們先利用2.2節(jié)提出的FCNN網(wǎng)絡(luò)對(duì)原始圖像進(jìn)行語(yǔ)義分割，再利用本文提出了三級(jí)級(jí)聯(lián)的深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)其進(jìn)行識(shí)別，每一級(jí)都使用Tensorflow框架來(lái)實(shí)現(xiàn)，整體架構(gòu)圖如圖2所示，框架包含三級(jí)。

第一級(jí)是一個(gè)比較簡(jiǎn)單的二分類卷積神經(jīng)網(wǎng)絡(luò)，它只包含一個(gè)卷積層和一個(gè)Softmax分類器，其中卷積層采用5×5大小的卷積核，池化層采用最大Pooling,最后通過(guò)Softmax輸出分類結(jié)果。第一級(jí)卷積神經(jīng)網(wǎng)絡(luò)主要是用于快速剔除大量明顯的正常司機(jī)行為，減少樣本量，因此在本級(jí)神經(jīng)網(wǎng)絡(luò)中學(xué)習(xí)率采用0.5，以使其快速收斂。通過(guò)實(shí)驗(yàn)證明，第一級(jí)神經(jīng)網(wǎng)絡(luò)能剔除大量正常的司機(jī)行為，從而保留大量的司機(jī)駕駛異常行為，為接下來(lái)的第二級(jí)神經(jīng)網(wǎng)絡(luò)做準(zhǔn)備。

第二級(jí)神經(jīng)網(wǎng)絡(luò)是整個(gè)框架的中間層網(wǎng)絡(luò)，它只包含三個(gè)卷積層和一個(gè)Softmax分類器，其中三個(gè)卷積層采用5×5大小的卷積核，第一個(gè)卷積層后采用最大Pooling,剩余的兩個(gè)卷積層后采用平均Polling。最后通過(guò)Softmax輸出分類結(jié)果。它的作用與第一層類似，主要是進(jìn)一步剔除司機(jī)的正常行為，由于第一級(jí)已經(jīng)剔除了一定規(guī)模的司機(jī)正常駕駛樣本，因此本級(jí)采用學(xué)習(xí)率為0.2，以使其能更好地剔除司機(jī)正常駕駛行為。如圖2所示，第二級(jí)神經(jīng)網(wǎng)絡(luò)有三個(gè)卷積層及一個(gè)Softmax分類器組成，從圖中可以明顯看出，它比第一級(jí)網(wǎng)絡(luò)要復(fù)雜一些，因此具有更高的區(qū)分力。

第三級(jí)神經(jīng)網(wǎng)絡(luò)將采用更加復(fù)雜的結(jié)構(gòu)，經(jīng)過(guò)實(shí)驗(yàn)檢測(cè)，速度比較理想。這主要是因?yàn)榻?jīng)過(guò)第一級(jí)和第二級(jí)神經(jīng)網(wǎng)絡(luò)已經(jīng)剔除了大量的司機(jī)正常駕駛行為樣本，因此第三級(jí)神經(jīng)網(wǎng)絡(luò)在給出最終的識(shí)別結(jié)果時(shí)速度較快。同時(shí)由于第三級(jí)神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)更為復(fù)雜，層數(shù)也最多，因此在性能上也可以更好地識(shí)別出司機(jī)的異常駕駛行為，相比第二級(jí)神經(jīng)網(wǎng)絡(luò)，第三級(jí)神經(jīng)網(wǎng)絡(luò)包括四層卷積層與一個(gè)Softmax層。其中四個(gè)卷積層采用5×5大小的卷積核，第一個(gè)卷積層后采用最大Pooling,剩余的三個(gè)卷積層后采用平均Polling。最后通過(guò)Softmax輸出分類結(jié)果，由于本級(jí)是最后一級(jí)，是輸出最后結(jié)果的一級(jí)，因此，本級(jí)學(xué)習(xí)率采用0.02，以使其達(dá)到更好的效果。

上述的三級(jí)級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)是，前兩級(jí)網(wǎng)絡(luò)比較簡(jiǎn)單，可以快速去掉大量司機(jī)正常駕駛樣本，雖然第三級(jí)網(wǎng)絡(luò)復(fù)雜，但是由于前兩級(jí)已經(jīng)去掉大量的樣本，因此第三級(jí)網(wǎng)絡(luò)雖然復(fù)雜但整體速度還是比較快，相對(duì)于從始至終都采用第三級(jí)網(wǎng)絡(luò)速度要快很多。

除了采用三級(jí)級(jí)聯(lián)的卷積神經(jīng)網(wǎng)絡(luò)外，在激活函數(shù)方面，本文直接采用了文獻(xiàn)[24]中改進(jìn)的激活函數(shù)。該文提出的激活函數(shù)述結(jié)合ReLUs函數(shù)的稀疏性以及Softplus函數(shù)的光滑性，激活函數(shù)的公式如下：

(1)

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

為能夠確保數(shù)據(jù)的真實(shí)性，本文的實(shí)驗(yàn)數(shù)據(jù)通過(guò)真人模擬來(lái)采集，首先通過(guò)人工模擬吸煙與玩手機(jī)動(dòng)作后，通過(guò)車上安裝的攝像頭來(lái)采集本實(shí)驗(yàn)所需要的圖片素材，取幀軟件為Windows自帶的ffmpeg，采集到的圖片詳細(xì)數(shù)據(jù)如表1所示。為了防止模型容易訓(xùn)練過(guò)擬合，額外采集了5 000張正常司機(jī)行為的圖片，把這些司機(jī)正常的數(shù)據(jù)集與之前人工模擬采集的違規(guī)行為數(shù)據(jù)集混合在一起，然后把數(shù)據(jù)集分為訓(xùn)練集、測(cè)試集和驗(yàn)證集。實(shí)驗(yàn)獲取了吸煙、玩手機(jī)、正常3個(gè)類別的圖片，圖像為32(寬)×32(高)×3(RGB彩色通道)，訓(xùn)練集15 000張，驗(yàn)證集圖片6 000張，測(cè)試集圖片9 000張。訓(xùn)練集、驗(yàn)證集和測(cè)試集中的司機(jī)行為類別個(gè)數(shù)始終保持相等，當(dāng)這兩個(gè)類別的概率都低于給定概率閥值時(shí)，則為第三種既沒(méi)有吸煙也沒(méi)玩手機(jī)類別。為了保證實(shí)驗(yàn)的有效性，本文在數(shù)據(jù)集產(chǎn)生過(guò)程中使用了隨機(jī)采樣，即訓(xùn)練集是分別從正常數(shù)據(jù)(正常的司機(jī)行為)和異常數(shù)據(jù)(司機(jī)抽煙和玩手機(jī))中隨機(jī)抽取相應(yīng)數(shù)量的數(shù)據(jù)組成訓(xùn)練集，以同樣的方式形成測(cè)試集及驗(yàn)證集。

表1 人工摸擬采集的數(shù)據(jù)集詳情

下面給出實(shí)驗(yàn)中具體采集的圖片樣例：其中圖3是司機(jī)駕駛過(guò)程中玩手機(jī)的樣例圖，在我們的算法中主要檢測(cè)手機(jī)部分及相應(yīng)的位置，來(lái)判斷是否是在駕駛過(guò)程中使用手機(jī)。圖4是司機(jī)駕駛過(guò)程中抽煙樣例圖，算法檢測(cè)中主要檢測(cè)香煙及手部部分來(lái)判斷是否在駕駛過(guò)程中有抽煙行為。

圖3 司機(jī)駕駛過(guò)程中使用手機(jī)樣例圖

圖4 司機(jī)抽煙樣例圖

3.2 實(shí)驗(yàn)結(jié)果與分析

為了證明本文設(shè)計(jì)多級(jí)級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)在司機(jī)違規(guī)行為識(shí)別的有效性，進(jìn)行了以下六組實(shí)驗(yàn)：

(1) 只采用三級(jí)級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型與LeNet-5算法的對(duì)比；

(2) 只采用三級(jí)級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型與AlexNet算法的對(duì)比；

(3) 本文設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)融合模型與LeNet-5的對(duì)比；

(4) 本文設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)融合模型與與AlexNet的對(duì)比；

(5) 本文設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)融合模型與只采用三級(jí)級(jí)聯(lián)的神經(jīng)網(wǎng)絡(luò)算法對(duì)比；

(6) 本身設(shè)計(jì)的算法在不同激活函數(shù)下的對(duì)比。

下面將對(duì)實(shí)驗(yàn)進(jìn)行詳細(xì)分析：

從圖5可以看出，只采用三級(jí)級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，隨著迭代次數(shù)的增加，當(dāng)?shù)? 000次左右能達(dá)到最大準(zhǔn)確率，而基于LeNet-5算法的結(jié)構(gòu)需要迭代4 000次左右準(zhǔn)確率才能達(dá)到最高，達(dá)到最大準(zhǔn)確率所需的迭代次數(shù)前者要小于后者。

圖5 LeNet-5算法和三級(jí)級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)隨迭代次數(shù)變化

圖6為只采用三級(jí)級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)算法在性能上與LeNet-5和AlexNet模型結(jié)構(gòu)算法的對(duì)比。從圖中可以看出，三級(jí)級(jí)聯(lián)的卷積神經(jīng)網(wǎng)絡(luò)在準(zhǔn)確率方面要好于LeNet-5與AlexNet，原因在于三級(jí)級(jí)聯(lián)的卷積神經(jīng)網(wǎng)絡(luò)中，前兩級(jí)神經(jīng)網(wǎng)絡(luò)已經(jīng)過(guò)濾掉大量的司機(jī)正常駕駛行為數(shù)據(jù)，因此到第三級(jí)神經(jīng)網(wǎng)絡(luò)識(shí)別時(shí)就能很輕易地識(shí)別出異常司機(jī)駕駛行為，從而準(zhǔn)確率要優(yōu)于LetNet-5與AlexNet。

圖6 各算法準(zhǔn)確率比較

圖7為本文提出的神經(jīng)網(wǎng)絡(luò)融合模型與三級(jí)級(jí)聯(lián)的卷積神經(jīng)網(wǎng)絡(luò)對(duì)比，隨著迭代次數(shù)的增加，當(dāng)?shù)? 500次左右的時(shí)候本文提出的神經(jīng)網(wǎng)絡(luò)融合模型能達(dá)到最大準(zhǔn)確率，而三級(jí)級(jí)聯(lián)的神經(jīng)網(wǎng)絡(luò)要在3 000次左右。之所以神經(jīng)網(wǎng)絡(luò)融合的方法能更快收斂，是因?yàn)榻?jīng)過(guò)FCNN語(yǔ)義分割后，圖像變得更加簡(jiǎn)單，在隨后的分類中更加容易識(shí)別出任務(wù)特征。

圖7 本文方法和三級(jí)級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)隨迭代次數(shù)變化

從圖8中可以看出本文提出的神經(jīng)網(wǎng)絡(luò)融合的方法相對(duì)于其他方法，在準(zhǔn)確率方便表現(xiàn)出明顯的優(yōu)勢(shì)，證明了本文提出的神經(jīng)網(wǎng)絡(luò)融合的模型在司機(jī)違規(guī)行為識(shí)別方面是一個(gè)行之有效的模型。

圖8 本文提出的模型與其他模型比較

4 結(jié) 語(yǔ)

本文通過(guò)使用神經(jīng)網(wǎng)絡(luò)融合的架構(gòu)，結(jié)合FCNN網(wǎng)絡(luò)與三級(jí)級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)，在每級(jí)卷積神經(jīng)網(wǎng)絡(luò)中采用更好的激活函數(shù)，使用改進(jìn)后的卷積神經(jīng)網(wǎng)絡(luò)對(duì)司機(jī)駕駛行為如抽煙、玩手機(jī)進(jìn)行識(shí)別。通過(guò)對(duì)比實(shí)驗(yàn)可以看出，本文提出的方法相對(duì)于經(jīng)典的LetNet-5與AlexNet表現(xiàn)出了良好的性能。實(shí)驗(yàn)結(jié)果表明本文提出的方法較之對(duì)比實(shí)驗(yàn)中的方法更能有效地進(jìn)行司機(jī)違規(guī)行為識(shí)別。后續(xù)除了研究提高數(shù)據(jù)集的準(zhǔn)確率外，還需要優(yōu)化訓(xùn)練速度，比如充分利用多個(gè)GPU并行化訓(xùn)練模型或者使用分布式系統(tǒng)來(lái)部署TensorFlow以加快訓(xùn)練速度等。