改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)在車輛目標(biāo)識別中的應(yīng)用研究

劉 路

（桂林航天工業(yè)學(xué)院，廣西桂林 541004）

0 引言

近年來，智能識別和人工神經(jīng)網(wǎng)絡(luò)一直都是熱門的研究方向，先后有谷歌、百度、華為和阿里巴巴等知名企業(yè)加入到其研發(fā)的隊伍行列中。人工神經(jīng)網(wǎng)絡(luò)的研究涉及多學(xué)科多領(lǐng)域，應(yīng)用范圍也非常廣泛，并在不斷地擴(kuò)展變寬，包括智能識別、模型構(gòu)建、序列分析和生產(chǎn)控制等。在人工神經(jīng)網(wǎng)絡(luò)的研究領(lǐng)域，最熱門的研究對象當(dāng)屬神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法，其中，對前饋神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的研究尤為深入，而BP神經(jīng)網(wǎng)絡(luò)是前饋神經(jīng)網(wǎng)絡(luò)中最具代表性的網(wǎng)絡(luò)，對其改進(jìn)優(yōu)化的研究也是當(dāng)今的熱點(diǎn)之一。

目前，遙感圖像下車輛目標(biāo)的模式識別系統(tǒng)多數(shù)采用的是傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)，傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)算法是基于梯度的最速下降法，因而存在固有的缺陷，如網(wǎng)絡(luò)訓(xùn)練易陷入局部極小值、學(xué)習(xí)過程收斂速度緩慢、網(wǎng)絡(luò)的結(jié)構(gòu)難以確定、所設(shè)計網(wǎng)絡(luò)泛化能力不能保證等，這些缺陷一定程度上影響了車輛目標(biāo)模式識別系統(tǒng)的識別效率和準(zhǔn)確度。李友[1]提出將含有車輛的道路從衛(wèi)星圖像中截取出來，結(jié)合灰度等紋理特征和BP神經(jīng)網(wǎng)絡(luò)的方法檢測車輛目標(biāo)。陳雪云[2]針對傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)效率低下的問題，提出采用單純性體積紋理算子優(yōu)化訓(xùn)練樣本，減少訓(xùn)練成本。本文提出采用隨機(jī)梯度下降法和深層滑動神經(jīng)網(wǎng)絡(luò)算法對傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)進(jìn)行改進(jìn)，能有效提高車輛目標(biāo)識別系統(tǒng)的識別速度和精度。

1 傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)算法

傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)算法聚焦的對象是其網(wǎng)絡(luò)閉值和權(quán)值的學(xué)習(xí)[3]，概括來說BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程主要是由信號正傳播和誤差反傳播這兩個過程構(gòu)成。信號正傳播過程，首先是輸入信號從輸入層經(jīng)隱含層，傳遞至輸出層，從而在網(wǎng)絡(luò)輸出端產(chǎn)生關(guān)聯(lián)信號，若在輸出端所產(chǎn)生的關(guān)聯(lián)信號與期望相差過大，則進(jìn)入到誤差信號反傳播過程；誤差信號反傳播過程，與信號正傳播過程相反，誤差信號由輸出端開始反向逐層回傳，回傳過程中每層網(wǎng)絡(luò)的權(quán)值由誤差信號進(jìn)行修正，使輸出端的實際輸出信號在通過對網(wǎng)絡(luò)權(quán)值的多次修正后更接近期望值。BP算法的步驟如下。

（1）初始化權(quán)值：對權(quán)值矩陣賦隨機(jī)數(shù)。

（2）假設(shè)當(dāng)前計劃輸入為p個樣本，從1號樣本開始，逐個輸入學(xué)習(xí)樣本至P號。

（3）按從輸入層到輸出層的先后順序，計算網(wǎng)絡(luò)各層的輸出信號。

（4）求各層的反傳播誤差信號：

（5）記錄已學(xué)習(xí)過的樣本數(shù)p。如果p＜P，轉(zhuǎn)到第二步繼續(xù)計算；如果p＝P，轉(zhuǎn)到步驟（6）。

（6）按權(quán)值修正公式修正各層的權(quán)值和閾值。

2 改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)算法

深層滑動神經(jīng)網(wǎng)絡(luò)是一種新穎的深度學(xué)習(xí)方法[2]，其聚焦于若干局部關(guān)鍵區(qū)域，通過局部識別整體，因此不需要做全域的卷積，從而降低了計算量。深層滑動神經(jīng)網(wǎng)絡(luò)包括2個部分：特征提取部分和1個分類器部分。其特征分類器部分和傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)一樣，都是由感知器構(gòu)成；特征提取部分由2種網(wǎng)絡(luò)層交替組成：候選窗定位層、特征提取層、候選窗定位層、特征提取層……，每2層循環(huán)1次。

深層滑動神經(jīng)網(wǎng)絡(luò)與BP神經(jīng)網(wǎng)絡(luò)除結(jié)構(gòu)外最大的不同是輸入對象的不同。深層神經(jīng)滑動網(wǎng)絡(luò)特征提取部分是用候選窗提取出的目標(biāo)特征[4]，并作為分類器輸入。分類器就是BP神經(jīng)網(wǎng)絡(luò)，是利用隨機(jī)梯度下降法改進(jìn)BP神經(jīng)網(wǎng)絡(luò)，BP算法的改進(jìn)過程如下。

傳統(tǒng)BP算法在調(diào)整權(quán)值時候，訓(xùn)練易陷入局部極小值，學(xué)習(xí)過程收斂緩慢，時常出現(xiàn)訓(xùn)練過程發(fā)生震蕩的情況。為了提高網(wǎng)絡(luò)的訓(xùn)練速度，可以從權(quán)值調(diào)整這一環(huán)節(jié)出發(fā)，引入誤差函數(shù):

調(diào)整θ值，使得誤差函數(shù)最小化。誤差函數(shù)J(θ)構(gòu)成一個曲面或者曲線，目的是找到該群面的最低點(diǎn)。隨機(jī)梯度下降法的內(nèi)核在于可以假設(shè)站在誤差曲面上的隨機(jī)一點(diǎn)，若要想以最快的速度從該點(diǎn)達(dá)到誤差曲面的最低點(diǎn)，則要沿著坡度最大、最陡的路線行進(jìn)，即梯度的反方向，本質(zhì)上就是一個求偏導(dǎo)數(shù)的過程：

參數(shù)θ的更新過程可以描述為：

上述過程和傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)所使用的最大梯度下降法[5]相同，但在輸入樣本這一環(huán)節(jié)隨機(jī)梯度下降法和最大梯度下降法有所不同，最大梯度下降法輸入樣本采用的是順序輸入樣本的方式；隨機(jī)梯度下降法采用的是隨機(jī)選取樣本的方式[6]，把原樣本排序充分打亂后隨機(jī)挑選樣本作為輸入，這也充分體現(xiàn)了該算法的隨機(jī)性。改進(jìn)后的BP神經(jīng)網(wǎng)絡(luò)運(yùn)算流程如圖1所示。

圖1 隨機(jī)梯度下降法流程

利用隨機(jī)梯度下降法改進(jìn)后的BP算法的運(yùn)算步驟分成以下幾步。

（1）初始化權(quán)值矩陣。

（2）對權(quán)值矩陣賦予權(quán)值調(diào)整量ΔW。

（3）隨機(jī)選擇樣本的局部特征作為輸入。設(shè)置樣本計數(shù)器p。

（4）計算隱層、輸出層各單元輸出。

（5）計算目標(biāo)值和實際值的平方誤差。

（6）若ΔEi減小，則計算各層權(quán)值調(diào)整量并調(diào)整權(quán)值；否則，返回步驟（2）賦予新權(quán)值調(diào)整量－ΔW。

（7）記錄已學(xué)習(xí)過的樣本數(shù)p。如果p＜P，轉(zhuǎn)到步驟（2）繼續(xù)計算；如果p＝P，轉(zhuǎn)到步驟（6）。

3 基于改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)的車輛目標(biāo)識別算法

基于改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)的車輛目標(biāo)識別算法，主要技術(shù)手段是運(yùn)用候選窗特征提取算法提取出目標(biāo)車輛局部特征值，輸入到采用隨機(jī)梯度下降法改進(jìn)后的BP神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，從而達(dá)到通過車輛局部特征識別整體的目的。

3.1 候選窗定位車輛目標(biāo)

（1）確定候選窗口的尺寸

用于對改進(jìn)后的BP神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練的圖樣尺寸為21×21像素，所以候選窗口的尺寸大小和圖樣大小保持一致，也為21×21像素。

（2）定義初始變量

讀取圖樣，確定其大小為m×n后，定義行變量i和列變量j，初始值都為1。

（3）候選窗的循環(huán)檢測

候選窗的檢測順序遵循從上至下、從左到右的原則進(jìn)行逐個檢測，循環(huán)往復(fù)。檢測過程中，依據(jù)候選窗的識別定位結(jié)果，若識別為車輛目標(biāo)，則候選窗對該圖樣進(jìn)行記錄；若識別為非車輛目標(biāo)，則越過該圖樣繼續(xù)檢測下一圖樣，直到所識別的圖樣為車輛目標(biāo)后，對圖樣進(jìn)行記錄。

3.2 提取車輛局部紋理特征

在定位好的候選窗中，選取像素點(diǎn)（X，Y）作為圓心，設(shè)置采樣圓半徑R，一般選取候選窗中心像素點(diǎn)為圓心。以圓心作為頂點(diǎn)，連接任意2個采樣點(diǎn)（2個采樣點(diǎn)與圓心不能構(gòu)成直徑）圍成三角形，共有個三角形，利用秦九韶海倫公式計算所圍成的各三角形面積和圓域內(nèi)所有三角形區(qū)域內(nèi)灰度變化，找出差值最大的點(diǎn)，置該點(diǎn)對應(yīng)位置為1，否則置0。統(tǒng)計區(qū)域內(nèi)灰度變化差值最大點(diǎn)的數(shù)目，得出直方圖特征。

3.3 BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練

把候選窗提取出的局部紋理特征送入改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，通過隨機(jī)梯度下降法觀察誤差減小曲線，也可以通過調(diào)整圖像尺度，隱含層數(shù)，隱含層節(jié)點(diǎn)數(shù)和學(xué)習(xí)速率，使得網(wǎng)絡(luò)具有獲得較高精度的識別能力。

4 實驗分析

4.1 建立和標(biāo)定數(shù)據(jù)庫

樣本數(shù)量對神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效果有較大程度的影響，若訓(xùn)練樣本數(shù)量的選取過少，會導(dǎo)致網(wǎng)絡(luò)處于欠學(xué)習(xí)的狀態(tài)，影響神經(jīng)網(wǎng)絡(luò)的識別能力；反之，若樣本數(shù)量選取過多，不僅會增加訓(xùn)練成本，還會網(wǎng)絡(luò)發(fā)生過學(xué)習(xí)現(xiàn)象[7]。因此，訓(xùn)練樣本選取的關(guān)鍵在于盡可能挑選最具有代表性的樣本，以避免欠學(xué)習(xí)和過學(xué)習(xí)現(xiàn)象的發(fā)生，也可以節(jié)約訓(xùn)練成本。

本文所采用自行建立的車輛目標(biāo)數(shù)據(jù)庫為包括63張像素大小為1 368×972的照片，包含6 771輛汽車，所有的照片都具有相同的分辨率，均采自谷歌地球的美國舊金山市區(qū)。圖像中各車輛車身的長度約為42～58個像素，寬度約為30～40個像素。由于圖片中的車輛目標(biāo)都是由一系列的像素點(diǎn)集組成，因此車輛周邊環(huán)境對檢測結(jié)果的準(zhǔn)確性具有一定程度上影響。對此，樣本的采集需要包含多種車輛情況，例如單一車輛、屋檐下的車輛、道路旁的車輛和被樹木和其他建筑陰影遮擋的車輛等，所選取的圖樣需要包含車輛識別中絕大多數(shù)典型的車輛環(huán)境情況。采集的圖片如圖2所示。

圖2 采集的遙感路面

采集好圖片后，對圖片里同一目標(biāo)和非同一目標(biāo)進(jìn)行雙點(diǎn)標(biāo)定處理。對同一目標(biāo)的標(biāo)定，采取首尾標(biāo)定的方式，即在頭和尾處各點(diǎn)一點(diǎn)進(jìn)行連線；對非車輛樣本，采取垂直均勻標(biāo)定的方式，標(biāo)定的兩點(diǎn)以兩目標(biāo)之間最明顯的特征邊界為中心，在特征邊界中心點(diǎn)兩旁取距離相等的兩點(diǎn)進(jìn)行標(biāo)定，同時標(biāo)定的兩點(diǎn)必須要在不同目標(biāo)上。具體做法如圖3～4所示。

圖3 同一目標(biāo)的標(biāo)定

圖4 非同一目標(biāo)的標(biāo)定

標(biāo)定完成之后，選取3 000個標(biāo)定好的同一目標(biāo)樣本作為正樣本，建立正樣本數(shù)據(jù)庫。選取3 000個標(biāo)定好的非同一目標(biāo)樣本作為反樣本，建立反樣本數(shù)據(jù)庫，生成樣本數(shù)據(jù)庫庫的圖像大小為21×21。

4.2 BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化實驗

由于實驗設(shè)備的限制，本次實驗是從之前建立好的樣本庫中隨機(jī)選取200個正樣本和200個負(fù)樣本作為訓(xùn)練樣本，選20個正樣本和20個負(fù)樣本作為測試樣本，圖像尺度均為21×21，每次輸入圖像個數(shù)設(shè)為1，核函數(shù)選tanh核，隱含層數(shù)設(shè)為3，隱含層節(jié)點(diǎn)數(shù)為5，初始化步長為0.05，學(xué)習(xí)速率為0.02，迭代次數(shù)為4 000次。分別采用傳統(tǒng)的BP神網(wǎng)絡(luò)和改進(jìn)后的BP神經(jīng)網(wǎng)絡(luò)進(jìn)行實驗，計算各自的識別精度，繪制出誤差曲線，如圖5～6所示。圖5顯示測試誤差為11，識別精度為72.5%。圖6顯示測試誤差為6，識別精度為85%。由此可見，隨機(jī)梯度下降法改進(jìn)后的BP神經(jīng)網(wǎng)絡(luò)具有更加理想的精度和識別能力[8]。

圖5 傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)的實驗誤差曲線

圖6 改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)的實驗誤差曲線

5 結(jié)束語

本文針對傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)所表現(xiàn)出的缺陷，如易成局部極小而得不到全局最優(yōu)、訓(xùn)練次數(shù)多、學(xué)習(xí)效率低、收斂速度慢，提出用隨機(jī)梯度下降法改良傳統(tǒng)BP算法。中心思想是對誤差函數(shù)求偏導(dǎo)，把該偏導(dǎo)作為權(quán)值更新量生成新權(quán)值。本文所提出的改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)的車輛目標(biāo)識別算法，經(jīng)實驗證明，由該算法訓(xùn)練所得的BP神經(jīng)網(wǎng)絡(luò)相比于傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)，前者具有更高的識別精度，計算速度明顯高于傳統(tǒng)的BP算法，而且訓(xùn)練過程不會發(fā)生大幅度振蕩，不會影響到收斂速度。