• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的交通標(biāo)志識別

    2017-04-20 03:38:34王曉斌黃金杰劉文舉
    計算機(jī)應(yīng)用 2017年2期
    關(guān)鍵詞:交通標(biāo)志識別率分類器

    王曉斌,黃金杰,劉文舉

    (1.哈爾濱理工大學(xué) 自動化學(xué)院,哈爾濱 150080; 2.中國科學(xué)院 自動化研究所,北京 100190)

    (*通信作者電子郵箱lwj@nlpr.ia.ac.cn)

    基于優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的交通標(biāo)志識別

    王曉斌1,黃金杰1,劉文舉2*

    (1.哈爾濱理工大學(xué) 自動化學(xué)院,哈爾濱 150080; 2.中國科學(xué)院 自動化研究所,北京 100190)

    (*通信作者電子郵箱lwj@nlpr.ia.ac.cn)

    現(xiàn)有算法對交通標(biāo)志進(jìn)行識別時,存在訓(xùn)練時間短但識別率低,或識別率高但訓(xùn)練時間長的問題。為此,綜合批量歸一化(BN)方法、逐層貪婪預(yù)訓(xùn)練(GLP)方法,以及把分類器換成支持向量機(jī)(SVM)這三種方法對卷積神經(jīng)網(wǎng)絡(luò)(CNN)結(jié)構(gòu)進(jìn)行優(yōu)化,提出基于優(yōu)化CNN結(jié)構(gòu)的交通標(biāo)志識別算法。其中:BN方法可以用來改變中間層的數(shù)據(jù)分布情況,把卷積層輸出數(shù)據(jù)歸一化為均值為0、方差為1,從而提高訓(xùn)練收斂速度,減少訓(xùn)練時間;GLP方法則是先訓(xùn)練第一層卷積網(wǎng)絡(luò),訓(xùn)練完把參數(shù)保留,繼續(xù)訓(xùn)練第二層,保留參數(shù),直到把所有卷積層訓(xùn)練完畢,這樣可以有效提高卷積網(wǎng)絡(luò)識別率;SVM分類器只專注于那些分類錯誤的樣本,對已經(jīng)分類正確的樣本不再處理,從而提高了訓(xùn)練速度。使用德國交通標(biāo)志識別數(shù)據(jù)庫進(jìn)行訓(xùn)練和識別,新算法的訓(xùn)練時間相對于傳統(tǒng)CNN訓(xùn)練時間減少了20.67%,其識別率達(dá)到了98.24%。所提算法通過對傳統(tǒng)CNN結(jié)構(gòu)進(jìn)行優(yōu)化,極大地縮短了訓(xùn)練時間,并具有較高的識別率。

    卷積神經(jīng)網(wǎng)絡(luò); 批量歸一化;貪婪預(yù)訓(xùn)練; 支持向量機(jī)

    0 引言

    隨著我國經(jīng)濟(jì)的發(fā)展,交通越來越發(fā)達(dá),同時隨著私家車的增多,交通事故頻發(fā),安全駕駛問題越來越突出,于是智能交通系統(tǒng)應(yīng)運而生。交通標(biāo)志識別是智能交通系統(tǒng)的重要組成部分,在交通安全運行方面具有重大的現(xiàn)實意義,它能夠減少駕駛員的駕駛疲勞,更好地保證出行安全。在汽車運行過程中,交通標(biāo)志識別往往是在復(fù)雜的室外交通環(huán)境下進(jìn)行的,比一般靜止的事物識別更難,主要體現(xiàn)在:復(fù)雜多變的光照條件;背景環(huán)境干擾;交通標(biāo)志遮擋;交通標(biāo)志位置傾斜[1]。受干擾圖例如圖1所示。為了解決這些問題,大量的復(fù)雜算法被提出,造成識別率高但訓(xùn)練速度過慢,或者訓(xùn)練速度快但識別率低的問題,因此交通標(biāo)志快速訓(xùn)練與準(zhǔn)確識別是迫切需要解決的問題。

    目前已經(jīng)有很多傳統(tǒng)分類器,包括支持向量機(jī)(Support Vector Machine, SVM)[2]、貝葉斯分類器[3]、隨機(jī)森林分類器等被用于交通標(biāo)志識別。這些方法均先利用典型的特征描述方法如尺度不變特征變換(Scale-Invariant Feature Transform, SIFT)[4]、加速魯棒特征(Speeded Up Robust Feature, SURF)[5]、方向梯度直方圖(Histogram of Oriented Gradient, HOG)[6]等對訓(xùn)練樣本進(jìn)行低層次特征提取,包含角點、邊緣、紋理等,然后對這些特征進(jìn)行訓(xùn)練分類操作。這些特征描述方法主要是由人工設(shè)計的,設(shè)計它們需要大量的時間,盡管這些算法訓(xùn)練時間很短,但是識別率很低,不能實現(xiàn)準(zhǔn)確應(yīng)用。

    深度學(xué)習(xí)是目前在目標(biāo)識別方面應(yīng)用最多的方法。深度學(xué)習(xí)的實質(zhì)是通過構(gòu)建具有很多隱層的機(jī)器學(xué)習(xí)模型和訓(xùn)練數(shù)據(jù),自發(fā)地學(xué)習(xí)更高層次的特征,從而最終提升分類或預(yù)測的準(zhǔn)確性。和傳統(tǒng)的學(xué)習(xí)方法相比,深度學(xué)習(xí)更能夠刻畫數(shù)據(jù)豐富的內(nèi)在信息。本文主要使用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)[7]方法。

    圖1 受干擾圖例

    CNN是受生物的視覺系統(tǒng)啟發(fā)而形成的,是一個多層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),每個卷積層由一個濾波器層、一個非線性層、一個空間采樣層組成。CNN的主要優(yōu)點就是可以將數(shù)據(jù)直接輸入CNN模型而不進(jìn)行任何處理,它可以自動學(xué)習(xí)圖像特征,并且具有很強的魯棒性。Ciresan等[8]提出了多列卷積神經(jīng)網(wǎng)絡(luò)算法,一共有25個卷積網(wǎng)絡(luò)結(jié)構(gòu),每個卷積網(wǎng)絡(luò)用不同的方法進(jìn)行訓(xùn)練,結(jié)果取25個網(wǎng)絡(luò)的平均值,之后用這個模型對測試集進(jìn)行測試;Sermanet等[9]提出了多規(guī)模卷積網(wǎng)絡(luò),把卷積網(wǎng)絡(luò)的第二層特征和第三層特征聯(lián)合送入全連接層進(jìn)行分類;Krizhevsky等[10]提出用深度卷積神經(jīng)網(wǎng)絡(luò)對圖片進(jìn)行分類。在圖像數(shù)據(jù)庫比賽中,這些算法都獲得了比較高的識別率;但是這些算法的共同缺點是訓(xùn)練時間過長,需要大量的計算資源,其中Ciresan等[8]提出的方法訓(xùn)練時間達(dá)到37 h,浪費了大量資源。

    針對上述方法的缺點,本文對CNN結(jié)構(gòu)進(jìn)行了優(yōu)化,包括加入批量歸一化(Batch-Normalization, BN)[11]層,使用逐層貪婪預(yù)訓(xùn)練(Greedy Layer-wise Pretraining, GLP) 方法[12]進(jìn)行訓(xùn)練,同時在最后的分類層使用支持向量機(jī)(SVM)進(jìn)行分類。其中GLP能夠提高識別率,BN和SVM能夠加速深度學(xué)習(xí)訓(xùn)練過程。

    1 卷積神經(jīng)網(wǎng)絡(luò)

    1.1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

    CNN的兩大優(yōu)點就是局部感受野和權(quán)值共享。在傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中,一般都是全連接,導(dǎo)致參數(shù)非常巨大,訓(xùn)練困難,速度很慢。比如一幅n×n像素圖像輸入全連接網(wǎng)絡(luò),如果第一層神經(jīng)元個數(shù)是m個,因為是全連接,每個像素與每個神經(jīng)元全連接,就會有n×n×m個參數(shù),導(dǎo)致參數(shù)災(zāi)難,訓(xùn)練會非常困難,因此必須想辦法減少參數(shù)。對于CNN來說,一幅1 000×1 000像素的圖像,如果局部感受野范圍是50×50,那么僅僅會有50×50個參數(shù),這是一種特征,如果要識別一種圖像,可以設(shè)計100個濾波器,參數(shù)也僅僅是50×50×100,所以參數(shù)大幅減少,訓(xùn)練速度也會大大加快。

    CNN結(jié)構(gòu)由輸入層、卷積層和采樣層組成。圖2所示是交通標(biāo)志識別CNN結(jié)構(gòu),在圖中,輸入的是交通標(biāo)志的圖像,先經(jīng)過第一層卷積C1,濾波器個數(shù)是8個大小為5×5,形成8個特征映射圖,每個特征映射圖大小為44;然后再經(jīng)過采樣層S2,使用的采樣核大小為2×2,得到8個特征圖,特征圖大小是22;第二卷積層C3產(chǎn)生14個特征圖,卷積核大小3×3,產(chǎn)生14個特征圖大小是20;再經(jīng)過采樣,采樣核大小是2×2,產(chǎn)生14個特征圖,每個特征圖大小是10,把14個特征圖壓縮成一維連接起來與C5層120個神經(jīng)元全連接;最后一層是分類器,采用全連接方式進(jìn)行分類輸出。這就是一個完整的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

    圖2 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

    1.2 卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練

    CNN的訓(xùn)練過程主要采用的是反向傳播算法,首先輸入數(shù)據(jù),進(jìn)行前向計算,然后再反向計算誤差,并對誤差求各個權(quán)值和偏置的偏導(dǎo)數(shù),依靠這個偏導(dǎo)數(shù)調(diào)整各個權(quán)值和偏差。在開始訓(xùn)練前,所有的權(quán)值都應(yīng)該用不同的隨機(jī)數(shù)進(jìn)行初始化。選取的隨機(jī)數(shù)應(yīng)較小,以保證網(wǎng)絡(luò)不會因權(quán)值過大而進(jìn)入飽和狀態(tài),從而導(dǎo)致訓(xùn)練失??;“不同”則用來保證網(wǎng)絡(luò)可以正常地學(xué)習(xí)。下面是用交通標(biāo)志訓(xùn)練CNN的過程:

    第一階段,向前傳播階段:

    1)從交通標(biāo)志樣本中選取一部分標(biāo)志輸入網(wǎng)絡(luò);

    2)通過前向算法計算相應(yīng)的實際輸出標(biāo)志類別。

    第二階段,向后傳播階段:

    1)把前面計算的實際類別與真實交通標(biāo)志類別進(jìn)行比較,求偏差;

    2)按極小化誤差的方法反向傳播調(diào)整權(quán)矩陣。

    下面是具體的公式推導(dǎo):

    1)卷積層。

    b)殘差計算。卷積層的下一層是下采樣層,采用的是一對一非重疊采樣,故殘差計算更為簡單。第l層第j個特征圖的殘差計算公式如下:

    其中:第l層為卷積層,第l+1層為下采樣層,下采樣層與卷積層是一一對應(yīng)的;up(x)是將第l+1層的大小擴(kuò)展為和第l層大小一樣;下采樣層中的權(quán)重全都等于β(一個常量);f′(·)表示激活函數(shù)f(·)的偏導(dǎo)數(shù);“°”表示每個元素相乘。

    c)梯度計算。偏置參數(shù)b的導(dǎo)數(shù)為:

    參數(shù)k的導(dǎo)數(shù)為:

    2)采樣層。

    a)卷積計算。設(shè)第l層為下采樣層,第l-1層為卷積層,由于是一對一采樣,假設(shè)采樣大小為2×2,故計算公式為:

    其中:down(x)是將x中2×2的大小中像素值進(jìn)行求和。計算過程為對上一層卷積層2×2大小進(jìn)行求和然后乘以權(quán)重w,再加上一個偏置,再求取激活函數(shù)。

    b)殘差計算。在計算下采樣層梯度時,需要找到殘差圖中給定像素對應(yīng)于上一層的殘差圖中哪個區(qū)域塊,這樣才可以將殘差反向傳播回來。另外,需要乘以輸入?yún)^(qū)域塊和輸出像素之間連接的權(quán)值,這個權(quán)值實際上就是卷積核的權(quán)值。上述過程可以使用下面的Matlab函數(shù)公式實現(xiàn):

    其中:第l層為下采樣層,第l+1層為卷積層。

    c)梯度計算。偏置b的導(dǎo)數(shù),其公式的推導(dǎo)過程與卷積層一樣。權(quán)重β的導(dǎo)數(shù)計算公式如下:

    2 加速訓(xùn)練模塊和識別率模塊

    2.1 加速訓(xùn)練模塊——批量歸一化方法

    交通標(biāo)志識別主要使用CNN方法,CNN學(xué)習(xí)過程本質(zhì)就是為了學(xué)習(xí)數(shù)據(jù)分布,深度卷積網(wǎng)絡(luò)的訓(xùn)練是一個復(fù)雜的過程,只要網(wǎng)絡(luò)的前面幾層發(fā)生微小的改變,后面幾層就會被累積放大下去。一旦網(wǎng)絡(luò)某一層的輸入數(shù)據(jù)的分布發(fā)生改變,那么這一層網(wǎng)絡(luò)就需要學(xué)習(xí)這個新的數(shù)據(jù)分布。訓(xùn)練過程中,訓(xùn)練數(shù)據(jù)的每一層分布一直在發(fā)生變化,并且每一層所需要的學(xué)習(xí)率不一樣,通常需要使用最小的那個學(xué)習(xí)率才能保證損失函數(shù)有效下降,因此將會影響網(wǎng)絡(luò)的訓(xùn)練速度。而BN算法就是要解決在訓(xùn)練過程中,中間層數(shù)據(jù)分布發(fā)生變化的情況,BN算法使每一層的數(shù)據(jù)都?xì)w一化為均值為0、標(biāo)準(zhǔn)差為1,使數(shù)據(jù)穩(wěn)定,因此可以使用較大的學(xué)習(xí)率進(jìn)行訓(xùn)練,使網(wǎng)絡(luò)加快收斂,提高訓(xùn)練速度。BN算法主要使用如下公式進(jìn)行歸一化:

    (1)

    其中E[x(k)]指的是每一批訓(xùn)練數(shù)據(jù)x(k)的平均值;分母就是每一批數(shù)據(jù)x(k)的一個標(biāo)準(zhǔn)差。后面的處理也將利用式(1)對某一個層網(wǎng)絡(luò)的輸入數(shù)據(jù)作歸一化處理。需要注意的是,訓(xùn)練過程中采用批量隨機(jī)梯度下降方法。

    2.2 識別率模塊——逐層貪婪訓(xùn)練

    逐層貪婪預(yù)訓(xùn)練是一個層網(wǎng)絡(luò)預(yù)訓(xùn)練結(jié)構(gòu),逐層貪婪算法的主要思路是每次只訓(xùn)練網(wǎng)絡(luò)中的一層,即首先訓(xùn)練一個只含一個卷積層的網(wǎng)絡(luò),僅當(dāng)這層網(wǎng)絡(luò)訓(xùn)練結(jié)束之后才開始訓(xùn)練一個有兩個卷積層的網(wǎng)絡(luò),以此類推。在每一步中,把已經(jīng)訓(xùn)練好的前k-1層固定,然后增加第k層(也就是將已經(jīng)訓(xùn)練好的前k-1的輸出作為輸入)。每一層的訓(xùn)練是有監(jiān)督的(例如,將每一步的分類誤差作為目標(biāo)函數(shù)),這些各層單獨訓(xùn)練所得到的權(quán)重被用來初始化最終的深度網(wǎng)絡(luò)的權(quán)重,然后對整個網(wǎng)絡(luò)進(jìn)行“微調(diào)”(即把所有層放在一起來優(yōu)化有標(biāo)簽訓(xùn)練集上的訓(xùn)練誤差),這就是一個完整的逐層貪婪預(yù)訓(xùn)練(GLP)過程。

    3 實驗與分析

    本次實驗所用的計算機(jī)配置是CPUXeon2.60GHz,centos6.5操作系統(tǒng),同時還使用了K40c顯卡內(nèi)存12GB來加速訓(xùn)練。

    3.1 數(shù)據(jù)準(zhǔn)備

    本次實驗使用德國交通標(biāo)志數(shù)據(jù)集(GermanTrafficSignRecognitionBenchmark,GTSRB)[13],該數(shù)據(jù)集包含43類從德國真實交通環(huán)境中采集的交通標(biāo)志,整個數(shù)據(jù)集共51 839幅交通標(biāo)志圖像,其中訓(xùn)練集39 209幅,測試集12 630幅,每幅圖像只包含一個交通標(biāo)志;且數(shù)據(jù)集中包括大量低分辨率、不同光照強度、局部遮擋、視角傾斜、運動模糊等各種不利條件下的圖像,能夠較全面地反映現(xiàn)實情況,以及算法的應(yīng)用能力。GTSRB數(shù)據(jù)集包括六個大類:限速標(biāo)志、其他禁令標(biāo)志、解除禁令標(biāo)志、指示標(biāo)志、警告標(biāo)志、其他標(biāo)志。

    由于數(shù)據(jù)集中的原始圖像每幅圖像只包含一個交通標(biāo)志,而且有10%的冗余邊,每個圖像大小尺寸并不一樣,為了提高識別率,需對其進(jìn)行預(yù)處理。即先參考交通標(biāo)志說明文件把圖片中10%的冗余邊剪除,使交通標(biāo)志充滿整個圖像;然后將圖像進(jìn)行旋轉(zhuǎn)、平移和綻放,旋轉(zhuǎn)角度為-5°和5°,左、右各平移4個像素,縮放因子為0.9和1.1,擴(kuò)展成155 517張圖片。這樣更有利于訓(xùn)練過程,同時對測試集進(jìn)行更好的預(yù)測。接著將RGB圖像轉(zhuǎn)化成灰度圖像。筆者進(jìn)行了相關(guān)實驗,發(fā)現(xiàn)RGB圖像識別率和灰度圖像識別率大體一致,因此為了提高計算速度,使用灰度圖像進(jìn)行實驗。由于本文使用的是卷積神經(jīng)網(wǎng)絡(luò)方法,所有的圖像都必須大小一致,所以按照以往的經(jīng)驗把所有的圖像都轉(zhuǎn)化成48×48大小。卷積神經(jīng)網(wǎng)絡(luò)方法具有很強的魯棒性,因此并沒有使用具體的去噪方法進(jìn)行去噪。

    3.2 網(wǎng)絡(luò)結(jié)構(gòu)選擇

    在進(jìn)行實驗之前需要了解多少層卷積結(jié)構(gòu)才能使識別率最高,因為對于深度學(xué)習(xí)而言,隨著層數(shù)增加,結(jié)構(gòu)能力越強,將會導(dǎo)致數(shù)據(jù)過擬合;但如果層數(shù)太少,結(jié)構(gòu)能力太弱,又會導(dǎo)致數(shù)據(jù)欠擬合。這兩者都會導(dǎo)致訓(xùn)練錯誤率和測試錯誤率升高。為了選擇卷積層數(shù),使用逐層增加的方法,直到隨著層數(shù)增加,識別率不再明顯變化,就可以確定最優(yōu)層數(shù)。這里使用的數(shù)據(jù)還是德國交通標(biāo)志數(shù)據(jù)庫,分為訓(xùn)練集和測試集。在選擇之前,每一層濾波器都是使用108個,濾波器隨機(jī)初始化,實驗結(jié)果如圖3所示。從圖3中可以看出,隨著層數(shù)增加識別率逐漸增加,隨后不變或者下降。因此關(guān)于卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)選擇三層最為合適,識別率也最高。

    而關(guān)于濾波器個數(shù)選擇,同樣也是先參考文獻(xiàn)[9-10],選擇默認(rèn)卷積層數(shù)為3層,然后在這個基礎(chǔ)上再進(jìn)行實驗,結(jié)果如表1所示。從表1可以看出,盡管濾波器越多正確率越高,但是如果選擇90- 108- 108結(jié)構(gòu),會因為濾波器過多而使得計算復(fù)雜,訓(xùn)練時間過長。綜合考慮,選擇90- 108- 108,其中90代表第一層濾波器個數(shù),以此類推。

    圖3 識別率隨層數(shù)變化曲線

    表1 濾波器個數(shù)與正確率的關(guān)系

    Tab.1Relationshipbetweenthenumberoffiltersandcorrectrate

    尺寸正確率/%尺寸正確率/%50?90?13095.83108?130?15096.4190?108?10896.22130?160?19096.57

    在選擇好層數(shù)和濾波器個數(shù)后,在本次實驗中使用隱層層數(shù)為1;參考文獻(xiàn)[14],本次實驗使用隱層神經(jīng)元個數(shù)為500。

    3.3 訓(xùn)練速度對比

    本次實驗設(shè)計的網(wǎng)絡(luò)結(jié)構(gòu)是三層卷積神經(jīng)網(wǎng)絡(luò)、一個隱層和一個分類層,分類層分別使用softmax和SVM分類器,網(wǎng)絡(luò)訓(xùn)練時間分別是830.38min和664.91min。可以看出,使用SVM訓(xùn)練時間明顯比softmax訓(xùn)練時間短,因為對于softmax來說,當(dāng)某類的概率已經(jīng)大于0.9時,這就意味著分類正確,然而損失函數(shù)會繼續(xù)計算,直到概率接近1,這樣會造成計算資源的浪費;而SVM分類器只專注于那些分類錯誤的樣本,對已經(jīng)分類正確的樣本不再處理,從而能大幅提高訓(xùn)練速度,同時還能提高模型的泛化能力,提高識別率。因此后續(xù)實驗中的分類層采用SVM分類器。

    接下來實驗使用的網(wǎng)絡(luò)結(jié)構(gòu)包括三個卷積層、兩個隱層和一個分類層;而對比結(jié)構(gòu)也是三層卷積網(wǎng)絡(luò)結(jié)構(gòu),只是每一層卷積后都使用BN算法,然后是兩個隱層和一個分類層,其他參數(shù)兩個網(wǎng)絡(luò)結(jié)構(gòu)完全相同。結(jié)果顯示:使用BN算法前的訓(xùn)練時間為716.74min,而使用BN算法后的訓(xùn)練時間為568.6min??梢钥闯?,在網(wǎng)絡(luò)結(jié)構(gòu)中加入BN層后,訓(xùn)練時間變短,原因在于:1)BN算法對卷積后的輸出數(shù)據(jù)進(jìn)行了歸一化操作,使它們的均值為0、方差為1,因此不必像以前那樣遷就維度規(guī)模,可以使用大的學(xué)習(xí)率對網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行訓(xùn)練,收斂加快,達(dá)到最優(yōu)的訓(xùn)練時間也就變短;2)歸一化后使得更多的權(quán)重分界面落在了數(shù)據(jù)中,降低了過度擬合的可能性,因此一些防止過擬合但會降低速度的方法,例如dropout和權(quán)重衰減就可以不使用或者降低其權(quán)重,從而提高訓(xùn)練速度。

    3.4 識別率對比

    為了驗證加入逐層貪婪預(yù)訓(xùn)練 (GLP) 方法后比優(yōu)化前的三層卷積網(wǎng)絡(luò)更優(yōu),設(shè)計兩個結(jié)構(gòu)完全一致的網(wǎng)絡(luò),均包括三層卷積、一個隱層和一個分類層,只是在訓(xùn)練方法上不同。結(jié)果顯示:優(yōu)化前的識別率為97.36%,優(yōu)化后的識別率為98.03%??梢钥闯?,使用GLP方法的識別率比優(yōu)化前的三層卷積識別率要高。在訓(xùn)練深層網(wǎng)絡(luò)時,經(jīng)常會遇到局部極值問題或者梯度彌散問題,當(dāng)使用反向傳播方法計算導(dǎo)數(shù)時,隨著網(wǎng)絡(luò)深度的增加,反向傳播的梯度(從輸出層到網(wǎng)絡(luò)的最初幾層)的幅度值會急劇地減小,結(jié)果就造成了整體的損失函數(shù)相對于最初幾層的權(quán)重的導(dǎo)數(shù)非常小。這樣,當(dāng)使用梯度下降法時,最初幾層的權(quán)重變化非常緩慢,以至于它們不能夠從樣本中進(jìn)行有效的學(xué)習(xí)。因此,當(dāng)使用貪婪預(yù)訓(xùn)練方法時,相比隨機(jī)初始化而言,各層初始權(quán)重會位于參數(shù)空間中較好的位置上,然后可以從這些位置出發(fā)進(jìn)一步微調(diào)權(quán)重。從經(jīng)驗上來說,以這些位置為起點開始梯度下降更有可能收斂到比較好的局部極值點,從而使用逐層貪婪訓(xùn)練方法能夠更好地訓(xùn)練網(wǎng)絡(luò),使網(wǎng)絡(luò)達(dá)到最優(yōu)。

    盡管本文算法還沒有達(dá)到官網(wǎng)公布的最優(yōu)識別率,但是該算法對原始卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行了優(yōu)化,用逐層貪婪方法預(yù)訓(xùn)練網(wǎng)絡(luò),使網(wǎng)絡(luò)跳出局部極值;而且在卷積網(wǎng)絡(luò)中加入BN層,把原來的softmax分類器換成了SVM分類器,極大地縮減了訓(xùn)練時間,能快速收斂到最優(yōu)值。

    圖4是本次實驗訓(xùn)練測試曲線,可以看出,網(wǎng)絡(luò)在測試之前參數(shù)已經(jīng)訓(xùn)練到穩(wěn)定狀態(tài),證明結(jié)論是可信的。雖然Ciresan等[8]提出的CommitteeofCNNs算法有很高的識別率,然而該網(wǎng)絡(luò)需要用4塊GPU訓(xùn)練37h,訓(xùn)練前需進(jìn)行大量的預(yù)處理,操作復(fù)雜;而RandomForests算法、ANN算法、SVM算法盡管訓(xùn)練時間短,但識別率并不是很高(各算法的識別率對比如表2所示)。因此本文算法解決了識別率低、訓(xùn)練時間長的問題。交通標(biāo)志識別錯誤部分,主要是由自然條件比較差、分辨率太低造成的,今后應(yīng)該加強數(shù)據(jù)預(yù)處理,使數(shù)據(jù)更加清晰,易于識別。

    圖4 訓(xùn)練測試曲線

    表2 各算法識別率對比 %

    Tab.2 Comparison of recognition rates of different algorithms %

    4 結(jié)語

    本文提出了基于優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的交通標(biāo)志識別算法,并在德國交通標(biāo)志識別數(shù)據(jù)庫上進(jìn)行實驗,實驗結(jié)果表明該算法可以提高交通標(biāo)志的訓(xùn)練速度,同時提高識別率。本文算法主要對卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了三部分的優(yōu)化:第一,在每一層卷積后面加入了批量歸一化層;第二使用逐層貪婪預(yù)訓(xùn)練方法對網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行訓(xùn)練;第三使用支持向量機(jī)進(jìn)行分類。下一步工作的目標(biāo)是在更復(fù)雜的背景中,首先準(zhǔn)確地檢測出交通標(biāo)志,然后再識別出交通標(biāo)志,真正實現(xiàn)交通標(biāo)志的實時檢測與識別。

    )

    [1] 楊心.基于卷積神經(jīng)網(wǎng)絡(luò)的交通標(biāo)識識別研究與應(yīng)用 [D].大連: 大連理工大學(xué), 2014:3-4.(YANGX.Researchandapplicationoftrafficsignrecognitionbasedonconvolutionalneuralnetwork[D].Dalian:DalianUniversityofTechnology, 2014:3-4.)

    [2]GREENHALGHJ,MIRMEHDIM.Real-timedetectionandrecognitionofroadtrafficsigns[J].IEEETransactionsonIntelligentTransportationSystems, 2012, 13(4): 1498-1506.

    [3]MEUTERM,NUNNYC,GORMERSM,etal.Adecisionfusionandreasoningmoduleforatrafficsignrecognitionsystem[J].IEEETransactionsonIntelligentTransportationSystems, 2011, 12(4): 1126-1134

    [4]LOWEDG.Distinctiveimagefeaturesfromscale-invariantkeypoints[J].InternationalJournalofComputerVision, 2004, 60(2): 91-110.

    [5]BAYH,TUYTELAARST,VANGOOLL.SURF:SpeededUpRobustFeatures[C]//ECCV2006:Proceedingsofthe9thEuropeanConferenceonComputerVision,LNCS3951.Berlin:Springer-Verlag, 2006: 404-417.

    [6]DALALN,TRIGGSB.Histogramsoforientedgradientsforhumandetection[C]//CVPR’05:Proceedingsofthe2005IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition.Washington,DC:IEEEComputerSociety, 2005, 1: 886-893.

    [7]MATSUGUM,MORIK,MITARIY,etal.Subjectindependentfacialexpressionrecognitionwithrobustfacedetectionusingaconvolutionalneuralnetwork[J].NeuralNetworks— 2003Specialissue:AdvancesinNeuralNetworksResearch—IJCNN’03, 2003, 16(5/6): 555-559.

    [8]CIREAND,MEIERU,MASCIJ,etal.Multi-columndeepneuralnetworkfortrafficsignclassification[J].NeuralNetworks, 2012, 32: 333-338.

    [9]SERMANETP,LeCUNY.Trafficsignrecognitionwithmulti-scaleconvolutionalnetworks[C]//IJCNN2011:Proceedingsofthe2011InternationalJointConferenceonNeuralNetworks.Piscataway,NJ:IEEE, 2011: 2809-2813.

    [10]KRIZHEVSKYA,SUTSKEVERI,HINTONGE.ImageNetclassificationwithdeepconvolutionalneuralnetworks[J].AdvancesinNeuralInformationProcessingSystems, 2012, 25(2): 1097-1105.

    [11]IOFFES,SZEGEDYC.Batchnormalization:acceleratingdeepnetworktrainingbyreducinginternalcovariateshift[C]//ICML2015:ProceedingsofThe32ndInternationalConferenceonMachineLearning.NewYork:ACM, 2015: 448-456.

    [12]BENGIOY,LAMBLINP,POPOVICID,etal.Greedylayer-wisetrainingofdeepnetworks[C]//NIPS’06:Proceedingsofthe19thInternationalConferenceonAdvancesinNeuralInformationProcessingSystems.Cambridge,MA:MITPress, 2007: 153-160.

    [13]HOUBENS,STALLKAMPJ,SALMENJ,etal.Detectionoftrafficsignsinreal-worldimages:theGermantrafficsigndetectionbenchmark[C]//IJCNN2013:Proceedingsofthe2013InternationalJointConferenceonNeuralNetworks.Washington,DC:IEEEComputerSociety, 2013: 715-722.

    [14]QIANR,ZHANGB,YUEY,etal.Robustchinesetrafficsigndetectionandrecognitionwithdeepconvolutionalneuralnetwork[C]//ICNC2015:Proceedingsofthe2015InternationalConferenceonNaturalComputation.Washington,DC:IEEEComputerSociety, 2015: 791-796.

    ThisworkispartiallysupportedbytheNationalNaturalScienceFoundationofChina(61573357,61503382,61403370, 61273267).

    WANG Xiaobin, born in 1990, M.S.candidate.His research interests include image recognition, object detection.

    HUANG Jinjie, born in 1967, Ph.D., professor.His research interests include intelligent modeling, optimization control, pattern recognition.

    LIU Wenju, born in 1960, Ph.D., professor.His research interests include machine learning, speech enhancement, speech recognition, sound source localization, sound event detection, image recognition.

    Traffic sign recognition based on optimized convolutional neural network architecture

    WANG Xiaobin1, HUANG Jinjie1, LIU Wenju2*

    (1.SchoolofAutomation,HarbinUniversityofScienceandTechnology,HarbinHeilongjiang150080,China;2.InstituteofAutomation,ChineseAcademyofSciences,Beijing100190,China)

    In the existing algorithms for traffic sign recognition, sometimes the training time is short but the recognition rate is low, and other times the recognition rate is high but the training time is long.To resolve these problems, the Convolutional Neural Network (CNN) architecture was optimized by using Batch Normalization (BN) method, Greedy Layer-Wise Pretraining (GLP) method and replacing classifier with Support Vector Machine (SVM), and a new traffic sign recognition algorithm based on optimized CNN architecture was proposed.BN method was used to change the data distribution of the middle layer, and the output data of convolutional layer was normalized to the mean value of 0 and the variance value of 1, thus accelerating the training convergence and reducing the training time.By using the GLP method, the first layer of convolutional network was trained with its parameters preserved when the training was over, then the second layer was also trained with the parameters preserved until all the convolution layers were trained completely.The GLP method can effectively improve the recognition rate of the convolutional network.The SVM classifier only focused on the samples with error classification and no longer processed the correct samples, thus speeding up the training.The experiments were conducted on Germany traffic sign recognition benchmark, the results showed that compared with the traditional CNN, the training time of the new algorithm was reduced by 20.67%, and the recognition rate of the new algorithm reached 98.24%.The experimental results prove that the new algorithm greatly shortens the training time and reached a high recognition rate by optimizing the structure of the traditional CNN.

    Convolutional Neural Network (CNN); batch normalization; Greedy Layer-wise Pretraining (GLP); Support Vector Machine (SVM)

    2016- 07- 28;

    2016- 09- 21。 基金項目:國家自然科學(xué)基金資助項目(61573357, 61503382, 61403370, 61273267)。

    王曉斌(1990—),男,山東濰坊人,碩士研究生,主要研究方向:圖像識別、目標(biāo)檢測; 黃金杰(1967—),男,山東萊陽人,教授,博士,主要研究方向:智能建模、優(yōu)化控制、模式識別; 劉文舉(1960—),男,北京人,教授,博士,主要研究方向:機(jī)器學(xué)習(xí)、語音增強、語音識別、聲源定位、聲音事件檢測、圖像識別。

    1001- 9081(2017)02- 0530- 05

    10.11772/j.issn.1001- 9081.2017.02.0530

    TP391.41

    A

    猜你喜歡
    交通標(biāo)志識別率分類器
    交通標(biāo)志認(rèn)得清
    基于雙向特征融合的交通標(biāo)志識別
    基于類圖像處理與向量化的大數(shù)據(jù)腳本攻擊智能檢測
    基于真耳分析的助聽器配戴者言語可懂度指數(shù)與言語識別率的關(guān)系
    提升高速公路MTC二次抓拍車牌識別率方案研究
    BP-GA光照分類器在車道線識別中的應(yīng)用
    電子測試(2018年1期)2018-04-18 11:52:35
    加權(quán)空-譜與最近鄰分類器相結(jié)合的高光譜圖像分類
    結(jié)合模糊(C+P)均值聚類和SP-V-支持向量機(jī)的TSK分類器
    高速公路機(jī)電日常維護(hù)中車牌識別率分析系統(tǒng)的應(yīng)用
    交通標(biāo)志小課堂
    美女中出高潮动态图| 久热这里只有精品99| 国产精品一区二区免费欧美 | av欧美777| 99国产极品粉嫩在线观看| 久久性视频一级片| 亚洲第一av免费看| 精品国内亚洲2022精品成人 | 男女床上黄色一级片免费看| www日本在线高清视频| 亚洲一卡2卡3卡4卡5卡精品中文| 国产又爽黄色视频| 亚洲中文日韩欧美视频| 亚洲五月婷婷丁香| 国产av一区二区精品久久| 黄片播放在线免费| 免费看十八禁软件| videos熟女内射| 性少妇av在线| 国产欧美日韩一区二区三 | 啦啦啦中文免费视频观看日本| 俄罗斯特黄特色一大片| 蜜桃国产av成人99| 久久久久久久精品精品| 欧美日韩亚洲综合一区二区三区_| 在线亚洲精品国产二区图片欧美| 久久ye,这里只有精品| 亚洲欧美一区二区三区黑人| 中文字幕制服av| 在线观看舔阴道视频| 久久精品久久久久久噜噜老黄| 亚洲男人天堂网一区| 亚洲国产欧美网| 热99re8久久精品国产| 国产又色又爽无遮挡免| 欧美日韩精品网址| 熟女少妇亚洲综合色aaa.| 交换朋友夫妻互换小说| 日韩 欧美 亚洲 中文字幕| 亚洲自偷自拍图片 自拍| 女人精品久久久久毛片| 免费高清在线观看日韩| 国产日韩欧美亚洲二区| 亚洲欧美清纯卡通| 一本色道久久久久久精品综合| 男女边摸边吃奶| 啦啦啦免费观看视频1| 精品卡一卡二卡四卡免费| 99热国产这里只有精品6| 久久久水蜜桃国产精品网| 午夜两性在线视频| 午夜免费鲁丝| 中文字幕另类日韩欧美亚洲嫩草| 午夜福利视频在线观看免费| 国产亚洲一区二区精品| 亚洲精品久久午夜乱码| 久9热在线精品视频| 女性生殖器流出的白浆| 午夜影院在线不卡| 精品国产国语对白av| 最新在线观看一区二区三区| 黄色视频不卡| 在线观看www视频免费| 亚洲情色 制服丝袜| av超薄肉色丝袜交足视频| 国产日韩欧美亚洲二区| 一边摸一边抽搐一进一出视频| 青青草视频在线视频观看| 最黄视频免费看| 国产在线免费精品| 午夜影院在线不卡| 亚洲欧美精品综合一区二区三区| 正在播放国产对白刺激| 一进一出抽搐动态| 男女免费视频国产| 90打野战视频偷拍视频| 乱人伦中国视频| 老司机影院成人| 成年美女黄网站色视频大全免费| 日韩视频在线欧美| 啦啦啦啦在线视频资源| 久久国产亚洲av麻豆专区| 91麻豆av在线| 亚洲精品中文字幕一二三四区 | 久久人人爽av亚洲精品天堂| 国产成人一区二区三区免费视频网站| 人成视频在线观看免费观看| 久久久国产精品麻豆| 精品一品国产午夜福利视频| 老司机深夜福利视频在线观看 | 久久国产亚洲av麻豆专区| 国产区一区二久久| 国产黄频视频在线观看| 久久毛片免费看一区二区三区| 一区二区三区激情视频| 欧美大码av| 亚洲精品美女久久久久99蜜臀| 精品卡一卡二卡四卡免费| 99热网站在线观看| 久久精品国产亚洲av高清一级| 亚洲第一青青草原| 亚洲精品第二区| 精品一区在线观看国产| 久久精品亚洲av国产电影网| 亚洲精品美女久久av网站| 热re99久久精品国产66热6| 亚洲欧美日韩高清在线视频 | 国产精品一区二区在线不卡| 亚洲精品自拍成人| 亚洲久久久国产精品| 天天影视国产精品| 色婷婷久久久亚洲欧美| 国产精品一区二区在线不卡| a级片在线免费高清观看视频| 国产精品久久久久久精品古装| 欧美人与性动交α欧美软件| 可以免费在线观看a视频的电影网站| 欧美激情极品国产一区二区三区| 日本欧美视频一区| 欧美日韩黄片免| 色播在线永久视频| 亚洲免费av在线视频| 欧美亚洲 丝袜 人妻 在线| videosex国产| 午夜福利一区二区在线看| 黑人巨大精品欧美一区二区蜜桃| 黄色视频在线播放观看不卡| 亚洲国产中文字幕在线视频| 日韩大码丰满熟妇| 国产男女超爽视频在线观看| 巨乳人妻的诱惑在线观看| 一边摸一边做爽爽视频免费| 18禁裸乳无遮挡动漫免费视频| 99精国产麻豆久久婷婷| 欧美精品高潮呻吟av久久| 亚洲专区国产一区二区| 国产一区二区在线观看av| 欧美在线一区亚洲| 国产一区二区三区综合在线观看| 亚洲精品国产av蜜桃| 欧美亚洲日本最大视频资源| 超碰成人久久| 黄色毛片三级朝国网站| 人妻久久中文字幕网| 中文欧美无线码| 51午夜福利影视在线观看| 国产成人系列免费观看| 国产精品99久久99久久久不卡| 国产成人av激情在线播放| 爱豆传媒免费全集在线观看| 国产成人影院久久av| 99国产精品免费福利视频| 精品人妻一区二区三区麻豆| 一级黄色大片毛片| 一级毛片女人18水好多| 国产一区二区在线观看av| 永久免费av网站大全| 精品乱码久久久久久99久播| 婷婷色av中文字幕| 50天的宝宝边吃奶边哭怎么回事| 国产极品粉嫩免费观看在线| 日韩视频一区二区在线观看| 91字幕亚洲| 在线十欧美十亚洲十日本专区| 一级片'在线观看视频| 久久精品成人免费网站| 国产亚洲欧美在线一区二区| 精品人妻1区二区| av不卡在线播放| 少妇的丰满在线观看| 成人手机av| 亚洲精品美女久久久久99蜜臀| av在线app专区| 久久久久国产精品人妻一区二区| 亚洲国产欧美网| 男女国产视频网站| 欧美日韩福利视频一区二区| 国产精品影院久久| 精品卡一卡二卡四卡免费| 久久久国产一区二区| 久久香蕉激情| 欧美在线一区亚洲| 欧美日韩中文字幕国产精品一区二区三区 | 欧美国产精品va在线观看不卡| 我的亚洲天堂| 欧美另类一区| 精品熟女少妇八av免费久了| 亚洲九九香蕉| 亚洲成av片中文字幕在线观看| 男人舔女人的私密视频| 国产精品熟女久久久久浪| 亚洲国产精品一区三区| 婷婷丁香在线五月| 大型av网站在线播放| 欧美午夜高清在线| 欧美日韩亚洲高清精品| 一级黄色大片毛片| 中文字幕精品免费在线观看视频| 9色porny在线观看| 十八禁高潮呻吟视频| 黑人欧美特级aaaaaa片| 一区二区av电影网| tocl精华| av网站免费在线观看视频| 五月开心婷婷网| 亚洲久久久国产精品| 久久久欧美国产精品| 国产深夜福利视频在线观看| 国产在视频线精品| 91精品国产国语对白视频| 国产一区二区 视频在线| 一级片'在线观看视频| 久久久久久亚洲精品国产蜜桃av| bbb黄色大片| 首页视频小说图片口味搜索| av网站在线播放免费| 9色porny在线观看| 91精品国产国语对白视频| 久久精品国产综合久久久| 97人妻天天添夜夜摸| 国产成人免费无遮挡视频| 精品少妇内射三级| 亚洲中文日韩欧美视频| 久热爱精品视频在线9| 欧美日韩av久久| 美国免费a级毛片| 亚洲精品久久午夜乱码| 国产99久久九九免费精品| 国产精品免费大片| 国产亚洲午夜精品一区二区久久| 久久久久视频综合| 久久久久久亚洲精品国产蜜桃av| 一区二区av电影网| av片东京热男人的天堂| 老司机午夜十八禁免费视频| 99久久精品国产亚洲精品| 亚洲精品乱久久久久久| 自拍欧美九色日韩亚洲蝌蚪91| 汤姆久久久久久久影院中文字幕| 又大又爽又粗| 人人妻人人澡人人看| 首页视频小说图片口味搜索| 青草久久国产| 欧美xxⅹ黑人| 超碰成人久久| 91九色精品人成在线观看| 精品少妇久久久久久888优播| 黄色毛片三级朝国网站| 91精品国产国语对白视频| 在线观看免费高清a一片| 中文字幕高清在线视频| 色视频在线一区二区三区| 中文字幕最新亚洲高清| e午夜精品久久久久久久| 美女主播在线视频| 99久久国产精品久久久| 午夜福利在线观看吧| 欧美午夜高清在线| 日本欧美视频一区| 欧美+亚洲+日韩+国产| 丰满饥渴人妻一区二区三| 9191精品国产免费久久| 啦啦啦中文免费视频观看日本| 丝袜美足系列| 亚洲 欧美一区二区三区| 人人澡人人妻人| 午夜成年电影在线免费观看| 欧美日韩福利视频一区二区| 香蕉丝袜av| 国产精品一区二区在线观看99| 亚洲第一av免费看| 久久精品熟女亚洲av麻豆精品| 久久中文看片网| 久久国产精品男人的天堂亚洲| 成人国产一区最新在线观看| 国产一级毛片在线| 国产高清视频在线播放一区 | 久久午夜综合久久蜜桃| 中文字幕av电影在线播放| 高清在线国产一区| 丰满人妻熟妇乱又伦精品不卡| 久久免费观看电影| 电影成人av| 国产麻豆69| 国产成人啪精品午夜网站| 久久综合国产亚洲精品| 国产高清国产精品国产三级| 丁香六月欧美| 精品一区二区三区av网在线观看 | 一区二区三区精品91| 日本vs欧美在线观看视频| www.精华液| 久久久久久久精品精品| 国产亚洲精品一区二区www | 老司机午夜福利在线观看视频 | 两个人免费观看高清视频| 亚洲国产av新网站| 午夜福利在线观看吧| xxxhd国产人妻xxx| 久热这里只有精品99| 一本—道久久a久久精品蜜桃钙片| 亚洲精品第二区| 成年人免费黄色播放视频| 国产国语露脸激情在线看| 午夜福利视频精品| 嫩草影视91久久| 欧美激情高清一区二区三区| 一级片'在线观看视频| 国产精品99久久99久久久不卡| 国产主播在线观看一区二区| 亚洲一区二区三区欧美精品| 精品一区在线观看国产| 另类精品久久| 91成年电影在线观看| 老司机午夜十八禁免费视频| 欧美国产精品va在线观看不卡| 两个人免费观看高清视频| 亚洲五月婷婷丁香| 窝窝影院91人妻| 十八禁高潮呻吟视频| 国产福利在线免费观看视频| 欧美国产精品一级二级三级| 啦啦啦啦在线视频资源| 国产欧美日韩精品亚洲av| 最新在线观看一区二区三区| 日本五十路高清| 波多野结衣一区麻豆| 不卡av一区二区三区| 在线永久观看黄色视频| 国产精品偷伦视频观看了| 精品一区二区三区av网在线观看 | 日日爽夜夜爽网站| 不卡av一区二区三区| 每晚都被弄得嗷嗷叫到高潮| 精品一品国产午夜福利视频| 视频区欧美日本亚洲| 久久99一区二区三区| 永久免费av网站大全| 黄片大片在线免费观看| 久久性视频一级片| 日本撒尿小便嘘嘘汇集6| 日本vs欧美在线观看视频| 久久久精品94久久精品| 91精品国产国语对白视频| 亚洲午夜精品一区,二区,三区| 欧美日韩av久久| 亚洲专区字幕在线| 建设人人有责人人尽责人人享有的| 久久天堂一区二区三区四区| 99国产精品一区二区蜜桃av | a级毛片黄视频| av在线app专区| 日本黄色日本黄色录像| 91成人精品电影| 亚洲七黄色美女视频| 精品国内亚洲2022精品成人 | 大香蕉久久成人网| 亚洲av成人一区二区三| 在线观看免费视频网站a站| 欧美人与性动交α欧美精品济南到| 久久精品亚洲熟妇少妇任你| 成年人免费黄色播放视频| 亚洲精品国产一区二区精华液| 三上悠亚av全集在线观看| 亚洲欧美精品自产自拍| 大片电影免费在线观看免费| 女人被躁到高潮嗷嗷叫费观| 国产精品.久久久| 精品久久蜜臀av无| 黄色毛片三级朝国网站| 一二三四在线观看免费中文在| 在线亚洲精品国产二区图片欧美| 国产xxxxx性猛交| 蜜桃在线观看..| 久久毛片免费看一区二区三区| 十八禁网站网址无遮挡| 91成年电影在线观看| 久久久久久久久久久久大奶| 亚洲欧美成人综合另类久久久| 国产激情久久老熟女| 一级毛片精品| 老司机亚洲免费影院| 国产精品99久久99久久久不卡| 午夜免费成人在线视频| 欧美日韩中文字幕国产精品一区二区三区 | 大香蕉久久成人网| 少妇猛男粗大的猛烈进出视频| 亚洲精品久久成人aⅴ小说| 久久久精品国产亚洲av高清涩受| 老熟妇乱子伦视频在线观看 | 日韩制服骚丝袜av| 午夜两性在线视频| 欧美xxⅹ黑人| 精品高清国产在线一区| 午夜福利一区二区在线看| 操美女的视频在线观看| 国产亚洲一区二区精品| 亚洲七黄色美女视频| 午夜日韩欧美国产| 亚洲成av片中文字幕在线观看| 精品一区二区三区四区五区乱码| 丰满少妇做爰视频| 巨乳人妻的诱惑在线观看| 欧美激情高清一区二区三区| 免费不卡黄色视频| 男人爽女人下面视频在线观看| 国产日韩欧美在线精品| a在线观看视频网站| 亚洲精品久久午夜乱码| 少妇粗大呻吟视频| 国产91精品成人一区二区三区 | 久久久精品免费免费高清| 母亲3免费完整高清在线观看| 精品少妇久久久久久888优播| 亚洲伊人色综图| 成人手机av| 在线十欧美十亚洲十日本专区| 亚洲成av片中文字幕在线观看| 久久久精品国产亚洲av高清涩受| 在线 av 中文字幕| 国产欧美日韩精品亚洲av| 久久久久视频综合| 亚洲欧美日韩另类电影网站| 99精国产麻豆久久婷婷| 正在播放国产对白刺激| 亚洲精品一区蜜桃| 午夜福利在线观看吧| 午夜福利视频精品| 精品视频人人做人人爽| 一区二区av电影网| 欧美精品亚洲一区二区| 岛国毛片在线播放| 久久久久视频综合| 国产日韩欧美视频二区| 岛国毛片在线播放| 可以免费在线观看a视频的电影网站| 亚洲熟女毛片儿| 久久女婷五月综合色啪小说| 日本猛色少妇xxxxx猛交久久| 欧美亚洲日本最大视频资源| 19禁男女啪啪无遮挡网站| 成人国产av品久久久| 精品久久久久久电影网| 亚洲va日本ⅴa欧美va伊人久久 | 欧美日韩视频精品一区| 亚洲综合色网址| 人人妻人人澡人人爽人人夜夜| 国产欧美日韩一区二区精品| 精品高清国产在线一区| 国产真人三级小视频在线观看| 黄色片一级片一级黄色片| 秋霞在线观看毛片| 99国产综合亚洲精品| 我的亚洲天堂| 欧美97在线视频| 国产精品秋霞免费鲁丝片| 久久久久久免费高清国产稀缺| 亚洲九九香蕉| 久久人人爽av亚洲精品天堂| 日韩视频在线欧美| 精品一区二区三区四区五区乱码| 国产视频一区二区在线看| 久久中文字幕一级| 久久久久久久久免费视频了| 天天躁狠狠躁夜夜躁狠狠躁| 波多野结衣一区麻豆| 美女国产高潮福利片在线看| 日本黄色日本黄色录像| 成人影院久久| 国产亚洲av片在线观看秒播厂| 国产精品成人在线| 手机成人av网站| 久久国产精品大桥未久av| 伦理电影免费视频| 免费黄频网站在线观看国产| 99精品久久久久人妻精品| 97人妻天天添夜夜摸| 国产精品自产拍在线观看55亚洲 | a级片在线免费高清观看视频| 久久香蕉激情| 又紧又爽又黄一区二区| 99国产综合亚洲精品| 热re99久久国产66热| 久久久水蜜桃国产精品网| av网站在线播放免费| www.自偷自拍.com| av超薄肉色丝袜交足视频| 国产在视频线精品| 大香蕉久久网| 丰满迷人的少妇在线观看| 久久狼人影院| 日本一区二区免费在线视频| 亚洲三区欧美一区| 交换朋友夫妻互换小说| 欧美人与性动交α欧美软件| 日韩熟女老妇一区二区性免费视频| 国产亚洲午夜精品一区二区久久| 国产日韩欧美在线精品| 久久精品久久久久久噜噜老黄| 亚洲成人免费电影在线观看| 精品福利永久在线观看| 欧美国产精品va在线观看不卡| 久久国产精品大桥未久av| 亚洲精品久久午夜乱码| 亚洲精品久久成人aⅴ小说| 精品一区二区三区四区五区乱码| 国产精品一二三区在线看| 免费观看人在逋| 精品国内亚洲2022精品成人 | 亚洲人成77777在线视频| 青春草亚洲视频在线观看| 在线观看免费视频网站a站| 亚洲免费av在线视频| 久久人人97超碰香蕉20202| 制服诱惑二区| 黄网站色视频无遮挡免费观看| 51午夜福利影视在线观看| 一区二区三区四区激情视频| 搡老岳熟女国产| 99久久精品国产亚洲精品| 老熟妇仑乱视频hdxx| 免费看十八禁软件| 国产精品99久久99久久久不卡| 亚洲欧美一区二区三区黑人| 99久久99久久久精品蜜桃| 亚洲精品美女久久久久99蜜臀| 欧美大码av| 久久毛片免费看一区二区三区| 欧美黄色淫秽网站| 老熟妇仑乱视频hdxx| 久久精品成人免费网站| 9191精品国产免费久久| 亚洲中文av在线| 久久国产精品人妻蜜桃| 亚洲国产精品999| 人人澡人人妻人| 欧美午夜高清在线| 一级毛片电影观看| 国产精品久久久av美女十八| 精品一区二区三区四区五区乱码| 18禁观看日本| 久9热在线精品视频| 在线观看www视频免费| 亚洲五月婷婷丁香| 亚洲精品成人av观看孕妇| 69av精品久久久久久 | 日日摸夜夜添夜夜添小说| 久久精品国产亚洲av香蕉五月 | 国产又色又爽无遮挡免| 欧美国产精品一级二级三级| 亚洲国产看品久久| 亚洲精品国产一区二区精华液| 亚洲精品久久成人aⅴ小说| www.熟女人妻精品国产| 两个人免费观看高清视频| 91大片在线观看| 搡老岳熟女国产| 国产亚洲欧美精品永久| 少妇精品久久久久久久| 欧美黄色淫秽网站| 午夜精品国产一区二区电影| 亚洲色图 男人天堂 中文字幕| 久热爱精品视频在线9| 精品国产一区二区三区久久久樱花| 美女福利国产在线| 90打野战视频偷拍视频| 免费一级毛片在线播放高清视频 | xxxhd国产人妻xxx| 亚洲国产精品999| 一级毛片电影观看| 精品人妻在线不人妻| av一本久久久久| 国产一区有黄有色的免费视频| 日本一区二区免费在线视频| 国产免费一区二区三区四区乱码| 亚洲视频免费观看视频| 国产男女内射视频| 999久久久精品免费观看国产| 国产亚洲精品久久久久5区| 一本久久精品| 亚洲九九香蕉| 国产av国产精品国产| 免费在线观看完整版高清| av天堂久久9| 国产免费av片在线观看野外av| 欧美中文综合在线视频| 免费少妇av软件| 中文精品一卡2卡3卡4更新| 亚洲第一av免费看| 中文精品一卡2卡3卡4更新| 在线观看一区二区三区激情| 欧美黄色淫秽网站| 国产一区有黄有色的免费视频| 成人国语在线视频| 国产一区有黄有色的免费视频| 99久久精品国产亚洲精品| 亚洲伊人色综图| 99久久精品国产亚洲精品| videos熟女内射| 爱豆传媒免费全集在线观看| 国产一区有黄有色的免费视频| 中文字幕色久视频| 啦啦啦免费观看视频1| 精品欧美一区二区三区在线| 男人添女人高潮全过程视频| 亚洲avbb在线观看| 在线永久观看黄色视频| 国产精品一区二区在线不卡| 一区二区日韩欧美中文字幕| 一级片'在线观看视频| 一区二区日韩欧美中文字幕| 久久ye,这里只有精品| 1024香蕉在线观看| 淫妇啪啪啪对白视频 | 一级片免费观看大全|