• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于多重卷積神經(jīng)網(wǎng)絡(luò)的大模式聯(lián)機(jī)手寫文字識(shí)別

    2014-10-14 17:33葛明濤王小麗潘立武
    現(xiàn)代電子技術(shù) 2014年20期
    關(guān)鍵詞:模式識(shí)別卷積神經(jīng)網(wǎng)絡(luò)

    葛明濤+王小麗+潘立武

    摘 要: 聯(lián)機(jī)手寫識(shí)別在日常生產(chǎn)生活中有著廣闊的應(yīng)用,模式識(shí)別也一直把其作為研究的重點(diǎn)。傳統(tǒng)的識(shí)別方法是利用普通卷積神經(jīng)網(wǎng)絡(luò)技術(shù),該方法在對(duì)小規(guī)模字符集聯(lián)機(jī)手寫文字識(shí)別時(shí)有著較高識(shí)別率,總體性能高,但在對(duì)大規(guī)模字符集識(shí)別時(shí),識(shí)別率則大大降低。提出一種基于多重卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別方法,旨在克服以往方法對(duì)大規(guī)模字符集識(shí)別時(shí)識(shí)別效率不高的問(wèn)題,提高大規(guī)模字符集聯(lián)機(jī)手寫文字的識(shí)別率。系統(tǒng)使用隨機(jī)對(duì)角Levenberg?Marquardt方法來(lái)優(yōu)化訓(xùn)練,通過(guò)使用UNIPEN訓(xùn)練集測(cè)試該方法識(shí)別準(zhǔn)確率可達(dá)89%,是一個(gè)有良好前景的聯(lián)機(jī)手寫識(shí)別方法。

    關(guān)鍵詞: 模式識(shí)別; 神經(jīng)網(wǎng)絡(luò); 卷積; 文字識(shí)別

    中圖分類號(hào): TN711?34; TP391.4 文獻(xiàn)標(biāo)識(shí)碼: A 文章編號(hào): 1004?373X(2014)20?0019?03

    Large pattern online handwriting character recognition based on multi?convolution neural network

    GE Ming?tao1, WANG Xiao?li1, PAN Li?wu2

    (1. SIAS International School, Zhengzhou University, Zhengzhou 451150, China;

    2. Henan University of Animal Husbandry and Economy, Zhengzhou 450011, China)

    Abstract: Online handwriting character recognition is an important field in the research of pattern recognition. The traditional recognition method is based on the common convolutional neural networks (CNNs) technology. It has an efficient recognition rate for the small pattern character set online handwriting characters, but has low recognition rate for the large pattern character set recognition. A recognition method based on multi?convolutional neural networks (MCNNs) is presented in this paper to overcome the situation that the previous methods have the low recognition rate for large pattern character set and improve the recognition rate for the large pattern handwriting character set recognition. The stochastic diagonal Levenbert?Marquardt method is used in the system for training optimization. The experimental results show that the proposed method has the recognition rate of 89% and has a good prospect for online handwriting character recognition for large scale pattern.

    Keywords: pattern recognition; neural network; convolution; character recognition

    0 引 言

    隨著全球信息化的飛速發(fā)展和對(duì)自動(dòng)化程度要求的不斷提高 ,手寫文字識(shí)別技術(shù)被廣泛地應(yīng)用到許多方面。特別是近幾年擁有手寫功能的手機(jī)、平板電腦等智能電子產(chǎn)品的普及,聯(lián)機(jī)手寫文字識(shí)別研究已經(jīng)成為一個(gè)備受關(guān)注的主題。聯(lián)機(jī)手寫字符識(shí)別要求實(shí)時(shí)性較高,識(shí)別過(guò)程中要求特征空間的維數(shù)比較高,在進(jìn)行特征樣本訓(xùn)練時(shí)要求訓(xùn)練的數(shù)目很大,要匹配的特征值或特征對(duì)象比較多 [1?2]。

    卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNNs)的優(yōu)點(diǎn)在于圖像的識(shí)別過(guò)程中對(duì)視覺(jué)模式的獲得是直接從原始圖像中獲得的,所以在設(shè)計(jì)系統(tǒng)時(shí)圖像的預(yù)處理工作很少,與一般神經(jīng)網(wǎng)絡(luò)相比是一種高效的識(shí)別方法。卷積神經(jīng)網(wǎng)絡(luò)在模式識(shí)別的一些領(lǐng)域具有很好的魯棒性,如在識(shí)別有變化的模式和對(duì)幾何變形的識(shí)別方面。利用卷積神經(jīng)網(wǎng)絡(luò)的手寫識(shí)別方法具有如下一些優(yōu)點(diǎn):對(duì)于要檢測(cè)的圖像可以與事先制定網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)之間有較高的匹配率;特征提取和模式分類同時(shí)進(jìn)行;訓(xùn)練參數(shù)往往是系統(tǒng)計(jì)算量的重要參數(shù),而卷積神經(jīng)網(wǎng)絡(luò)中利用權(quán)值共享技術(shù),這樣就可以大大降低該參數(shù),在設(shè)計(jì)系統(tǒng)結(jié)構(gòu)時(shí)使得結(jié)構(gòu)變得更簡(jiǎn)單,從而使得整個(gè)系統(tǒng)具有更好的適應(yīng)性[3?5]。

    目前,人機(jī)交互系統(tǒng)的手寫字符識(shí)別、汽車車牌號(hào)識(shí)別和信息安全中常用的人臉識(shí)別等領(lǐng)域都有卷積神經(jīng)網(wǎng)絡(luò)的成功應(yīng)用。文獻(xiàn)[6]用一個(gè)4層的卷積神經(jīng)網(wǎng)絡(luò)LeNet?5對(duì)Mnist庫(kù)進(jìn)行識(shí)別實(shí)驗(yàn),獲得了98.4%的識(shí)別率,用2層的BP網(wǎng)絡(luò)的識(shí)別率[4,6]是87%。許多學(xué)者對(duì)卷積神經(jīng)網(wǎng)絡(luò)在聯(lián)機(jī)手寫文字識(shí)別方面做了多方位的研究。 但是,這些成功的聯(lián)機(jī)手寫文字識(shí)別主要是針對(duì)小模式字符集,利用以往的這些方法對(duì)大規(guī)模模式分類的聯(lián)機(jī)手寫文字的識(shí)別依然有識(shí)別率不高的問(wèn)題。本文介紹了卷積神經(jīng)網(wǎng)絡(luò)的基本概念和一種典型的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),給出了基于多重卷積神經(jīng)網(wǎng)絡(luò)的字符識(shí)別和詞語(yǔ)識(shí)別模型。通過(guò)使用大字符集的UNIPEN數(shù)據(jù)庫(kù)進(jìn)行訓(xùn)練和測(cè)試,本文提出的方法在大模式聯(lián)機(jī)手寫識(shí)別上,取得了較高的識(shí)別速度和滿意的識(shí)別率。

    1 卷積神經(jīng)網(wǎng)絡(luò)

    文獻(xiàn)[6?7]中詳細(xì)地描述了卷積神經(jīng)網(wǎng)絡(luò)如何保證圖像對(duì)位移、縮放、扭曲魯棒性能。典型的手寫字符卷積神經(jīng)網(wǎng)絡(luò)LeNET 5的結(jié)構(gòu)圖如圖1所示[6?7]。

    圖1 典型的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

    在圖1中,輸入層接收要識(shí)別32×32的手寫字符圖像,經(jīng)過(guò)簡(jiǎn)單的大小歸一化和圖像灰度處理,之后的結(jié)果作為一個(gè)采樣層的圖像;然后用一個(gè)可學(xué)習(xí)核進(jìn)行卷積操作,卷積結(jié)果經(jīng)過(guò)激活函數(shù)的輸出形成這一層的神經(jīng)元,每個(gè)神經(jīng)元與輸入圖像的一個(gè)5×5的鄰域相連接,從而得到由6幅特征圖組成的第一個(gè)隱層(C1層)。每個(gè)特征圖有25個(gè)權(quán)值(如方向線段,端點(diǎn)、角點(diǎn)等),考慮到邊界效果,得到的特征圖的大小是28×28,小于輸入圖層[3?9]。卷積層的數(shù)學(xué)計(jì)算過(guò)程可表示為:

    [xlj=fi∈Mjxl-1j*kernellij+blj] (1)

    式中:[l] 代表層數(shù);kernel是卷積核;[Mj]代表輸入特征圖的一個(gè)選擇。每個(gè)輸出圖有一個(gè)偏置[b]。

    每個(gè)卷積層的結(jié)果作為下一個(gè)次采樣層的輸入,次采樣層的作用是對(duì)輸入信息進(jìn)行抽樣操作。如果輸入的特征圖為n個(gè),則經(jīng)過(guò)次采樣層后特征圖的個(gè)數(shù)仍然為n,但是輸出的特征圖要變?。ɡ?,各維變?yōu)樵瓉?lái)的50%)。因此隱層S2是由6個(gè)大小為14×14的特征圖組成的次采樣層。次采樣層計(jì)算公式可以用式(2)表示:

    [xlj=fβl-1jdown(xl-1j)+blj] (2)

    式中down(·) 表示次采樣函數(shù)。次采樣函數(shù)一般是對(duì)該層輸入圖像的一個(gè)n×n大小的區(qū)域求和,因此,輸出圖像的大小是輸入圖像大小的[1n]。每一個(gè)輸出的特征圖有自己的β和b。

    類似的,C3層有16個(gè)10×10的特征圖組成的卷積層,特征圖的每個(gè)神經(jīng)元與S2網(wǎng)絡(luò)層的若干個(gè)特征圖的5×5的鄰域連接。網(wǎng)絡(luò)層S4是由16個(gè)大小為5×5的特征圖組成的次采樣層。特征圖的每個(gè)神經(jīng)元與C3層的一個(gè)2×2大小的鄰域相連接。網(wǎng)絡(luò)層C5是由120個(gè)特征圖組成的卷積層。每個(gè)神經(jīng)元與S4網(wǎng)絡(luò)層的所有特征圖的5×5大小的鄰域相連接。網(wǎng)絡(luò)層F6,包括84個(gè)神經(jīng)元,與網(wǎng)絡(luò)層C5進(jìn)行全連接。最后,輸出層有10個(gè)神經(jīng)元,是由徑向基函數(shù)單元(RBF)組成,輸出層的每個(gè)神經(jīng)元對(duì)應(yīng)一個(gè)字符類別。RBF單元的輸出yi的計(jì)算方法如式(3)所示:

    [yi=j(xj-wij)2] (3)

    很多研究人員通過(guò)對(duì)字符集作彈性訓(xùn)練,經(jīng)測(cè)試發(fā)現(xiàn)在MNIST字符集上的識(shí)別率可以高達(dá)99%以上[6?7] 。卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)主要是對(duì)小模式集上,如對(duì)數(shù)字或26個(gè)英文字母組成的集合都有著較高的識(shí)別率。然而,對(duì)大模式集的識(shí)別仍然是一個(gè)挑戰(zhàn),因?yàn)樵O(shè)計(jì)一個(gè)優(yōu)化的并足夠大的單一網(wǎng)絡(luò)是比較困難的,且訓(xùn)練時(shí)間也較長(zhǎng)。因此,本文的目的旨在通過(guò)組合多個(gè)對(duì)某一字符集有高識(shí)別率的卷積神經(jīng)網(wǎng)絡(luò),從而構(gòu)成多重卷積神經(jīng)網(wǎng)絡(luò),進(jìn)而提高卷積神經(jīng)網(wǎng)絡(luò)對(duì)大模式集手寫字符的識(shí)別率。

    2 多重卷積神經(jīng)網(wǎng)絡(luò)

    2.1 多重卷積神經(jīng)網(wǎng)絡(luò)字符識(shí)別

    根據(jù)傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的運(yùn)算過(guò)程以及其在處理大模式集手寫字符時(shí)存在的不足,本文提出一種多重卷積神經(jīng)網(wǎng)絡(luò)來(lái)改進(jìn)傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)模型,用多個(gè)擁有高識(shí)別率的小卷積神經(jīng)網(wǎng)絡(luò)組成一個(gè)多重卷積神經(jīng)網(wǎng)絡(luò)。每一重小卷積神經(jīng)網(wǎng)絡(luò)對(duì)某一具體字符集有較高的識(shí)別率,另外,單重卷積神經(jīng)網(wǎng)絡(luò)除了有一個(gè)正式的輸出集之外,還產(chǎn)生一個(gè)未知的輸出(即難以識(shí)別的字符),即如果一個(gè)輸入字符沒(méi)有被正確識(shí)別,它將被輸出為一個(gè)未知字符,然后輸入模式轉(zhuǎn)到下一重卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行識(shí)別。最后,通過(guò)一個(gè)拼寫檢查模塊進(jìn)行判斷,選擇最好的結(jié)果輸出。系統(tǒng)的流程如圖2所示。

    其中CNN 1是識(shí)別手寫數(shù)字的卷積神經(jīng)網(wǎng)絡(luò),CNN 2是識(shí)別手寫小寫英文字母的卷積神經(jīng)網(wǎng)絡(luò),該模型具有極強(qiáng)的擴(kuò)展性,可以添加多任意模式的卷積神經(jīng)網(wǎng)絡(luò)(如中文,日文等)。

    圖2 多重卷積神經(jīng)網(wǎng)絡(luò)字符識(shí)別示意圖

    2.2 隨機(jī)對(duì)角Levenberg?Marquardt訓(xùn)練方法

    傳統(tǒng)的結(jié)構(gòu)比較簡(jiǎn)單、單一的卷積神經(jīng)網(wǎng)絡(luò)多采用基本的Back Propagation(BP)規(guī)則訓(xùn)練網(wǎng)絡(luò),往往需要幾百次迭代,網(wǎng)絡(luò)的收斂速度較慢。本文采用LeCun博士提出的隨機(jī)對(duì)角Levenberg?Marquardt 算法對(duì)網(wǎng)絡(luò)作訓(xùn)練,該算法需要的迭代次數(shù)明顯比基本的BP 算法少[4,9]。隨機(jī)對(duì)角Levenberg?Marquardt算法的公式為:

    [ηki=ε?2E?w2ij+μ] (4)

    式中[ε]是全局的學(xué)習(xí)率,一般取初始值0.01,太大會(huì)使網(wǎng)絡(luò)無(wú)法收斂,太小則會(huì)降低收斂速度,且使網(wǎng)絡(luò)更容易陷入局部極小值,訓(xùn)練過(guò)程中可以用啟發(fā)式規(guī)則改變[ε]的值,本文取最下值為5e-005; [?2E?w2ij]是一個(gè)估計(jì)值,根據(jù)訓(xùn)練集的大小可以調(diào)整樣本數(shù)量,文中隨機(jī)選取200個(gè)樣本估算它的值;[μ]用來(lái)避免[?2E?w2ij] 太小時(shí)[ηki]的變化過(guò)大 。

    2.3 多重卷積神經(jīng)網(wǎng)絡(luò)詞句識(shí)別

    本文提出的多重卷積神經(jīng)網(wǎng)絡(luò)對(duì)手寫詞語(yǔ)的識(shí)別方法可以簡(jiǎn)單地描述為:首先對(duì)輸入的手寫圖像進(jìn)行預(yù)處理和分割,然后通過(guò)多重卷積神經(jīng)網(wǎng)絡(luò)模塊分別進(jìn)行識(shí)別,最后采用單詞識(shí)別模塊對(duì)識(shí)別結(jié)果進(jìn)行判斷,選擇最好的結(jié)果輸出。其過(guò)程如圖3所示。

    圖3 多重卷積神經(jīng)網(wǎng)絡(luò)聯(lián)機(jī)手寫詞句識(shí)別過(guò)程

    本文提出的多重卷積神經(jīng)網(wǎng)絡(luò)聯(lián)機(jī)手寫文字識(shí)別方法克服了傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)文字識(shí)別的對(duì)字符集的限制,每一重卷積神經(jīng)網(wǎng)絡(luò)是一個(gè)針對(duì)小模式的卷積神經(jīng)網(wǎng)絡(luò),易于訓(xùn)練和優(yōu)化,更重要的是此方案的靈活性非常好易于調(diào)節(jié)參數(shù),可擴(kuò)展性強(qiáng)。每一重卷積神經(jīng)網(wǎng)絡(luò)都具有可重用能力,可以根據(jù)需要加載一個(gè)或多個(gè)網(wǎng)絡(luò),可以根據(jù)新的模式添加新的網(wǎng)絡(luò)而不需改變或重建原來(lái)的網(wǎng)絡(luò)。

    3 訓(xùn)練和實(shí)驗(yàn)

    為了評(píng)估多重卷積神經(jīng)網(wǎng)絡(luò)對(duì)基于大模式字符集的聯(lián)機(jī)手寫文字識(shí)別的性能,本系統(tǒng)采用MNIST和UNIPEN兩種不同的手寫字符訓(xùn)練集進(jìn)行測(cè)試。UNIPEN數(shù)據(jù)庫(kù)是在1992年舉行的IEEE IAPR會(huì)議上提出并建立的,其目的是創(chuàng)建一個(gè)大型的手寫體數(shù)據(jù)庫(kù)用于為在線手寫識(shí)別提供研究和開(kāi)發(fā)的基礎(chǔ),得到了多個(gè)知名公司或研究所的支持并完成了UNIPEN的規(guī)范設(shè)計(jì)。在進(jìn)行數(shù)據(jù)比對(duì)實(shí)驗(yàn)中,本文采用許多研究使用的MNIST手寫數(shù)字?jǐn)?shù)據(jù)庫(kù),該數(shù)據(jù)庫(kù)是NEC 研究中心設(shè)計(jì)的,是NIST(The National Institute of Standards and Technology)數(shù)據(jù)庫(kù)的一個(gè)子集,該訓(xùn)練集中有大量訓(xùn)練樣本和測(cè)試用例。本文默認(rèn)用以下定義:

    [識(shí)別率=正確識(shí)別數(shù)樣本總數(shù)×100%]

    [失誤率誤識(shí)率=錯(cuò)誤識(shí)別數(shù)樣本總數(shù)×100%]

    實(shí)驗(yàn)測(cè)試是在通用的臺(tái)式電腦上進(jìn)行的。整個(gè)識(shí)別原型系統(tǒng)采用C#編寫,運(yùn)行在.NetFrame 4.5平臺(tái)上。經(jīng)測(cè)試對(duì)MNIST訓(xùn)練集識(shí)別正確率可達(dá)[9]99%,對(duì)UNIPEN數(shù)字識(shí)別正確率可達(dá)97%,對(duì)UNIPEN數(shù)字和大寫字母識(shí)別正確率可達(dá)89%(1a,1b) ,對(duì)UNIPEN小寫字母識(shí)別正確率可達(dá)89%(1c) 。圖4是對(duì)UNIPEN小寫字母3次訓(xùn)練的均方誤差比較。

    圖4 訓(xùn)練的誤差數(shù)據(jù)

    從圖4中可以看出,在開(kāi)始的幾個(gè)訓(xùn)練周期內(nèi),均方誤差(MSE)下降得很快,然后在第13個(gè)周期后神經(jīng)網(wǎng)絡(luò)達(dá)到一個(gè)穩(wěn)定的值,約為0.148 5。也就是說(shuō),網(wǎng)絡(luò)在第13個(gè)周期后,改善程度就很小。所以修改訓(xùn)練錯(cuò)誤率的值為0.000 45后重新進(jìn)行18代的第二次訓(xùn)練,均方誤差有所降低。經(jīng)過(guò)第三次的訓(xùn)練后趨于穩(wěn)定,對(duì)UNIPEN小寫字母識(shí)別正確率可達(dá)89%。經(jīng)測(cè)試,通過(guò)使用隨機(jī)對(duì)角Levenberg?Marquardt方法,收斂速度比基本BP算法快了許多,經(jīng)過(guò)68代訓(xùn)練后識(shí)別正確率可達(dá)89%。

    4 結(jié) 語(yǔ)

    本文提出了基于多重卷積神經(jīng)網(wǎng)絡(luò)的聯(lián)機(jī)手寫字符的識(shí)別方法,通過(guò)使用多個(gè)識(shí)別率高的卷積神經(jīng)網(wǎng)絡(luò)和隨機(jī)對(duì)角 Levenberg? Marquardt方法,可以適用于大模式聯(lián)機(jī)手寫識(shí)別。經(jīng)過(guò)實(shí)驗(yàn)數(shù)據(jù)比較,該方法在大模式聯(lián)機(jī)手寫識(shí)別過(guò)程中具有很高的識(shí)別率,與此同時(shí)識(shí)別速度也很快,有很好的實(shí)時(shí)性,總體效果很好。在當(dāng)今觸摸屏應(yīng)用遍及生產(chǎn)生活的各個(gè)方面的趨勢(shì)下,該方法有著廣闊的應(yīng)用前景。同時(shí)此方法為今后多手寫漢字識(shí)別的研究提供了很好的借鑒。

    注:本文通訊作者為潘立武。

    參考文獻(xiàn)

    [1] 吳鳴銳,張鈸.一種用于大規(guī)模模式識(shí)別問(wèn)題的神經(jīng)網(wǎng)絡(luò)算法[J].軟件學(xué)報(bào),2001,12(6):851?855.

    [2] 張輝.大規(guī)模聯(lián)機(jī)手寫漢字識(shí)別數(shù)據(jù)庫(kù)整理、統(tǒng)計(jì)與實(shí)驗(yàn)分析[D].廣州:華南理工大學(xué),2012.

    [3] 徐姍姍,劉應(yīng)安,徐昇,等.基于卷積神經(jīng)網(wǎng)絡(luò)的木材缺陷識(shí)別[J].山東大學(xué)學(xué)報(bào):工學(xué)版,2013,43(2):23?28.

    [4] 呂剛.基于卷積神經(jīng)網(wǎng)絡(luò)的多字體字符識(shí)別[J].浙江師范大學(xué)學(xué)報(bào):自然科學(xué)版,2011,34(4):425?428.

    [5] PHAM D V. Online handwriting recognition using multi convolution neural networks [M]. Berlin Heidelberg: Springer, 2012: 310?319.

    [6] LECUN Y, BOTTOU L, BENGIO Y, et al. Gradient?based learning applied to document recognition [C]// Proceeding of IEEE. USA: IEEE, 1998: 2278?2324.

    [7] SIMARD P Y, STEINKRAUS Dave, PLATT John. Best practices for convolutional neural networks applied to visual document analysis [C]// International Conference on Document Analysis and Recognition (ICDAR). Los Alamitos: IEEE Computer Society, 2003: 958?962.

    [8] SERMANET P, CHINTALA S, LECUN Y. Convolutional neural networks applied to house numbers digit classification [C]// International Conference on Pattern Recognition. [S.l.]: IEEE, 2012: 3288?3291.

    [9] LECUN Y, BOTTOU L, ORR G B, et al. Efficient BackProp in neural networks: tricks of the trade, LNCS [M]. Heidelberg: Springer, 1998, 1524: 9?50.

    3 訓(xùn)練和實(shí)驗(yàn)

    為了評(píng)估多重卷積神經(jīng)網(wǎng)絡(luò)對(duì)基于大模式字符集的聯(lián)機(jī)手寫文字識(shí)別的性能,本系統(tǒng)采用MNIST和UNIPEN兩種不同的手寫字符訓(xùn)練集進(jìn)行測(cè)試。UNIPEN數(shù)據(jù)庫(kù)是在1992年舉行的IEEE IAPR會(huì)議上提出并建立的,其目的是創(chuàng)建一個(gè)大型的手寫體數(shù)據(jù)庫(kù)用于為在線手寫識(shí)別提供研究和開(kāi)發(fā)的基礎(chǔ),得到了多個(gè)知名公司或研究所的支持并完成了UNIPEN的規(guī)范設(shè)計(jì)。在進(jìn)行數(shù)據(jù)比對(duì)實(shí)驗(yàn)中,本文采用許多研究使用的MNIST手寫數(shù)字?jǐn)?shù)據(jù)庫(kù),該數(shù)據(jù)庫(kù)是NEC 研究中心設(shè)計(jì)的,是NIST(The National Institute of Standards and Technology)數(shù)據(jù)庫(kù)的一個(gè)子集,該訓(xùn)練集中有大量訓(xùn)練樣本和測(cè)試用例。本文默認(rèn)用以下定義:

    [識(shí)別率=正確識(shí)別數(shù)樣本總數(shù)×100%]

    [失誤率誤識(shí)率=錯(cuò)誤識(shí)別數(shù)樣本總數(shù)×100%]

    實(shí)驗(yàn)測(cè)試是在通用的臺(tái)式電腦上進(jìn)行的。整個(gè)識(shí)別原型系統(tǒng)采用C#編寫,運(yùn)行在.NetFrame 4.5平臺(tái)上。經(jīng)測(cè)試對(duì)MNIST訓(xùn)練集識(shí)別正確率可達(dá)[9]99%,對(duì)UNIPEN數(shù)字識(shí)別正確率可達(dá)97%,對(duì)UNIPEN數(shù)字和大寫字母識(shí)別正確率可達(dá)89%(1a,1b) ,對(duì)UNIPEN小寫字母識(shí)別正確率可達(dá)89%(1c) 。圖4是對(duì)UNIPEN小寫字母3次訓(xùn)練的均方誤差比較。

    圖4 訓(xùn)練的誤差數(shù)據(jù)

    從圖4中可以看出,在開(kāi)始的幾個(gè)訓(xùn)練周期內(nèi),均方誤差(MSE)下降得很快,然后在第13個(gè)周期后神經(jīng)網(wǎng)絡(luò)達(dá)到一個(gè)穩(wěn)定的值,約為0.148 5。也就是說(shuō),網(wǎng)絡(luò)在第13個(gè)周期后,改善程度就很小。所以修改訓(xùn)練錯(cuò)誤率的值為0.000 45后重新進(jìn)行18代的第二次訓(xùn)練,均方誤差有所降低。經(jīng)過(guò)第三次的訓(xùn)練后趨于穩(wěn)定,對(duì)UNIPEN小寫字母識(shí)別正確率可達(dá)89%。經(jīng)測(cè)試,通過(guò)使用隨機(jī)對(duì)角Levenberg?Marquardt方法,收斂速度比基本BP算法快了許多,經(jīng)過(guò)68代訓(xùn)練后識(shí)別正確率可達(dá)89%。

    4 結(jié) 語(yǔ)

    本文提出了基于多重卷積神經(jīng)網(wǎng)絡(luò)的聯(lián)機(jī)手寫字符的識(shí)別方法,通過(guò)使用多個(gè)識(shí)別率高的卷積神經(jīng)網(wǎng)絡(luò)和隨機(jī)對(duì)角 Levenberg? Marquardt方法,可以適用于大模式聯(lián)機(jī)手寫識(shí)別。經(jīng)過(guò)實(shí)驗(yàn)數(shù)據(jù)比較,該方法在大模式聯(lián)機(jī)手寫識(shí)別過(guò)程中具有很高的識(shí)別率,與此同時(shí)識(shí)別速度也很快,有很好的實(shí)時(shí)性,總體效果很好。在當(dāng)今觸摸屏應(yīng)用遍及生產(chǎn)生活的各個(gè)方面的趨勢(shì)下,該方法有著廣闊的應(yīng)用前景。同時(shí)此方法為今后多手寫漢字識(shí)別的研究提供了很好的借鑒。

    注:本文通訊作者為潘立武。

    參考文獻(xiàn)

    [1] 吳鳴銳,張鈸.一種用于大規(guī)模模式識(shí)別問(wèn)題的神經(jīng)網(wǎng)絡(luò)算法[J].軟件學(xué)報(bào),2001,12(6):851?855.

    [2] 張輝.大規(guī)模聯(lián)機(jī)手寫漢字識(shí)別數(shù)據(jù)庫(kù)整理、統(tǒng)計(jì)與實(shí)驗(yàn)分析[D].廣州:華南理工大學(xué),2012.

    [3] 徐姍姍,劉應(yīng)安,徐昇,等.基于卷積神經(jīng)網(wǎng)絡(luò)的木材缺陷識(shí)別[J].山東大學(xué)學(xué)報(bào):工學(xué)版,2013,43(2):23?28.

    [4] 呂剛.基于卷積神經(jīng)網(wǎng)絡(luò)的多字體字符識(shí)別[J].浙江師范大學(xué)學(xué)報(bào):自然科學(xué)版,2011,34(4):425?428.

    [5] PHAM D V. Online handwriting recognition using multi convolution neural networks [M]. Berlin Heidelberg: Springer, 2012: 310?319.

    [6] LECUN Y, BOTTOU L, BENGIO Y, et al. Gradient?based learning applied to document recognition [C]// Proceeding of IEEE. USA: IEEE, 1998: 2278?2324.

    [7] SIMARD P Y, STEINKRAUS Dave, PLATT John. Best practices for convolutional neural networks applied to visual document analysis [C]// International Conference on Document Analysis and Recognition (ICDAR). Los Alamitos: IEEE Computer Society, 2003: 958?962.

    [8] SERMANET P, CHINTALA S, LECUN Y. Convolutional neural networks applied to house numbers digit classification [C]// International Conference on Pattern Recognition. [S.l.]: IEEE, 2012: 3288?3291.

    [9] LECUN Y, BOTTOU L, ORR G B, et al. Efficient BackProp in neural networks: tricks of the trade, LNCS [M]. Heidelberg: Springer, 1998, 1524: 9?50.

    3 訓(xùn)練和實(shí)驗(yàn)

    為了評(píng)估多重卷積神經(jīng)網(wǎng)絡(luò)對(duì)基于大模式字符集的聯(lián)機(jī)手寫文字識(shí)別的性能,本系統(tǒng)采用MNIST和UNIPEN兩種不同的手寫字符訓(xùn)練集進(jìn)行測(cè)試。UNIPEN數(shù)據(jù)庫(kù)是在1992年舉行的IEEE IAPR會(huì)議上提出并建立的,其目的是創(chuàng)建一個(gè)大型的手寫體數(shù)據(jù)庫(kù)用于為在線手寫識(shí)別提供研究和開(kāi)發(fā)的基礎(chǔ),得到了多個(gè)知名公司或研究所的支持并完成了UNIPEN的規(guī)范設(shè)計(jì)。在進(jìn)行數(shù)據(jù)比對(duì)實(shí)驗(yàn)中,本文采用許多研究使用的MNIST手寫數(shù)字?jǐn)?shù)據(jù)庫(kù),該數(shù)據(jù)庫(kù)是NEC 研究中心設(shè)計(jì)的,是NIST(The National Institute of Standards and Technology)數(shù)據(jù)庫(kù)的一個(gè)子集,該訓(xùn)練集中有大量訓(xùn)練樣本和測(cè)試用例。本文默認(rèn)用以下定義:

    [識(shí)別率=正確識(shí)別數(shù)樣本總數(shù)×100%]

    [失誤率誤識(shí)率=錯(cuò)誤識(shí)別數(shù)樣本總數(shù)×100%]

    實(shí)驗(yàn)測(cè)試是在通用的臺(tái)式電腦上進(jìn)行的。整個(gè)識(shí)別原型系統(tǒng)采用C#編寫,運(yùn)行在.NetFrame 4.5平臺(tái)上。經(jīng)測(cè)試對(duì)MNIST訓(xùn)練集識(shí)別正確率可達(dá)[9]99%,對(duì)UNIPEN數(shù)字識(shí)別正確率可達(dá)97%,對(duì)UNIPEN數(shù)字和大寫字母識(shí)別正確率可達(dá)89%(1a,1b) ,對(duì)UNIPEN小寫字母識(shí)別正確率可達(dá)89%(1c) 。圖4是對(duì)UNIPEN小寫字母3次訓(xùn)練的均方誤差比較。

    圖4 訓(xùn)練的誤差數(shù)據(jù)

    從圖4中可以看出,在開(kāi)始的幾個(gè)訓(xùn)練周期內(nèi),均方誤差(MSE)下降得很快,然后在第13個(gè)周期后神經(jīng)網(wǎng)絡(luò)達(dá)到一個(gè)穩(wěn)定的值,約為0.148 5。也就是說(shuō),網(wǎng)絡(luò)在第13個(gè)周期后,改善程度就很小。所以修改訓(xùn)練錯(cuò)誤率的值為0.000 45后重新進(jìn)行18代的第二次訓(xùn)練,均方誤差有所降低。經(jīng)過(guò)第三次的訓(xùn)練后趨于穩(wěn)定,對(duì)UNIPEN小寫字母識(shí)別正確率可達(dá)89%。經(jīng)測(cè)試,通過(guò)使用隨機(jī)對(duì)角Levenberg?Marquardt方法,收斂速度比基本BP算法快了許多,經(jīng)過(guò)68代訓(xùn)練后識(shí)別正確率可達(dá)89%。

    4 結(jié) 語(yǔ)

    本文提出了基于多重卷積神經(jīng)網(wǎng)絡(luò)的聯(lián)機(jī)手寫字符的識(shí)別方法,通過(guò)使用多個(gè)識(shí)別率高的卷積神經(jīng)網(wǎng)絡(luò)和隨機(jī)對(duì)角 Levenberg? Marquardt方法,可以適用于大模式聯(lián)機(jī)手寫識(shí)別。經(jīng)過(guò)實(shí)驗(yàn)數(shù)據(jù)比較,該方法在大模式聯(lián)機(jī)手寫識(shí)別過(guò)程中具有很高的識(shí)別率,與此同時(shí)識(shí)別速度也很快,有很好的實(shí)時(shí)性,總體效果很好。在當(dāng)今觸摸屏應(yīng)用遍及生產(chǎn)生活的各個(gè)方面的趨勢(shì)下,該方法有著廣闊的應(yīng)用前景。同時(shí)此方法為今后多手寫漢字識(shí)別的研究提供了很好的借鑒。

    注:本文通訊作者為潘立武。

    參考文獻(xiàn)

    [1] 吳鳴銳,張鈸.一種用于大規(guī)模模式識(shí)別問(wèn)題的神經(jīng)網(wǎng)絡(luò)算法[J].軟件學(xué)報(bào),2001,12(6):851?855.

    [2] 張輝.大規(guī)模聯(lián)機(jī)手寫漢字識(shí)別數(shù)據(jù)庫(kù)整理、統(tǒng)計(jì)與實(shí)驗(yàn)分析[D].廣州:華南理工大學(xué),2012.

    [3] 徐姍姍,劉應(yīng)安,徐昇,等.基于卷積神經(jīng)網(wǎng)絡(luò)的木材缺陷識(shí)別[J].山東大學(xué)學(xué)報(bào):工學(xué)版,2013,43(2):23?28.

    [4] 呂剛.基于卷積神經(jīng)網(wǎng)絡(luò)的多字體字符識(shí)別[J].浙江師范大學(xué)學(xué)報(bào):自然科學(xué)版,2011,34(4):425?428.

    [5] PHAM D V. Online handwriting recognition using multi convolution neural networks [M]. Berlin Heidelberg: Springer, 2012: 310?319.

    [6] LECUN Y, BOTTOU L, BENGIO Y, et al. Gradient?based learning applied to document recognition [C]// Proceeding of IEEE. USA: IEEE, 1998: 2278?2324.

    [7] SIMARD P Y, STEINKRAUS Dave, PLATT John. Best practices for convolutional neural networks applied to visual document analysis [C]// International Conference on Document Analysis and Recognition (ICDAR). Los Alamitos: IEEE Computer Society, 2003: 958?962.

    [8] SERMANET P, CHINTALA S, LECUN Y. Convolutional neural networks applied to house numbers digit classification [C]// International Conference on Pattern Recognition. [S.l.]: IEEE, 2012: 3288?3291.

    [9] LECUN Y, BOTTOU L, ORR G B, et al. Efficient BackProp in neural networks: tricks of the trade, LNCS [M]. Heidelberg: Springer, 1998, 1524: 9?50.

    猜你喜歡
    模式識(shí)別卷積神經(jīng)網(wǎng)絡(luò)
    基于3D-Winograd的快速卷積算法設(shè)計(jì)及FPGA實(shí)現(xiàn)
    神經(jīng)網(wǎng)絡(luò)抑制無(wú)線通信干擾探究
    從濾波器理解卷積
    基于傅里葉域卷積表示的目標(biāo)跟蹤算法
    淺談模式識(shí)別在圖像識(shí)別中的應(yīng)用
    第四屆亞洲模式識(shí)別會(huì)議
    基于神經(jīng)網(wǎng)絡(luò)的拉矯機(jī)控制模型建立
    復(fù)數(shù)神經(jīng)網(wǎng)絡(luò)在基于WiFi的室內(nèi)LBS應(yīng)用
    基于支持向量機(jī)回歸和RBF神經(jīng)網(wǎng)絡(luò)的PID整定
    第3屆亞洲模式識(shí)別會(huì)議
    久久久久国产精品人妻aⅴ院| 一个人免费在线观看的高清视频| 一级毛片女人18水好多| 高清毛片免费观看视频网站| 制服丝袜大香蕉在线| а√天堂www在线а√下载| 最近最新免费中文字幕在线| 日韩三级视频一区二区三区| 国产激情欧美一区二区| 久久久精品大字幕| 中文字幕久久专区| 欧美高清成人免费视频www| 日本熟妇午夜| www日本在线高清视频| 搞女人的毛片| 少妇熟女aⅴ在线视频| 熟女电影av网| 18禁观看日本| 在线视频色国产色| 丰满的人妻完整版| 亚洲国产欧美人成| 性色av乱码一区二区三区2| 亚洲国产欧美人成| 欧美成人午夜精品| 精品久久久久久久人妻蜜臀av| 免费看十八禁软件| 欧美日韩亚洲综合一区二区三区_| 久久久久久久精品吃奶| 午夜福利视频1000在线观看| 99精品久久久久人妻精品| 性欧美人与动物交配| 中文字幕最新亚洲高清| 国产成人精品久久二区二区免费| 亚洲国产精品合色在线| 又紧又爽又黄一区二区| 亚洲电影在线观看av| 国产av在哪里看| 国产精品久久久人人做人人爽| or卡值多少钱| 最近最新免费中文字幕在线| 人成视频在线观看免费观看| 999久久久精品免费观看国产| 亚洲自偷自拍图片 自拍| 免费观看精品视频网站| 99久久99久久久精品蜜桃| 成年版毛片免费区| 麻豆久久精品国产亚洲av| 亚洲成人精品中文字幕电影| 1024香蕉在线观看| 九九热线精品视视频播放| 久久精品国产亚洲av高清一级| 午夜福利视频1000在线观看| 最新在线观看一区二区三区| 久久热在线av| 欧美性长视频在线观看| 妹子高潮喷水视频| 午夜免费成人在线视频| 国产亚洲精品第一综合不卡| 在线国产一区二区在线| 亚洲欧美日韩高清在线视频| 91大片在线观看| 最近最新中文字幕大全电影3| 欧美成人免费av一区二区三区| 国产成人一区二区三区免费视频网站| 狂野欧美白嫩少妇大欣赏| 校园春色视频在线观看| 两个人看的免费小视频| 中文字幕最新亚洲高清| 国产精品永久免费网站| 少妇的丰满在线观看| 国产精品亚洲av一区麻豆| 午夜福利成人在线免费观看| 亚洲欧美精品综合久久99| 免费在线观看亚洲国产| 国产视频内射| 法律面前人人平等表现在哪些方面| 制服人妻中文乱码| 韩国av一区二区三区四区| 亚洲熟女毛片儿| 村上凉子中文字幕在线| 国产高清视频在线观看网站| 99久久无色码亚洲精品果冻| 淫妇啪啪啪对白视频| 日韩中文字幕欧美一区二区| 久久精品影院6| 久99久视频精品免费| 一级毛片高清免费大全| 国产真人三级小视频在线观看| 51午夜福利影视在线观看| 成熟少妇高潮喷水视频| 亚洲精品在线美女| 舔av片在线| 又爽又黄无遮挡网站| 在线十欧美十亚洲十日本专区| 一a级毛片在线观看| 欧美黑人巨大hd| www.熟女人妻精品国产| 午夜福利高清视频| 丝袜美腿诱惑在线| 国内久久婷婷六月综合欲色啪| 亚洲人成网站在线播放欧美日韩| 久久久国产精品麻豆| 最新在线观看一区二区三区| 一二三四在线观看免费中文在| 色综合亚洲欧美另类图片| 俺也久久电影网| 91老司机精品| 久久久国产欧美日韩av| 国产精品久久视频播放| 丁香六月欧美| 18禁黄网站禁片免费观看直播| 免费搜索国产男女视频| 亚洲精品av麻豆狂野| 欧美+亚洲+日韩+国产| 欧美日韩亚洲综合一区二区三区_| 婷婷丁香在线五月| 久久精品91蜜桃| 长腿黑丝高跟| 女人被狂操c到高潮| 亚洲国产精品合色在线| www.999成人在线观看| 中国美女看黄片| 一级片免费观看大全| 美女免费视频网站| 欧美黑人精品巨大| 美女午夜性视频免费| 成人欧美大片| 欧美精品啪啪一区二区三区| 精品国产超薄肉色丝袜足j| 午夜福利在线在线| 久久中文字幕人妻熟女| 亚洲欧美激情综合另类| 亚洲成av人片在线播放无| 悠悠久久av| 久久精品国产清高在天天线| 变态另类丝袜制服| 亚洲色图 男人天堂 中文字幕| 久久国产精品人妻蜜桃| 欧美 亚洲 国产 日韩一| 亚洲中文字幕一区二区三区有码在线看 | 国内少妇人妻偷人精品xxx网站 | 免费电影在线观看免费观看| 亚洲无线在线观看| 日本一二三区视频观看| 亚洲国产欧美网| 美女大奶头视频| 日本 欧美在线| 啦啦啦观看免费观看视频高清| 久久久久亚洲av毛片大全| 亚洲精品中文字幕一二三四区| www.熟女人妻精品国产| ponron亚洲| 黄频高清免费视频| 欧美大码av| 91字幕亚洲| 两个人视频免费观看高清| 亚洲天堂国产精品一区在线| 无遮挡黄片免费观看| 精品久久久久久久末码| 亚洲成av人片在线播放无| 一a级毛片在线观看| 香蕉国产在线看| 中文资源天堂在线| 99热只有精品国产| 久久草成人影院| 在线观看免费视频日本深夜| 19禁男女啪啪无遮挡网站| 国产精品亚洲av一区麻豆| 精品不卡国产一区二区三区| 亚洲九九香蕉| 欧美一级a爱片免费观看看 | 久久久精品大字幕| av在线播放免费不卡| 两性夫妻黄色片| 中文资源天堂在线| www.999成人在线观看| 亚洲成a人片在线一区二区| 欧美日韩精品网址| 一个人免费在线观看的高清视频| 精品第一国产精品| 国产一区二区在线观看日韩 | 久久久水蜜桃国产精品网| 国产精品亚洲av一区麻豆| 国产亚洲av高清不卡| 91成年电影在线观看| 亚洲精品国产一区二区精华液| 动漫黄色视频在线观看| 亚洲aⅴ乱码一区二区在线播放 | av视频在线观看入口| 国产成人av激情在线播放| 久久人人精品亚洲av| 免费看十八禁软件| 欧美 亚洲 国产 日韩一| 亚洲男人天堂网一区| 亚洲成a人片在线一区二区| 在线a可以看的网站| 视频区欧美日本亚洲| 国产v大片淫在线免费观看| 国产伦一二天堂av在线观看| 国产一级毛片七仙女欲春2| 国产一级毛片七仙女欲春2| 国产精品久久久久久亚洲av鲁大| 成人欧美大片| 国产精品野战在线观看| 亚洲 欧美 日韩 在线 免费| 天天躁狠狠躁夜夜躁狠狠躁| 大型av网站在线播放| 国产精品 欧美亚洲| 一边摸一边做爽爽视频免费| 亚洲,欧美精品.| 亚洲色图 男人天堂 中文字幕| 欧美一级a爱片免费观看看 | 色综合站精品国产| 老司机午夜十八禁免费视频| xxxwww97欧美| √禁漫天堂资源中文www| 窝窝影院91人妻| 午夜两性在线视频| 久久久久久久久久黄片| 亚洲成av人片免费观看| 国内精品久久久久精免费| 在线观看www视频免费| 美女高潮喷水抽搐中文字幕| 香蕉国产在线看| 精品一区二区三区av网在线观看| 在线观看www视频免费| 亚洲av成人av| 亚洲欧美日韩高清专用| 怎么达到女性高潮| 久久久久久九九精品二区国产 | 午夜成年电影在线免费观看| 此物有八面人人有两片| 1024手机看黄色片| 国产精品一区二区三区四区免费观看 | av免费在线观看网站| 亚洲无线在线观看| 91大片在线观看| 亚洲欧美日韩无卡精品| 久99久视频精品免费| 欧美日韩精品网址| 国产精品av久久久久免费| 精品一区二区三区av网在线观看| 成人三级黄色视频| 久久这里只有精品19| 熟女电影av网| 色精品久久人妻99蜜桃| 日韩精品中文字幕看吧| 我要搜黄色片| 看片在线看免费视频| 国产免费av片在线观看野外av| aaaaa片日本免费| 欧美三级亚洲精品| 国产精品 国内视频| 国产亚洲精品av在线| 国产精品一区二区三区四区久久| 国产久久久一区二区三区| 国产精品久久久久久亚洲av鲁大| 亚洲五月婷婷丁香| 成人高潮视频无遮挡免费网站| av有码第一页| 欧美一级a爱片免费观看看 | 亚洲国产日韩欧美精品在线观看 | 久久婷婷人人爽人人干人人爱| 免费在线观看亚洲国产| 91字幕亚洲| 嫁个100分男人电影在线观看| 亚洲最大成人中文| 亚洲人成77777在线视频| 精品久久久久久久久久免费视频| 国产欧美日韩一区二区三| 成年免费大片在线观看| 12—13女人毛片做爰片一| 久久精品成人免费网站| 手机成人av网站| 国产一区二区三区在线臀色熟女| 国产激情欧美一区二区| 99热只有精品国产| 亚洲天堂国产精品一区在线| 国产免费av片在线观看野外av| 首页视频小说图片口味搜索| 亚洲真实伦在线观看| 欧美人与性动交α欧美精品济南到| 777久久人妻少妇嫩草av网站| 香蕉丝袜av| 亚洲 欧美一区二区三区| 在线永久观看黄色视频| 色av中文字幕| 亚洲国产精品sss在线观看| 国产成人aa在线观看| 全区人妻精品视频| 欧美成人一区二区免费高清观看 | 亚洲成人中文字幕在线播放| 国产97色在线日韩免费| 欧美又色又爽又黄视频| 中文字幕精品亚洲无线码一区| 成人特级黄色片久久久久久久| 色播亚洲综合网| 欧美乱色亚洲激情| 日韩欧美免费精品| 色综合婷婷激情| 99热只有精品国产| 国产在线精品亚洲第一网站| 在线免费观看的www视频| 日本三级黄在线观看| 日韩欧美精品v在线| 亚洲人与动物交配视频| 老熟妇仑乱视频hdxx| 青草久久国产| 动漫黄色视频在线观看| 久久九九热精品免费| 黑人巨大精品欧美一区二区mp4| 成人午夜高清在线视频| 成人国产综合亚洲| 久久久久久久精品吃奶| 亚洲国产精品合色在线| 日韩av在线大香蕉| 国产黄片美女视频| a级毛片在线看网站| 欧美最黄视频在线播放免费| 五月伊人婷婷丁香| 亚洲av第一区精品v没综合| 日本 av在线| x7x7x7水蜜桃| av福利片在线观看| 午夜福利免费观看在线| 国产精品一区二区免费欧美| 亚洲精品中文字幕在线视频| av视频在线观看入口| 久久久久精品国产欧美久久久| 又粗又爽又猛毛片免费看| 亚洲精华国产精华精| 国产探花在线观看一区二区| 人人妻,人人澡人人爽秒播| 国产亚洲精品久久久久5区| 18禁黄网站禁片午夜丰满| 色老头精品视频在线观看| 亚洲国产欧美人成| 午夜成年电影在线免费观看| 一进一出抽搐gif免费好疼| 一夜夜www| 国产精品电影一区二区三区| 亚洲精品久久成人aⅴ小说| 亚洲精华国产精华精| 少妇裸体淫交视频免费看高清 | 国产区一区二久久| 母亲3免费完整高清在线观看| 操出白浆在线播放| 国产亚洲精品一区二区www| 丁香欧美五月| 两性夫妻黄色片| 免费无遮挡裸体视频| 午夜福利免费观看在线| 黄色a级毛片大全视频| 久久精品夜夜夜夜夜久久蜜豆 | 欧美中文综合在线视频| www.自偷自拍.com| 欧美+亚洲+日韩+国产| 亚洲性夜色夜夜综合| 怎么达到女性高潮| 久久精品国产清高在天天线| 午夜福利成人在线免费观看| 久久精品人妻少妇| 亚洲成av人片免费观看| 老司机在亚洲福利影院| 黄频高清免费视频| 日韩欧美在线乱码| 深夜精品福利| 法律面前人人平等表现在哪些方面| 又粗又爽又猛毛片免费看| 高清毛片免费观看视频网站| 午夜激情av网站| 制服丝袜大香蕉在线| 9191精品国产免费久久| 亚洲熟妇中文字幕五十中出| www.熟女人妻精品国产| 色噜噜av男人的天堂激情| 女人被狂操c到高潮| 日韩欧美国产一区二区入口| 给我免费播放毛片高清在线观看| av免费在线观看网站| 日日干狠狠操夜夜爽| 中文资源天堂在线| 哪里可以看免费的av片| 国产精品 欧美亚洲| 国产亚洲精品第一综合不卡| 俺也久久电影网| 亚洲最大成人中文| 日本免费一区二区三区高清不卡| 宅男免费午夜| 亚洲欧美日韩高清专用| 又黄又爽又免费观看的视频| 欧美日韩中文字幕国产精品一区二区三区| 黑人欧美特级aaaaaa片| 中文字幕人成人乱码亚洲影| 国产熟女午夜一区二区三区| 天天一区二区日本电影三级| 琪琪午夜伦伦电影理论片6080| 免费看日本二区| 妹子高潮喷水视频| 亚洲av第一区精品v没综合| 精品久久久久久久久久免费视频| 97人妻精品一区二区三区麻豆| 真人一进一出gif抽搐免费| 欧美不卡视频在线免费观看 | 精品日产1卡2卡| 国产精品影院久久| 精品欧美国产一区二区三| 变态另类成人亚洲欧美熟女| 国产精华一区二区三区| 每晚都被弄得嗷嗷叫到高潮| 美女 人体艺术 gogo| 亚洲乱码一区二区免费版| 亚洲第一欧美日韩一区二区三区| av欧美777| 久久午夜综合久久蜜桃| 床上黄色一级片| 在线国产一区二区在线| 最近最新中文字幕大全免费视频| 日本成人三级电影网站| 一级作爱视频免费观看| 精品人妻1区二区| 欧美丝袜亚洲另类 | 亚洲一码二码三码区别大吗| 久久香蕉精品热| 国产欧美日韩一区二区精品| 精品人妻1区二区| 精品欧美一区二区三区在线| 国产蜜桃级精品一区二区三区| 国产又黄又爽又无遮挡在线| 琪琪午夜伦伦电影理论片6080| 女人爽到高潮嗷嗷叫在线视频| 两个人视频免费观看高清| 国产精品免费视频内射| 国产熟女午夜一区二区三区| 国产三级在线视频| svipshipincom国产片| 亚洲,欧美精品.| 国产av麻豆久久久久久久| 一个人免费在线观看的高清视频| 国产精品精品国产色婷婷| 麻豆一二三区av精品| 久久中文字幕人妻熟女| 777久久人妻少妇嫩草av网站| 亚洲五月婷婷丁香| 男人舔奶头视频| 狂野欧美激情性xxxx| 国产高清激情床上av| 一本精品99久久精品77| 国产午夜精品久久久久久| 亚洲国产日韩欧美精品在线观看 | 精品久久久久久久毛片微露脸| 免费在线观看视频国产中文字幕亚洲| 午夜福利在线观看吧| 国产一区二区三区视频了| 国产成人aa在线观看| 亚洲欧美日韩无卡精品| 精品久久久久久久久久久久久| 国产欧美日韩精品亚洲av| 一区二区三区国产精品乱码| 亚洲欧美一区二区三区黑人| 午夜两性在线视频| 精品无人区乱码1区二区| 国产真人三级小视频在线观看| 级片在线观看| 亚洲无线在线观看| 亚洲av五月六月丁香网| 久久久国产成人免费| 欧美日本亚洲视频在线播放| 成人18禁在线播放| 国产精品九九99| 免费在线观看视频国产中文字幕亚洲| 成人午夜高清在线视频| 欧美日韩黄片免| x7x7x7水蜜桃| 97碰自拍视频| 国产成人一区二区三区免费视频网站| 白带黄色成豆腐渣| 久久精品人妻少妇| 午夜精品在线福利| 国产亚洲精品久久久久久毛片| 最近视频中文字幕2019在线8| 国产99久久九九免费精品| 欧美黑人精品巨大| 老司机午夜十八禁免费视频| 国产精品久久久久久久电影 | 男男h啪啪无遮挡| 久久香蕉国产精品| 亚洲欧美日韩高清在线视频| 在线永久观看黄色视频| 国产日本99.免费观看| 两个人的视频大全免费| 俺也久久电影网| 麻豆成人av在线观看| 成人午夜高清在线视频| 国产伦在线观看视频一区| 亚洲狠狠婷婷综合久久图片| 亚洲av片天天在线观看| 久久精品综合一区二区三区| 免费一级毛片在线播放高清视频| 亚洲18禁久久av| 50天的宝宝边吃奶边哭怎么回事| 日韩欧美三级三区| 99国产精品99久久久久| 一个人观看的视频www高清免费观看 | 日韩欧美在线乱码| 中亚洲国语对白在线视频| 国内少妇人妻偷人精品xxx网站 | 国产精品免费视频内射| 99久久国产精品久久久| 亚洲美女视频黄频| 中文字幕高清在线视频| 亚洲精华国产精华精| 天天躁夜夜躁狠狠躁躁| 日韩欧美在线二视频| 国产精品九九99| 日韩精品中文字幕看吧| 成人av在线播放网站| 中文字幕人成人乱码亚洲影| 99精品在免费线老司机午夜| 亚洲精品中文字幕一二三四区| 国产一区二区三区视频了| 欧美中文日本在线观看视频| 99精品欧美一区二区三区四区| 91九色精品人成在线观看| 丝袜人妻中文字幕| 国产av在哪里看| 亚洲天堂国产精品一区在线| 国产精品av久久久久免费| 午夜两性在线视频| 亚洲一区高清亚洲精品| 男女床上黄色一级片免费看| 天天一区二区日本电影三级| 99在线视频只有这里精品首页| av国产免费在线观看| 啦啦啦观看免费观看视频高清| 亚洲精品中文字幕一二三四区| 亚洲精品中文字幕在线视频| 色综合欧美亚洲国产小说| 亚洲熟妇熟女久久| 老司机在亚洲福利影院| 久久久精品国产亚洲av高清涩受| 色综合亚洲欧美另类图片| 国产亚洲精品综合一区在线观看 | 波多野结衣高清无吗| www.熟女人妻精品国产| 听说在线观看完整版免费高清| 午夜两性在线视频| 性欧美人与动物交配| 男女床上黄色一级片免费看| 在线十欧美十亚洲十日本专区| 欧美人与性动交α欧美精品济南到| 国产又色又爽无遮挡免费看| 国产精品野战在线观看| 精品久久久久久久末码| 女人高潮潮喷娇喘18禁视频| 国产精品一区二区免费欧美| 亚洲欧美一区二区三区黑人| 一进一出抽搐gif免费好疼| 国产成人啪精品午夜网站| 午夜福利免费观看在线| 中文亚洲av片在线观看爽| 夜夜夜夜夜久久久久| 久久久久久久久久黄片| 成人高潮视频无遮挡免费网站| 亚洲人成电影免费在线| 美女大奶头视频| 日日夜夜操网爽| 一个人观看的视频www高清免费观看 | 国产精品久久久久久久电影 | aaaaa片日本免费| 在线免费观看的www视频| 日本熟妇午夜| 日本一区二区免费在线视频| 香蕉av资源在线| 搞女人的毛片| 在线观看免费午夜福利视频| 免费av毛片视频| 特级一级黄色大片| 成人av在线播放网站| 国产av一区二区精品久久| 欧美日本视频| 亚洲精品久久国产高清桃花| 亚洲国产精品999在线| 亚洲 欧美一区二区三区| 亚洲五月天丁香| 亚洲美女黄片视频| 国产探花在线观看一区二区| 亚洲精华国产精华精| 村上凉子中文字幕在线| 日日夜夜操网爽| 一边摸一边抽搐一进一小说| 亚洲乱码一区二区免费版| 看免费av毛片| 中国美女看黄片| 美女大奶头视频| 波多野结衣巨乳人妻| 禁无遮挡网站| 色噜噜av男人的天堂激情| 亚洲成av人片在线播放无| 真人一进一出gif抽搐免费| 国产精品av视频在线免费观看| 国产午夜精品论理片| 国产熟女午夜一区二区三区| 在线永久观看黄色视频| 日韩国内少妇激情av| 国产成人av教育| 久久中文看片网| 又黄又爽又免费观看的视频| 老司机午夜十八禁免费视频| 国产高清视频在线观看网站| 国产精品1区2区在线观看.| 夜夜夜夜夜久久久久| 国产一区二区在线av高清观看| 国产视频一区二区在线看| 午夜福利成人在线免费观看|