• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于多重卷積神經(jīng)網(wǎng)絡(luò)的大模式聯(lián)機(jī)手寫文字識(shí)別

    2014-10-14 17:33葛明濤王小麗潘立武
    現(xiàn)代電子技術(shù) 2014年20期
    關(guān)鍵詞:模式識(shí)別卷積神經(jīng)網(wǎng)絡(luò)

    葛明濤+王小麗+潘立武

    摘 要: 聯(lián)機(jī)手寫識(shí)別在日常生產(chǎn)生活中有著廣闊的應(yīng)用,模式識(shí)別也一直把其作為研究的重點(diǎn)。傳統(tǒng)的識(shí)別方法是利用普通卷積神經(jīng)網(wǎng)絡(luò)技術(shù),該方法在對(duì)小規(guī)模字符集聯(lián)機(jī)手寫文字識(shí)別時(shí)有著較高識(shí)別率,總體性能高,但在對(duì)大規(guī)模字符集識(shí)別時(shí),識(shí)別率則大大降低。提出一種基于多重卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別方法,旨在克服以往方法對(duì)大規(guī)模字符集識(shí)別時(shí)識(shí)別效率不高的問(wèn)題,提高大規(guī)模字符集聯(lián)機(jī)手寫文字的識(shí)別率。系統(tǒng)使用隨機(jī)對(duì)角Levenberg?Marquardt方法來(lái)優(yōu)化訓(xùn)練,通過(guò)使用UNIPEN訓(xùn)練集測(cè)試該方法識(shí)別準(zhǔn)確率可達(dá)89%,是一個(gè)有良好前景的聯(lián)機(jī)手寫識(shí)別方法。

    關(guān)鍵詞: 模式識(shí)別; 神經(jīng)網(wǎng)絡(luò); 卷積; 文字識(shí)別

    中圖分類號(hào): TN711?34; TP391.4 文獻(xiàn)標(biāo)識(shí)碼: A 文章編號(hào): 1004?373X(2014)20?0019?03

    Large pattern online handwriting character recognition based on multi?convolution neural network

    GE Ming?tao1, WANG Xiao?li1, PAN Li?wu2

    (1. SIAS International School, Zhengzhou University, Zhengzhou 451150, China;

    2. Henan University of Animal Husbandry and Economy, Zhengzhou 450011, China)

    Abstract: Online handwriting character recognition is an important field in the research of pattern recognition. The traditional recognition method is based on the common convolutional neural networks (CNNs) technology. It has an efficient recognition rate for the small pattern character set online handwriting characters, but has low recognition rate for the large pattern character set recognition. A recognition method based on multi?convolutional neural networks (MCNNs) is presented in this paper to overcome the situation that the previous methods have the low recognition rate for large pattern character set and improve the recognition rate for the large pattern handwriting character set recognition. The stochastic diagonal Levenbert?Marquardt method is used in the system for training optimization. The experimental results show that the proposed method has the recognition rate of 89% and has a good prospect for online handwriting character recognition for large scale pattern.

    Keywords: pattern recognition; neural network; convolution; character recognition

    0 引 言

    隨著全球信息化的飛速發(fā)展和對(duì)自動(dòng)化程度要求的不斷提高 ,手寫文字識(shí)別技術(shù)被廣泛地應(yīng)用到許多方面。特別是近幾年擁有手寫功能的手機(jī)、平板電腦等智能電子產(chǎn)品的普及,聯(lián)機(jī)手寫文字識(shí)別研究已經(jīng)成為一個(gè)備受關(guān)注的主題。聯(lián)機(jī)手寫字符識(shí)別要求實(shí)時(shí)性較高,識(shí)別過(guò)程中要求特征空間的維數(shù)比較高,在進(jìn)行特征樣本訓(xùn)練時(shí)要求訓(xùn)練的數(shù)目很大,要匹配的特征值或特征對(duì)象比較多 [1?2]。

    卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNNs)的優(yōu)點(diǎn)在于圖像的識(shí)別過(guò)程中對(duì)視覺(jué)模式的獲得是直接從原始圖像中獲得的,所以在設(shè)計(jì)系統(tǒng)時(shí)圖像的預(yù)處理工作很少,與一般神經(jīng)網(wǎng)絡(luò)相比是一種高效的識(shí)別方法。卷積神經(jīng)網(wǎng)絡(luò)在模式識(shí)別的一些領(lǐng)域具有很好的魯棒性,如在識(shí)別有變化的模式和對(duì)幾何變形的識(shí)別方面。利用卷積神經(jīng)網(wǎng)絡(luò)的手寫識(shí)別方法具有如下一些優(yōu)點(diǎn):對(duì)于要檢測(cè)的圖像可以與事先制定網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)之間有較高的匹配率;特征提取和模式分類同時(shí)進(jìn)行;訓(xùn)練參數(shù)往往是系統(tǒng)計(jì)算量的重要參數(shù),而卷積神經(jīng)網(wǎng)絡(luò)中利用權(quán)值共享技術(shù),這樣就可以大大降低該參數(shù),在設(shè)計(jì)系統(tǒng)結(jié)構(gòu)時(shí)使得結(jié)構(gòu)變得更簡(jiǎn)單,從而使得整個(gè)系統(tǒng)具有更好的適應(yīng)性[3?5]。

    目前,人機(jī)交互系統(tǒng)的手寫字符識(shí)別、汽車車牌號(hào)識(shí)別和信息安全中常用的人臉識(shí)別等領(lǐng)域都有卷積神經(jīng)網(wǎng)絡(luò)的成功應(yīng)用。文獻(xiàn)[6]用一個(gè)4層的卷積神經(jīng)網(wǎng)絡(luò)LeNet?5對(duì)Mnist庫(kù)進(jìn)行識(shí)別實(shí)驗(yàn),獲得了98.4%的識(shí)別率,用2層的BP網(wǎng)絡(luò)的識(shí)別率[4,6]是87%。許多學(xué)者對(duì)卷積神經(jīng)網(wǎng)絡(luò)在聯(lián)機(jī)手寫文字識(shí)別方面做了多方位的研究。 但是,這些成功的聯(lián)機(jī)手寫文字識(shí)別主要是針對(duì)小模式字符集,利用以往的這些方法對(duì)大規(guī)模模式分類的聯(lián)機(jī)手寫文字的識(shí)別依然有識(shí)別率不高的問(wèn)題。本文介紹了卷積神經(jīng)網(wǎng)絡(luò)的基本概念和一種典型的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),給出了基于多重卷積神經(jīng)網(wǎng)絡(luò)的字符識(shí)別和詞語(yǔ)識(shí)別模型。通過(guò)使用大字符集的UNIPEN數(shù)據(jù)庫(kù)進(jìn)行訓(xùn)練和測(cè)試,本文提出的方法在大模式聯(lián)機(jī)手寫識(shí)別上,取得了較高的識(shí)別速度和滿意的識(shí)別率。

    1 卷積神經(jīng)網(wǎng)絡(luò)

    文獻(xiàn)[6?7]中詳細(xì)地描述了卷積神經(jīng)網(wǎng)絡(luò)如何保證圖像對(duì)位移、縮放、扭曲魯棒性能。典型的手寫字符卷積神經(jīng)網(wǎng)絡(luò)LeNET 5的結(jié)構(gòu)圖如圖1所示[6?7]。

    圖1 典型的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

    在圖1中,輸入層接收要識(shí)別32×32的手寫字符圖像,經(jīng)過(guò)簡(jiǎn)單的大小歸一化和圖像灰度處理,之后的結(jié)果作為一個(gè)采樣層的圖像;然后用一個(gè)可學(xué)習(xí)核進(jìn)行卷積操作,卷積結(jié)果經(jīng)過(guò)激活函數(shù)的輸出形成這一層的神經(jīng)元,每個(gè)神經(jīng)元與輸入圖像的一個(gè)5×5的鄰域相連接,從而得到由6幅特征圖組成的第一個(gè)隱層(C1層)。每個(gè)特征圖有25個(gè)權(quán)值(如方向線段,端點(diǎn)、角點(diǎn)等),考慮到邊界效果,得到的特征圖的大小是28×28,小于輸入圖層[3?9]。卷積層的數(shù)學(xué)計(jì)算過(guò)程可表示為:

    [xlj=fi∈Mjxl-1j*kernellij+blj] (1)

    式中:[l] 代表層數(shù);kernel是卷積核;[Mj]代表輸入特征圖的一個(gè)選擇。每個(gè)輸出圖有一個(gè)偏置[b]。

    每個(gè)卷積層的結(jié)果作為下一個(gè)次采樣層的輸入,次采樣層的作用是對(duì)輸入信息進(jìn)行抽樣操作。如果輸入的特征圖為n個(gè),則經(jīng)過(guò)次采樣層后特征圖的個(gè)數(shù)仍然為n,但是輸出的特征圖要變?。ɡ?,各維變?yōu)樵瓉?lái)的50%)。因此隱層S2是由6個(gè)大小為14×14的特征圖組成的次采樣層。次采樣層計(jì)算公式可以用式(2)表示:

    [xlj=fβl-1jdown(xl-1j)+blj] (2)

    式中down(·) 表示次采樣函數(shù)。次采樣函數(shù)一般是對(duì)該層輸入圖像的一個(gè)n×n大小的區(qū)域求和,因此,輸出圖像的大小是輸入圖像大小的[1n]。每一個(gè)輸出的特征圖有自己的β和b。

    類似的,C3層有16個(gè)10×10的特征圖組成的卷積層,特征圖的每個(gè)神經(jīng)元與S2網(wǎng)絡(luò)層的若干個(gè)特征圖的5×5的鄰域連接。網(wǎng)絡(luò)層S4是由16個(gè)大小為5×5的特征圖組成的次采樣層。特征圖的每個(gè)神經(jīng)元與C3層的一個(gè)2×2大小的鄰域相連接。網(wǎng)絡(luò)層C5是由120個(gè)特征圖組成的卷積層。每個(gè)神經(jīng)元與S4網(wǎng)絡(luò)層的所有特征圖的5×5大小的鄰域相連接。網(wǎng)絡(luò)層F6,包括84個(gè)神經(jīng)元,與網(wǎng)絡(luò)層C5進(jìn)行全連接。最后,輸出層有10個(gè)神經(jīng)元,是由徑向基函數(shù)單元(RBF)組成,輸出層的每個(gè)神經(jīng)元對(duì)應(yīng)一個(gè)字符類別。RBF單元的輸出yi的計(jì)算方法如式(3)所示:

    [yi=j(xj-wij)2] (3)

    很多研究人員通過(guò)對(duì)字符集作彈性訓(xùn)練,經(jīng)測(cè)試發(fā)現(xiàn)在MNIST字符集上的識(shí)別率可以高達(dá)99%以上[6?7] 。卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)主要是對(duì)小模式集上,如對(duì)數(shù)字或26個(gè)英文字母組成的集合都有著較高的識(shí)別率。然而,對(duì)大模式集的識(shí)別仍然是一個(gè)挑戰(zhàn),因?yàn)樵O(shè)計(jì)一個(gè)優(yōu)化的并足夠大的單一網(wǎng)絡(luò)是比較困難的,且訓(xùn)練時(shí)間也較長(zhǎng)。因此,本文的目的旨在通過(guò)組合多個(gè)對(duì)某一字符集有高識(shí)別率的卷積神經(jīng)網(wǎng)絡(luò),從而構(gòu)成多重卷積神經(jīng)網(wǎng)絡(luò),進(jìn)而提高卷積神經(jīng)網(wǎng)絡(luò)對(duì)大模式集手寫字符的識(shí)別率。

    2 多重卷積神經(jīng)網(wǎng)絡(luò)

    2.1 多重卷積神經(jīng)網(wǎng)絡(luò)字符識(shí)別

    根據(jù)傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的運(yùn)算過(guò)程以及其在處理大模式集手寫字符時(shí)存在的不足,本文提出一種多重卷積神經(jīng)網(wǎng)絡(luò)來(lái)改進(jìn)傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)模型,用多個(gè)擁有高識(shí)別率的小卷積神經(jīng)網(wǎng)絡(luò)組成一個(gè)多重卷積神經(jīng)網(wǎng)絡(luò)。每一重小卷積神經(jīng)網(wǎng)絡(luò)對(duì)某一具體字符集有較高的識(shí)別率,另外,單重卷積神經(jīng)網(wǎng)絡(luò)除了有一個(gè)正式的輸出集之外,還產(chǎn)生一個(gè)未知的輸出(即難以識(shí)別的字符),即如果一個(gè)輸入字符沒(méi)有被正確識(shí)別,它將被輸出為一個(gè)未知字符,然后輸入模式轉(zhuǎn)到下一重卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行識(shí)別。最后,通過(guò)一個(gè)拼寫檢查模塊進(jìn)行判斷,選擇最好的結(jié)果輸出。系統(tǒng)的流程如圖2所示。

    其中CNN 1是識(shí)別手寫數(shù)字的卷積神經(jīng)網(wǎng)絡(luò),CNN 2是識(shí)別手寫小寫英文字母的卷積神經(jīng)網(wǎng)絡(luò),該模型具有極強(qiáng)的擴(kuò)展性,可以添加多任意模式的卷積神經(jīng)網(wǎng)絡(luò)(如中文,日文等)。

    圖2 多重卷積神經(jīng)網(wǎng)絡(luò)字符識(shí)別示意圖

    2.2 隨機(jī)對(duì)角Levenberg?Marquardt訓(xùn)練方法

    傳統(tǒng)的結(jié)構(gòu)比較簡(jiǎn)單、單一的卷積神經(jīng)網(wǎng)絡(luò)多采用基本的Back Propagation(BP)規(guī)則訓(xùn)練網(wǎng)絡(luò),往往需要幾百次迭代,網(wǎng)絡(luò)的收斂速度較慢。本文采用LeCun博士提出的隨機(jī)對(duì)角Levenberg?Marquardt 算法對(duì)網(wǎng)絡(luò)作訓(xùn)練,該算法需要的迭代次數(shù)明顯比基本的BP 算法少[4,9]。隨機(jī)對(duì)角Levenberg?Marquardt算法的公式為:

    [ηki=ε?2E?w2ij+μ] (4)

    式中[ε]是全局的學(xué)習(xí)率,一般取初始值0.01,太大會(huì)使網(wǎng)絡(luò)無(wú)法收斂,太小則會(huì)降低收斂速度,且使網(wǎng)絡(luò)更容易陷入局部極小值,訓(xùn)練過(guò)程中可以用啟發(fā)式規(guī)則改變[ε]的值,本文取最下值為5e-005; [?2E?w2ij]是一個(gè)估計(jì)值,根據(jù)訓(xùn)練集的大小可以調(diào)整樣本數(shù)量,文中隨機(jī)選取200個(gè)樣本估算它的值;[μ]用來(lái)避免[?2E?w2ij] 太小時(shí)[ηki]的變化過(guò)大 。

    2.3 多重卷積神經(jīng)網(wǎng)絡(luò)詞句識(shí)別

    本文提出的多重卷積神經(jīng)網(wǎng)絡(luò)對(duì)手寫詞語(yǔ)的識(shí)別方法可以簡(jiǎn)單地描述為:首先對(duì)輸入的手寫圖像進(jìn)行預(yù)處理和分割,然后通過(guò)多重卷積神經(jīng)網(wǎng)絡(luò)模塊分別進(jìn)行識(shí)別,最后采用單詞識(shí)別模塊對(duì)識(shí)別結(jié)果進(jìn)行判斷,選擇最好的結(jié)果輸出。其過(guò)程如圖3所示。

    圖3 多重卷積神經(jīng)網(wǎng)絡(luò)聯(lián)機(jī)手寫詞句識(shí)別過(guò)程

    本文提出的多重卷積神經(jīng)網(wǎng)絡(luò)聯(lián)機(jī)手寫文字識(shí)別方法克服了傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)文字識(shí)別的對(duì)字符集的限制,每一重卷積神經(jīng)網(wǎng)絡(luò)是一個(gè)針對(duì)小模式的卷積神經(jīng)網(wǎng)絡(luò),易于訓(xùn)練和優(yōu)化,更重要的是此方案的靈活性非常好易于調(diào)節(jié)參數(shù),可擴(kuò)展性強(qiáng)。每一重卷積神經(jīng)網(wǎng)絡(luò)都具有可重用能力,可以根據(jù)需要加載一個(gè)或多個(gè)網(wǎng)絡(luò),可以根據(jù)新的模式添加新的網(wǎng)絡(luò)而不需改變或重建原來(lái)的網(wǎng)絡(luò)。

    3 訓(xùn)練和實(shí)驗(yàn)

    為了評(píng)估多重卷積神經(jīng)網(wǎng)絡(luò)對(duì)基于大模式字符集的聯(lián)機(jī)手寫文字識(shí)別的性能,本系統(tǒng)采用MNIST和UNIPEN兩種不同的手寫字符訓(xùn)練集進(jìn)行測(cè)試。UNIPEN數(shù)據(jù)庫(kù)是在1992年舉行的IEEE IAPR會(huì)議上提出并建立的,其目的是創(chuàng)建一個(gè)大型的手寫體數(shù)據(jù)庫(kù)用于為在線手寫識(shí)別提供研究和開(kāi)發(fā)的基礎(chǔ),得到了多個(gè)知名公司或研究所的支持并完成了UNIPEN的規(guī)范設(shè)計(jì)。在進(jìn)行數(shù)據(jù)比對(duì)實(shí)驗(yàn)中,本文采用許多研究使用的MNIST手寫數(shù)字?jǐn)?shù)據(jù)庫(kù),該數(shù)據(jù)庫(kù)是NEC 研究中心設(shè)計(jì)的,是NIST(The National Institute of Standards and Technology)數(shù)據(jù)庫(kù)的一個(gè)子集,該訓(xùn)練集中有大量訓(xùn)練樣本和測(cè)試用例。本文默認(rèn)用以下定義:

    [識(shí)別率=正確識(shí)別數(shù)樣本總數(shù)×100%]

    [失誤率誤識(shí)率=錯(cuò)誤識(shí)別數(shù)樣本總數(shù)×100%]

    實(shí)驗(yàn)測(cè)試是在通用的臺(tái)式電腦上進(jìn)行的。整個(gè)識(shí)別原型系統(tǒng)采用C#編寫,運(yùn)行在.NetFrame 4.5平臺(tái)上。經(jīng)測(cè)試對(duì)MNIST訓(xùn)練集識(shí)別正確率可達(dá)[9]99%,對(duì)UNIPEN數(shù)字識(shí)別正確率可達(dá)97%,對(duì)UNIPEN數(shù)字和大寫字母識(shí)別正確率可達(dá)89%(1a,1b) ,對(duì)UNIPEN小寫字母識(shí)別正確率可達(dá)89%(1c) 。圖4是對(duì)UNIPEN小寫字母3次訓(xùn)練的均方誤差比較。

    圖4 訓(xùn)練的誤差數(shù)據(jù)

    從圖4中可以看出,在開(kāi)始的幾個(gè)訓(xùn)練周期內(nèi),均方誤差(MSE)下降得很快,然后在第13個(gè)周期后神經(jīng)網(wǎng)絡(luò)達(dá)到一個(gè)穩(wěn)定的值,約為0.148 5。也就是說(shuō),網(wǎng)絡(luò)在第13個(gè)周期后,改善程度就很小。所以修改訓(xùn)練錯(cuò)誤率的值為0.000 45后重新進(jìn)行18代的第二次訓(xùn)練,均方誤差有所降低。經(jīng)過(guò)第三次的訓(xùn)練后趨于穩(wěn)定,對(duì)UNIPEN小寫字母識(shí)別正確率可達(dá)89%。經(jīng)測(cè)試,通過(guò)使用隨機(jī)對(duì)角Levenberg?Marquardt方法,收斂速度比基本BP算法快了許多,經(jīng)過(guò)68代訓(xùn)練后識(shí)別正確率可達(dá)89%。

    4 結(jié) 語(yǔ)

    本文提出了基于多重卷積神經(jīng)網(wǎng)絡(luò)的聯(lián)機(jī)手寫字符的識(shí)別方法,通過(guò)使用多個(gè)識(shí)別率高的卷積神經(jīng)網(wǎng)絡(luò)和隨機(jī)對(duì)角 Levenberg? Marquardt方法,可以適用于大模式聯(lián)機(jī)手寫識(shí)別。經(jīng)過(guò)實(shí)驗(yàn)數(shù)據(jù)比較,該方法在大模式聯(lián)機(jī)手寫識(shí)別過(guò)程中具有很高的識(shí)別率,與此同時(shí)識(shí)別速度也很快,有很好的實(shí)時(shí)性,總體效果很好。在當(dāng)今觸摸屏應(yīng)用遍及生產(chǎn)生活的各個(gè)方面的趨勢(shì)下,該方法有著廣闊的應(yīng)用前景。同時(shí)此方法為今后多手寫漢字識(shí)別的研究提供了很好的借鑒。

    注:本文通訊作者為潘立武。

    參考文獻(xiàn)

    [1] 吳鳴銳,張鈸.一種用于大規(guī)模模式識(shí)別問(wèn)題的神經(jīng)網(wǎng)絡(luò)算法[J].軟件學(xué)報(bào),2001,12(6):851?855.

    [2] 張輝.大規(guī)模聯(lián)機(jī)手寫漢字識(shí)別數(shù)據(jù)庫(kù)整理、統(tǒng)計(jì)與實(shí)驗(yàn)分析[D].廣州:華南理工大學(xué),2012.

    [3] 徐姍姍,劉應(yīng)安,徐昇,等.基于卷積神經(jīng)網(wǎng)絡(luò)的木材缺陷識(shí)別[J].山東大學(xué)學(xué)報(bào):工學(xué)版,2013,43(2):23?28.

    [4] 呂剛.基于卷積神經(jīng)網(wǎng)絡(luò)的多字體字符識(shí)別[J].浙江師范大學(xué)學(xué)報(bào):自然科學(xué)版,2011,34(4):425?428.

    [5] PHAM D V. Online handwriting recognition using multi convolution neural networks [M]. Berlin Heidelberg: Springer, 2012: 310?319.

    [6] LECUN Y, BOTTOU L, BENGIO Y, et al. Gradient?based learning applied to document recognition [C]// Proceeding of IEEE. USA: IEEE, 1998: 2278?2324.

    [7] SIMARD P Y, STEINKRAUS Dave, PLATT John. Best practices for convolutional neural networks applied to visual document analysis [C]// International Conference on Document Analysis and Recognition (ICDAR). Los Alamitos: IEEE Computer Society, 2003: 958?962.

    [8] SERMANET P, CHINTALA S, LECUN Y. Convolutional neural networks applied to house numbers digit classification [C]// International Conference on Pattern Recognition. [S.l.]: IEEE, 2012: 3288?3291.

    [9] LECUN Y, BOTTOU L, ORR G B, et al. Efficient BackProp in neural networks: tricks of the trade, LNCS [M]. Heidelberg: Springer, 1998, 1524: 9?50.

    3 訓(xùn)練和實(shí)驗(yàn)

    為了評(píng)估多重卷積神經(jīng)網(wǎng)絡(luò)對(duì)基于大模式字符集的聯(lián)機(jī)手寫文字識(shí)別的性能,本系統(tǒng)采用MNIST和UNIPEN兩種不同的手寫字符訓(xùn)練集進(jìn)行測(cè)試。UNIPEN數(shù)據(jù)庫(kù)是在1992年舉行的IEEE IAPR會(huì)議上提出并建立的,其目的是創(chuàng)建一個(gè)大型的手寫體數(shù)據(jù)庫(kù)用于為在線手寫識(shí)別提供研究和開(kāi)發(fā)的基礎(chǔ),得到了多個(gè)知名公司或研究所的支持并完成了UNIPEN的規(guī)范設(shè)計(jì)。在進(jìn)行數(shù)據(jù)比對(duì)實(shí)驗(yàn)中,本文采用許多研究使用的MNIST手寫數(shù)字?jǐn)?shù)據(jù)庫(kù),該數(shù)據(jù)庫(kù)是NEC 研究中心設(shè)計(jì)的,是NIST(The National Institute of Standards and Technology)數(shù)據(jù)庫(kù)的一個(gè)子集,該訓(xùn)練集中有大量訓(xùn)練樣本和測(cè)試用例。本文默認(rèn)用以下定義:

    [識(shí)別率=正確識(shí)別數(shù)樣本總數(shù)×100%]

    [失誤率誤識(shí)率=錯(cuò)誤識(shí)別數(shù)樣本總數(shù)×100%]

    實(shí)驗(yàn)測(cè)試是在通用的臺(tái)式電腦上進(jìn)行的。整個(gè)識(shí)別原型系統(tǒng)采用C#編寫,運(yùn)行在.NetFrame 4.5平臺(tái)上。經(jīng)測(cè)試對(duì)MNIST訓(xùn)練集識(shí)別正確率可達(dá)[9]99%,對(duì)UNIPEN數(shù)字識(shí)別正確率可達(dá)97%,對(duì)UNIPEN數(shù)字和大寫字母識(shí)別正確率可達(dá)89%(1a,1b) ,對(duì)UNIPEN小寫字母識(shí)別正確率可達(dá)89%(1c) 。圖4是對(duì)UNIPEN小寫字母3次訓(xùn)練的均方誤差比較。

    圖4 訓(xùn)練的誤差數(shù)據(jù)

    從圖4中可以看出,在開(kāi)始的幾個(gè)訓(xùn)練周期內(nèi),均方誤差(MSE)下降得很快,然后在第13個(gè)周期后神經(jīng)網(wǎng)絡(luò)達(dá)到一個(gè)穩(wěn)定的值,約為0.148 5。也就是說(shuō),網(wǎng)絡(luò)在第13個(gè)周期后,改善程度就很小。所以修改訓(xùn)練錯(cuò)誤率的值為0.000 45后重新進(jìn)行18代的第二次訓(xùn)練,均方誤差有所降低。經(jīng)過(guò)第三次的訓(xùn)練后趨于穩(wěn)定,對(duì)UNIPEN小寫字母識(shí)別正確率可達(dá)89%。經(jīng)測(cè)試,通過(guò)使用隨機(jī)對(duì)角Levenberg?Marquardt方法,收斂速度比基本BP算法快了許多,經(jīng)過(guò)68代訓(xùn)練后識(shí)別正確率可達(dá)89%。

    4 結(jié) 語(yǔ)

    本文提出了基于多重卷積神經(jīng)網(wǎng)絡(luò)的聯(lián)機(jī)手寫字符的識(shí)別方法,通過(guò)使用多個(gè)識(shí)別率高的卷積神經(jīng)網(wǎng)絡(luò)和隨機(jī)對(duì)角 Levenberg? Marquardt方法,可以適用于大模式聯(lián)機(jī)手寫識(shí)別。經(jīng)過(guò)實(shí)驗(yàn)數(shù)據(jù)比較,該方法在大模式聯(lián)機(jī)手寫識(shí)別過(guò)程中具有很高的識(shí)別率,與此同時(shí)識(shí)別速度也很快,有很好的實(shí)時(shí)性,總體效果很好。在當(dāng)今觸摸屏應(yīng)用遍及生產(chǎn)生活的各個(gè)方面的趨勢(shì)下,該方法有著廣闊的應(yīng)用前景。同時(shí)此方法為今后多手寫漢字識(shí)別的研究提供了很好的借鑒。

    注:本文通訊作者為潘立武。

    參考文獻(xiàn)

    [1] 吳鳴銳,張鈸.一種用于大規(guī)模模式識(shí)別問(wèn)題的神經(jīng)網(wǎng)絡(luò)算法[J].軟件學(xué)報(bào),2001,12(6):851?855.

    [2] 張輝.大規(guī)模聯(lián)機(jī)手寫漢字識(shí)別數(shù)據(jù)庫(kù)整理、統(tǒng)計(jì)與實(shí)驗(yàn)分析[D].廣州:華南理工大學(xué),2012.

    [3] 徐姍姍,劉應(yīng)安,徐昇,等.基于卷積神經(jīng)網(wǎng)絡(luò)的木材缺陷識(shí)別[J].山東大學(xué)學(xué)報(bào):工學(xué)版,2013,43(2):23?28.

    [4] 呂剛.基于卷積神經(jīng)網(wǎng)絡(luò)的多字體字符識(shí)別[J].浙江師范大學(xué)學(xué)報(bào):自然科學(xué)版,2011,34(4):425?428.

    [5] PHAM D V. Online handwriting recognition using multi convolution neural networks [M]. Berlin Heidelberg: Springer, 2012: 310?319.

    [6] LECUN Y, BOTTOU L, BENGIO Y, et al. Gradient?based learning applied to document recognition [C]// Proceeding of IEEE. USA: IEEE, 1998: 2278?2324.

    [7] SIMARD P Y, STEINKRAUS Dave, PLATT John. Best practices for convolutional neural networks applied to visual document analysis [C]// International Conference on Document Analysis and Recognition (ICDAR). Los Alamitos: IEEE Computer Society, 2003: 958?962.

    [8] SERMANET P, CHINTALA S, LECUN Y. Convolutional neural networks applied to house numbers digit classification [C]// International Conference on Pattern Recognition. [S.l.]: IEEE, 2012: 3288?3291.

    [9] LECUN Y, BOTTOU L, ORR G B, et al. Efficient BackProp in neural networks: tricks of the trade, LNCS [M]. Heidelberg: Springer, 1998, 1524: 9?50.

    3 訓(xùn)練和實(shí)驗(yàn)

    為了評(píng)估多重卷積神經(jīng)網(wǎng)絡(luò)對(duì)基于大模式字符集的聯(lián)機(jī)手寫文字識(shí)別的性能,本系統(tǒng)采用MNIST和UNIPEN兩種不同的手寫字符訓(xùn)練集進(jìn)行測(cè)試。UNIPEN數(shù)據(jù)庫(kù)是在1992年舉行的IEEE IAPR會(huì)議上提出并建立的,其目的是創(chuàng)建一個(gè)大型的手寫體數(shù)據(jù)庫(kù)用于為在線手寫識(shí)別提供研究和開(kāi)發(fā)的基礎(chǔ),得到了多個(gè)知名公司或研究所的支持并完成了UNIPEN的規(guī)范設(shè)計(jì)。在進(jìn)行數(shù)據(jù)比對(duì)實(shí)驗(yàn)中,本文采用許多研究使用的MNIST手寫數(shù)字?jǐn)?shù)據(jù)庫(kù),該數(shù)據(jù)庫(kù)是NEC 研究中心設(shè)計(jì)的,是NIST(The National Institute of Standards and Technology)數(shù)據(jù)庫(kù)的一個(gè)子集,該訓(xùn)練集中有大量訓(xùn)練樣本和測(cè)試用例。本文默認(rèn)用以下定義:

    [識(shí)別率=正確識(shí)別數(shù)樣本總數(shù)×100%]

    [失誤率誤識(shí)率=錯(cuò)誤識(shí)別數(shù)樣本總數(shù)×100%]

    實(shí)驗(yàn)測(cè)試是在通用的臺(tái)式電腦上進(jìn)行的。整個(gè)識(shí)別原型系統(tǒng)采用C#編寫,運(yùn)行在.NetFrame 4.5平臺(tái)上。經(jīng)測(cè)試對(duì)MNIST訓(xùn)練集識(shí)別正確率可達(dá)[9]99%,對(duì)UNIPEN數(shù)字識(shí)別正確率可達(dá)97%,對(duì)UNIPEN數(shù)字和大寫字母識(shí)別正確率可達(dá)89%(1a,1b) ,對(duì)UNIPEN小寫字母識(shí)別正確率可達(dá)89%(1c) 。圖4是對(duì)UNIPEN小寫字母3次訓(xùn)練的均方誤差比較。

    圖4 訓(xùn)練的誤差數(shù)據(jù)

    從圖4中可以看出,在開(kāi)始的幾個(gè)訓(xùn)練周期內(nèi),均方誤差(MSE)下降得很快,然后在第13個(gè)周期后神經(jīng)網(wǎng)絡(luò)達(dá)到一個(gè)穩(wěn)定的值,約為0.148 5。也就是說(shuō),網(wǎng)絡(luò)在第13個(gè)周期后,改善程度就很小。所以修改訓(xùn)練錯(cuò)誤率的值為0.000 45后重新進(jìn)行18代的第二次訓(xùn)練,均方誤差有所降低。經(jīng)過(guò)第三次的訓(xùn)練后趨于穩(wěn)定,對(duì)UNIPEN小寫字母識(shí)別正確率可達(dá)89%。經(jīng)測(cè)試,通過(guò)使用隨機(jī)對(duì)角Levenberg?Marquardt方法,收斂速度比基本BP算法快了許多,經(jīng)過(guò)68代訓(xùn)練后識(shí)別正確率可達(dá)89%。

    4 結(jié) 語(yǔ)

    本文提出了基于多重卷積神經(jīng)網(wǎng)絡(luò)的聯(lián)機(jī)手寫字符的識(shí)別方法,通過(guò)使用多個(gè)識(shí)別率高的卷積神經(jīng)網(wǎng)絡(luò)和隨機(jī)對(duì)角 Levenberg? Marquardt方法,可以適用于大模式聯(lián)機(jī)手寫識(shí)別。經(jīng)過(guò)實(shí)驗(yàn)數(shù)據(jù)比較,該方法在大模式聯(lián)機(jī)手寫識(shí)別過(guò)程中具有很高的識(shí)別率,與此同時(shí)識(shí)別速度也很快,有很好的實(shí)時(shí)性,總體效果很好。在當(dāng)今觸摸屏應(yīng)用遍及生產(chǎn)生活的各個(gè)方面的趨勢(shì)下,該方法有著廣闊的應(yīng)用前景。同時(shí)此方法為今后多手寫漢字識(shí)別的研究提供了很好的借鑒。

    注:本文通訊作者為潘立武。

    參考文獻(xiàn)

    [1] 吳鳴銳,張鈸.一種用于大規(guī)模模式識(shí)別問(wèn)題的神經(jīng)網(wǎng)絡(luò)算法[J].軟件學(xué)報(bào),2001,12(6):851?855.

    [2] 張輝.大規(guī)模聯(lián)機(jī)手寫漢字識(shí)別數(shù)據(jù)庫(kù)整理、統(tǒng)計(jì)與實(shí)驗(yàn)分析[D].廣州:華南理工大學(xué),2012.

    [3] 徐姍姍,劉應(yīng)安,徐昇,等.基于卷積神經(jīng)網(wǎng)絡(luò)的木材缺陷識(shí)別[J].山東大學(xué)學(xué)報(bào):工學(xué)版,2013,43(2):23?28.

    [4] 呂剛.基于卷積神經(jīng)網(wǎng)絡(luò)的多字體字符識(shí)別[J].浙江師范大學(xué)學(xué)報(bào):自然科學(xué)版,2011,34(4):425?428.

    [5] PHAM D V. Online handwriting recognition using multi convolution neural networks [M]. Berlin Heidelberg: Springer, 2012: 310?319.

    [6] LECUN Y, BOTTOU L, BENGIO Y, et al. Gradient?based learning applied to document recognition [C]// Proceeding of IEEE. USA: IEEE, 1998: 2278?2324.

    [7] SIMARD P Y, STEINKRAUS Dave, PLATT John. Best practices for convolutional neural networks applied to visual document analysis [C]// International Conference on Document Analysis and Recognition (ICDAR). Los Alamitos: IEEE Computer Society, 2003: 958?962.

    [8] SERMANET P, CHINTALA S, LECUN Y. Convolutional neural networks applied to house numbers digit classification [C]// International Conference on Pattern Recognition. [S.l.]: IEEE, 2012: 3288?3291.

    [9] LECUN Y, BOTTOU L, ORR G B, et al. Efficient BackProp in neural networks: tricks of the trade, LNCS [M]. Heidelberg: Springer, 1998, 1524: 9?50.

    猜你喜歡
    模式識(shí)別卷積神經(jīng)網(wǎng)絡(luò)
    基于3D-Winograd的快速卷積算法設(shè)計(jì)及FPGA實(shí)現(xiàn)
    神經(jīng)網(wǎng)絡(luò)抑制無(wú)線通信干擾探究
    從濾波器理解卷積
    基于傅里葉域卷積表示的目標(biāo)跟蹤算法
    淺談模式識(shí)別在圖像識(shí)別中的應(yīng)用
    第四屆亞洲模式識(shí)別會(huì)議
    基于神經(jīng)網(wǎng)絡(luò)的拉矯機(jī)控制模型建立
    復(fù)數(shù)神經(jīng)網(wǎng)絡(luò)在基于WiFi的室內(nèi)LBS應(yīng)用
    基于支持向量機(jī)回歸和RBF神經(jīng)網(wǎng)絡(luò)的PID整定
    第3屆亞洲模式識(shí)別會(huì)議
    好男人视频免费观看在线| 丝袜人妻中文字幕| 国产精品偷伦视频观看了| 日韩制服骚丝袜av| 啦啦啦在线免费观看视频4| 欧美 亚洲 国产 日韩一| 麻豆乱淫一区二区| av在线老鸭窝| 色网站视频免费| 在线观看免费日韩欧美大片| 免费av中文字幕在线| 热re99久久国产66热| 国产亚洲一区二区精品| 国产不卡av网站在线观看| 一级毛片黄色毛片免费观看视频| 91国产中文字幕| 爱豆传媒免费全集在线观看| 亚洲成人手机| av线在线观看网站| 欧美日本中文国产一区发布| 国产黄频视频在线观看| 多毛熟女@视频| 欧美日韩国产mv在线观看视频| 欧美成人精品欧美一级黄| 精品一品国产午夜福利视频| 精品免费久久久久久久清纯 | 国产一区二区三区av在线| 免费久久久久久久精品成人欧美视频| 久久久久精品性色| 午夜福利一区二区在线看| 欧美日韩一区二区视频在线观看视频在线| 亚洲av男天堂| av国产久精品久网站免费入址| 中国三级夫妇交换| 精品第一国产精品| 亚洲熟女毛片儿| 考比视频在线观看| 大香蕉久久成人网| 看免费av毛片| 熟妇人妻不卡中文字幕| 亚洲精品美女久久av网站| 久久99精品国语久久久| 男女国产视频网站| 欧美日韩av久久| 国产免费又黄又爽又色| 欧美在线一区亚洲| 免费av中文字幕在线| 久久久久精品性色| 男人添女人高潮全过程视频| 一级片免费观看大全| 大码成人一级视频| 国产 精品1| 青春草视频在线免费观看| 亚洲第一区二区三区不卡| 七月丁香在线播放| 日本欧美国产在线视频| 久久精品熟女亚洲av麻豆精品| 欧美xxⅹ黑人| √禁漫天堂资源中文www| 不卡av一区二区三区| 91成人精品电影| 国产精品一区二区在线观看99| 在线观看免费午夜福利视频| 精品久久久精品久久久| 国产精品久久久av美女十八| 美女大奶头黄色视频| 大码成人一级视频| 最近的中文字幕免费完整| 日韩一区二区视频免费看| 纵有疾风起免费观看全集完整版| www.熟女人妻精品国产| 亚洲成人一二三区av| 国产成人一区二区在线| 日本午夜av视频| 色视频在线一区二区三区| 久久久久久免费高清国产稀缺| 欧美黄色片欧美黄色片| 操出白浆在线播放| 一区二区三区乱码不卡18| 女人高潮潮喷娇喘18禁视频| 在线看a的网站| 99热网站在线观看| 在线 av 中文字幕| 男人添女人高潮全过程视频| av在线观看视频网站免费| 久久久久人妻精品一区果冻| 国产精品蜜桃在线观看| 老司机影院毛片| 亚洲伊人久久精品综合| 在现免费观看毛片| 少妇被粗大的猛进出69影院| 亚洲中文av在线| 久久久亚洲精品成人影院| 成年女人毛片免费观看观看9 | 一边摸一边抽搐一进一出视频| 亚洲成人免费av在线播放| 色网站视频免费| 亚洲免费av在线视频| 亚洲精品国产av成人精品| 国产精品久久久av美女十八| 最新的欧美精品一区二区| 男女国产视频网站| 精品国产超薄肉色丝袜足j| 国产精品二区激情视频| 香蕉国产在线看| 天美传媒精品一区二区| 丝瓜视频免费看黄片| 午夜福利在线免费观看网站| 99久久精品国产亚洲精品| 人妻人人澡人人爽人人| 80岁老熟妇乱子伦牲交| 男人操女人黄网站| 亚洲 欧美一区二区三区| 国产一级毛片在线| 你懂的网址亚洲精品在线观看| 一本—道久久a久久精品蜜桃钙片| 国产在视频线精品| 秋霞伦理黄片| 日本色播在线视频| 最近手机中文字幕大全| 国产成人系列免费观看| 最新的欧美精品一区二区| 欧美日韩视频高清一区二区三区二| 亚洲av综合色区一区| 老汉色av国产亚洲站长工具| 看非洲黑人一级黄片| 多毛熟女@视频| 国语对白做爰xxxⅹ性视频网站| 国产欧美日韩一区二区三区在线| 美女脱内裤让男人舔精品视频| 一级毛片 在线播放| 人妻人人澡人人爽人人| 久久毛片免费看一区二区三区| 欧美日韩成人在线一区二区| 91精品伊人久久大香线蕉| 亚洲国产精品国产精品| 亚洲一码二码三码区别大吗| av一本久久久久| 激情视频va一区二区三区| 久久精品国产亚洲av涩爱| 看非洲黑人一级黄片| 欧美日韩国产mv在线观看视频| 国产亚洲av片在线观看秒播厂| av.在线天堂| 亚洲国产中文字幕在线视频| 免费黄色在线免费观看| 亚洲在久久综合| 免费在线观看黄色视频的| 精品卡一卡二卡四卡免费| 男女午夜视频在线观看| 久久99一区二区三区| av一本久久久久| 超碰97精品在线观看| 岛国毛片在线播放| 自拍欧美九色日韩亚洲蝌蚪91| a级毛片黄视频| 成年动漫av网址| 最新的欧美精品一区二区| 久久99热这里只频精品6学生| 伊人久久大香线蕉亚洲五| 免费高清在线观看日韩| 久久久久精品国产欧美久久久 | 黑人欧美特级aaaaaa片| 韩国精品一区二区三区| 日韩av不卡免费在线播放| 国产精品女同一区二区软件| 晚上一个人看的免费电影| 国产又色又爽无遮挡免| 99精品久久久久人妻精品| 国产一区亚洲一区在线观看| 天天躁日日躁夜夜躁夜夜| av在线老鸭窝| 丝袜美腿诱惑在线| 一级毛片电影观看| 啦啦啦啦在线视频资源| 久久久久久久久久久免费av| 熟女少妇亚洲综合色aaa.| 91精品伊人久久大香线蕉| 三上悠亚av全集在线观看| 五月开心婷婷网| 一级,二级,三级黄色视频| svipshipincom国产片| 亚洲五月色婷婷综合| 国产av一区二区精品久久| 伊人亚洲综合成人网| 亚洲精品乱久久久久久| 侵犯人妻中文字幕一二三四区| 精品一品国产午夜福利视频| 只有这里有精品99| 免费观看性生交大片5| 丝袜在线中文字幕| 国产免费现黄频在线看| 少妇的丰满在线观看| 曰老女人黄片| 久久毛片免费看一区二区三区| 一区二区三区精品91| 黄片播放在线免费| av在线老鸭窝| 婷婷色综合大香蕉| 下体分泌物呈黄色| 亚洲av日韩精品久久久久久密 | 久久午夜综合久久蜜桃| 男女午夜视频在线观看| 日本色播在线视频| 国产 精品1| 国产一区二区三区综合在线观看| 性少妇av在线| 一边摸一边做爽爽视频免费| videosex国产| 搡老乐熟女国产| 999久久久国产精品视频| 最近最新中文字幕大全免费视频 | 男人爽女人下面视频在线观看| 国产又色又爽无遮挡免| 日日撸夜夜添| 国产乱来视频区| 捣出白浆h1v1| 看非洲黑人一级黄片| 午夜91福利影院| 国产xxxxx性猛交| 日韩大码丰满熟妇| 亚洲色图综合在线观看| 青春草视频在线免费观看| 亚洲精品久久久久久婷婷小说| 日日摸夜夜添夜夜爱| 无遮挡黄片免费观看| 人体艺术视频欧美日本| 青青草视频在线视频观看| 国产日韩欧美亚洲二区| 又大又爽又粗| 99久久99久久久精品蜜桃| 免费少妇av软件| 国产黄频视频在线观看| 热99国产精品久久久久久7| 少妇精品久久久久久久| 日韩大码丰满熟妇| 国产在视频线精品| 精品少妇黑人巨大在线播放| 国产成人欧美在线观看 | 免费久久久久久久精品成人欧美视频| 超碰97精品在线观看| 黄频高清免费视频| 色视频在线一区二区三区| 亚洲av成人不卡在线观看播放网 | 亚洲第一av免费看| 国产精品一国产av| 亚洲五月色婷婷综合| 最近中文字幕2019免费版| 亚洲国产精品一区三区| 国产野战对白在线观看| 久久这里只有精品19| 国产亚洲av高清不卡| 人体艺术视频欧美日本| 一二三四中文在线观看免费高清| 亚洲第一青青草原| 男女高潮啪啪啪动态图| 男人添女人高潮全过程视频| 最新在线观看一区二区三区 | 黑人巨大精品欧美一区二区蜜桃| 亚洲美女黄色视频免费看| 美国免费a级毛片| 1024香蕉在线观看| 可以免费在线观看a视频的电影网站 | videos熟女内射| 久久99一区二区三区| 天堂8中文在线网| 日日啪夜夜爽| 免费高清在线观看视频在线观看| 亚洲成人手机| 精品一品国产午夜福利视频| 别揉我奶头~嗯~啊~动态视频 | 国产免费福利视频在线观看| 日日爽夜夜爽网站| 人妻 亚洲 视频| 少妇被粗大猛烈的视频| 成年人午夜在线观看视频| 18禁国产床啪视频网站| xxx大片免费视频| 亚洲精品国产区一区二| 成人毛片60女人毛片免费| 国产av国产精品国产| 成年动漫av网址| 日本wwww免费看| 建设人人有责人人尽责人人享有的| 欧美激情高清一区二区三区 | 欧美激情高清一区二区三区 | 精品免费久久久久久久清纯 | 在线亚洲精品国产二区图片欧美| 日韩大码丰满熟妇| 亚洲一区中文字幕在线| 国产高清不卡午夜福利| 国产av国产精品国产| 欧美变态另类bdsm刘玥| 久久久久国产一级毛片高清牌| 999久久久国产精品视频| 久久久亚洲精品成人影院| 一区二区三区乱码不卡18| 99re6热这里在线精品视频| 熟女少妇亚洲综合色aaa.| 人人妻,人人澡人人爽秒播 | 精品一区二区免费观看| 激情视频va一区二区三区| 纵有疾风起免费观看全集完整版| 国语对白做爰xxxⅹ性视频网站| 国产在线视频一区二区| 久久午夜综合久久蜜桃| 欧美黑人精品巨大| 大码成人一级视频| 无遮挡黄片免费观看| 99香蕉大伊视频| 久久人人爽人人片av| 肉色欧美久久久久久久蜜桃| 国产1区2区3区精品| 一区二区日韩欧美中文字幕| 国产精品亚洲av一区麻豆 | 99热网站在线观看| 国产精品久久久久久久久免| 免费高清在线观看视频在线观看| 亚洲欧美一区二区三区国产| 高清黄色对白视频在线免费看| 精品卡一卡二卡四卡免费| 欧美日本中文国产一区发布| 久久午夜综合久久蜜桃| 国产av一区二区精品久久| 成人国语在线视频| 99久久人妻综合| 黄片无遮挡物在线观看| 99热全是精品| 久久性视频一级片| 日韩中文字幕欧美一区二区 | e午夜精品久久久久久久| 欧美亚洲日本最大视频资源| 国产精品偷伦视频观看了| 九色亚洲精品在线播放| 色网站视频免费| av在线播放精品| 亚洲欧美成人精品一区二区| 午夜久久久在线观看| 无遮挡黄片免费观看| 亚洲欧美成人综合另类久久久| 性色av一级| 电影成人av| 又黄又粗又硬又大视频| 天天添夜夜摸| av卡一久久| 亚洲第一青青草原| 男女国产视频网站| 国产精品久久久人人做人人爽| 国产成人欧美在线观看 | 亚洲成人av在线免费| 天堂8中文在线网| 亚洲视频免费观看视频| 亚洲精品国产色婷婷电影| 日韩 欧美 亚洲 中文字幕| 一本色道久久久久久精品综合| 国产爽快片一区二区三区| 超色免费av| 最近2019中文字幕mv第一页| 中文天堂在线官网| 亚洲一区中文字幕在线| 午夜福利网站1000一区二区三区| 热99国产精品久久久久久7| 人体艺术视频欧美日本| 午夜91福利影院| videosex国产| 少妇猛男粗大的猛烈进出视频| 中文字幕人妻丝袜一区二区 | 久久亚洲国产成人精品v| av一本久久久久| 午夜免费男女啪啪视频观看| 久久午夜综合久久蜜桃| 亚洲在久久综合| 久久青草综合色| 日韩,欧美,国产一区二区三区| 天美传媒精品一区二区| 成人免费观看视频高清| 亚洲国产最新在线播放| 成年美女黄网站色视频大全免费| 在现免费观看毛片| 日韩一本色道免费dvd| 九色亚洲精品在线播放| 国产精品偷伦视频观看了| 在线观看www视频免费| 中文欧美无线码| 999精品在线视频| 美女主播在线视频| 国产乱人偷精品视频| 亚洲av男天堂| 青春草视频在线免费观看| 亚洲国产中文字幕在线视频| 宅男免费午夜| 免费观看性生交大片5| 大香蕉久久网| 好男人视频免费观看在线| 亚洲成人av在线免费| 国产在视频线精品| 伊人亚洲综合成人网| 少妇人妻精品综合一区二区| 大香蕉久久成人网| 久久久久久久国产电影| 少妇人妻久久综合中文| 午夜影院在线不卡| 激情五月婷婷亚洲| 99国产精品免费福利视频| 久久精品久久精品一区二区三区| 亚洲人成77777在线视频| 亚洲欧美一区二区三区久久| 精品免费久久久久久久清纯 | 成人午夜精彩视频在线观看| 在线观看国产h片| 黄片小视频在线播放| 91老司机精品| 波野结衣二区三区在线| 亚洲精品国产av成人精品| av.在线天堂| 久久韩国三级中文字幕| 一区福利在线观看| 国产成人精品久久久久久| 国产免费视频播放在线视频| 看免费成人av毛片| 国产一区二区在线观看av| 老熟女久久久| 少妇被粗大猛烈的视频| 国产亚洲av片在线观看秒播厂| 日韩伦理黄色片| 亚洲国产精品国产精品| 99热国产这里只有精品6| 乱人伦中国视频| 青草久久国产| 男人舔女人的私密视频| 日本av免费视频播放| 伊人久久大香线蕉亚洲五| 一区在线观看完整版| 国产精品久久久久久久久免| 这个男人来自地球电影免费观看 | 美女脱内裤让男人舔精品视频| 天美传媒精品一区二区| 国产不卡av网站在线观看| 精品少妇久久久久久888优播| 两个人免费观看高清视频| 国产精品一区二区在线不卡| 成人午夜精彩视频在线观看| 午夜久久久在线观看| 亚洲第一青青草原| 国产精品一区二区在线不卡| av有码第一页| 最近中文字幕高清免费大全6| 欧美最新免费一区二区三区| 日日摸夜夜添夜夜爱| avwww免费| 2018国产大陆天天弄谢| 亚洲国产毛片av蜜桃av| www.精华液| 男人添女人高潮全过程视频| 黄片播放在线免费| a级片在线免费高清观看视频| 免费观看性生交大片5| 亚洲第一青青草原| 久久国产亚洲av麻豆专区| 国产精品二区激情视频| 国产一区二区在线观看av| 自线自在国产av| 久久久久久久久久久久大奶| 狂野欧美激情性bbbbbb| 男女之事视频高清在线观看 | 亚洲精品av麻豆狂野| 欧美最新免费一区二区三区| 日本av手机在线免费观看| 母亲3免费完整高清在线观看| av不卡在线播放| 看免费成人av毛片| 日本av手机在线免费观看| 久久精品国产a三级三级三级| 中国三级夫妇交换| av在线老鸭窝| 国产视频首页在线观看| 国产在线免费精品| 欧美 亚洲 国产 日韩一| 丝袜人妻中文字幕| 女人被躁到高潮嗷嗷叫费观| 亚洲一级一片aⅴ在线观看| 嫩草影视91久久| 一本—道久久a久久精品蜜桃钙片| 国产淫语在线视频| 高清av免费在线| 新久久久久国产一级毛片| 国产精品免费大片| 精品视频人人做人人爽| 久久人人爽av亚洲精品天堂| 亚洲第一青青草原| 精品卡一卡二卡四卡免费| 美女脱内裤让男人舔精品视频| 9热在线视频观看99| 大话2 男鬼变身卡| 99热全是精品| 天天躁夜夜躁狠狠久久av| 国产亚洲av高清不卡| 精品福利永久在线观看| 亚洲欧美精品综合一区二区三区| 91aial.com中文字幕在线观看| 日韩中文字幕欧美一区二区 | 国产精品久久久久久人妻精品电影 | 老汉色av国产亚洲站长工具| 欧美乱码精品一区二区三区| 亚洲成人av在线免费| 丝袜脚勾引网站| 国产福利在线免费观看视频| av卡一久久| 最近最新中文字幕大全免费视频 | 亚洲自偷自拍图片 自拍| 日韩一本色道免费dvd| 欧美日韩精品网址| 又大又黄又爽视频免费| 亚洲国产精品国产精品| 欧美另类一区| 欧美激情 高清一区二区三区| 99九九在线精品视频| 精品国产露脸久久av麻豆| 国产日韩欧美视频二区| 久久99精品国语久久久| 精品亚洲成国产av| 中文精品一卡2卡3卡4更新| 极品少妇高潮喷水抽搐| 久久久精品94久久精品| 午夜免费男女啪啪视频观看| 精品卡一卡二卡四卡免费| 国产成人精品在线电影| 亚洲精品第二区| 大香蕉久久成人网| 天天躁狠狠躁夜夜躁狠狠躁| 亚洲成国产人片在线观看| 黄片小视频在线播放| 青青草视频在线视频观看| 免费观看av网站的网址| 97人妻天天添夜夜摸| 又大又黄又爽视频免费| 久久久久久久大尺度免费视频| 一级片'在线观看视频| 午夜福利乱码中文字幕| 丁香六月欧美| 最近中文字幕2019免费版| 亚洲熟女毛片儿| 如日韩欧美国产精品一区二区三区| 极品少妇高潮喷水抽搐| 成年女人毛片免费观看观看9 | 成年人午夜在线观看视频| 欧美xxⅹ黑人| 欧美亚洲日本最大视频资源| 日本一区二区免费在线视频| 国产xxxxx性猛交| 一边亲一边摸免费视频| 亚洲精品美女久久久久99蜜臀 | 久久久久人妻精品一区果冻| 涩涩av久久男人的天堂| 亚洲伊人久久精品综合| 亚洲精华国产精华液的使用体验| 亚洲国产av新网站| 精品人妻在线不人妻| 伦理电影免费视频| 国产又色又爽无遮挡免| 黄片播放在线免费| 亚洲欧美精品自产自拍| 最近的中文字幕免费完整| 国产精品秋霞免费鲁丝片| 少妇精品久久久久久久| 日韩成人av中文字幕在线观看| 久久精品国产亚洲av涩爱| 夜夜骑夜夜射夜夜干| 欧美日韩一区二区视频在线观看视频在线| 国产亚洲一区二区精品| 欧美日韩福利视频一区二区| 日本欧美视频一区| 日韩av免费高清视频| 国产一区二区激情短视频 | 啦啦啦视频在线资源免费观看| 女人久久www免费人成看片| av国产久精品久网站免费入址| 午夜日本视频在线| 性色av一级| 一本—道久久a久久精品蜜桃钙片| 久久国产精品男人的天堂亚洲| 啦啦啦中文免费视频观看日本| 久久久欧美国产精品| 王馨瑶露胸无遮挡在线观看| 午夜福利在线免费观看网站| 亚洲婷婷狠狠爱综合网| 在线观看免费日韩欧美大片| 欧美 日韩 精品 国产| 国产亚洲午夜精品一区二区久久| 丰满饥渴人妻一区二区三| 可以免费在线观看a视频的电影网站 | 日本欧美视频一区| 国精品久久久久久国模美| 伦理电影大哥的女人| 亚洲欧美激情在线| 69精品国产乱码久久久| 久热这里只有精品99| 国产日韩一区二区三区精品不卡| 肉色欧美久久久久久久蜜桃| 最近的中文字幕免费完整| 亚洲成国产人片在线观看| 少妇被粗大的猛进出69影院| 又黄又粗又硬又大视频| 日韩av不卡免费在线播放| 国产亚洲av片在线观看秒播厂| 可以免费在线观看a视频的电影网站 | 亚洲av电影在线观看一区二区三区| 亚洲精品一二三| 国产成人av激情在线播放| 男女下面插进去视频免费观看| 国产深夜福利视频在线观看| 各种免费的搞黄视频| 大香蕉久久网| 日韩中文字幕欧美一区二区 | 美女福利国产在线|