• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    DTZH1505:大規(guī)模開(kāi)源中文普通話語(yǔ)音庫(kù)

    2022-06-09 12:00:16王麗媛王大亮齊紅威
    關(guān)鍵詞:文本語(yǔ)言模型

    王 東,王麗媛,王大亮,齊紅威

    1.西藏民族大學(xué) 信息工程學(xué)院,陜西 咸陽(yáng) 712082

    2.數(shù)據(jù)堂(北京)科技股份有限公司,北京 100192

    語(yǔ)音識(shí)別技術(shù)作為人工智能技術(shù)中的重要組成部分,是人機(jī)交互的核心組件之一。語(yǔ)音識(shí)別技術(shù)的發(fā)展具有很長(zhǎng)的歷史,其演變過(guò)程歷經(jīng)了以下幾個(gè)階段:從1990年至2010年,統(tǒng)計(jì)學(xué)習(xí)模型(主要是GMM-HMM模型)長(zhǎng)期占據(jù)主流地位;從2011年至2014年,深度學(xué)習(xí)開(kāi)始滲入到語(yǔ)音識(shí)別技術(shù)中;從2015年至今,端到端的深度學(xué)習(xí)模型在語(yǔ)音識(shí)別研究中廣為使用?,F(xiàn)在,幾乎所有的語(yǔ)音技術(shù)研究都直接或間接采用神經(jīng)網(wǎng)絡(luò)模型[1-3],語(yǔ)音識(shí)別準(zhǔn)確率得到了明顯提升,這得益于算法、算力、數(shù)據(jù)的飛速進(jìn)步。不同于統(tǒng)計(jì)學(xué)習(xí)模型,神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練需要更大規(guī)模的數(shù)據(jù)來(lái)驅(qū)動(dòng)。然而,絕大多數(shù)中文語(yǔ)音數(shù)據(jù)集是商用的,其費(fèi)用之昂貴使許多對(duì)中文語(yǔ)音識(shí)別感興趣的研究人員望而卻步,導(dǎo)致許多創(chuàng)新的想法得不到很好的驗(yàn)證。

    “數(shù)據(jù)開(kāi)源”活動(dòng)極大地緩解了因數(shù)據(jù)集過(guò)于昂貴而無(wú)法獲取的問(wèn)題,同時(shí)吸引了越來(lái)越多的人員進(jìn)行中文語(yǔ)音識(shí)別相關(guān)方面的研究。其中,openslr(http://www.openslr.org/)是支持這一活動(dòng)的一個(gè)平臺(tái)。表1列舉目前主流的開(kāi)源中文語(yǔ)音數(shù)據(jù)集。其中,最早開(kāi)源的中文語(yǔ)音數(shù)據(jù)集是清華大學(xué)發(fā)布的thchs30[4],它極大地推動(dòng)了中文語(yǔ)音識(shí)別研究的發(fā)展。其創(chuàng)建的最初目的是為了彌補(bǔ)863CSL數(shù)據(jù)集中音素不均衡的缺點(diǎn)[5],所以在設(shè)計(jì)語(yǔ)料時(shí),它旨在尋求句子數(shù)量與音素覆蓋率之間的平衡,選擇的語(yǔ)料內(nèi)容多為從新聞中獲取的長(zhǎng)文本。接著,希爾貝殼也發(fā)布了兩個(gè)語(yǔ)音數(shù)據(jù)集aishell1[6]和aishell2[7],上海原語(yǔ)公開(kāi)了primewords_set1,沖浪科技發(fā)布了ST-CMDS語(yǔ)音數(shù)據(jù)集。

    作為全球使用最廣泛的語(yǔ)言之一,中文相比于其他語(yǔ)言具有更豐富的詞匯、特殊的聲調(diào)表示、獨(dú)特的聲韻母結(jié)構(gòu)等特性,這使得中文語(yǔ)音識(shí)別研究更加具有挑戰(zhàn)性。然而,相較于工業(yè)級(jí)別的英文開(kāi)源語(yǔ)音數(shù)據(jù)集如librispeech[8]和tedlium[9-11],中文開(kāi)源語(yǔ)音數(shù)據(jù)規(guī)模仍太小。此外,中文普通話口語(yǔ)語(yǔ)料庫(kù)的建設(shè)仍相對(duì)滯后,口語(yǔ)中經(jīng)常出現(xiàn)語(yǔ)誤,對(duì)語(yǔ)音的文字轉(zhuǎn)寫(xiě)和標(biāo)注費(fèi)時(shí)費(fèi)力,要求較高,這些因素均制約了口語(yǔ)語(yǔ)料庫(kù)的建設(shè),這已成為目前語(yǔ)音識(shí)別逐漸滲透實(shí)際應(yīng)用(比如智能客服、語(yǔ)音交互)的一大羈絆。

    為緩解以上問(wèn)題,本文向?qū)W術(shù)界開(kāi)源目前規(guī)模最大的中文普通話語(yǔ)音數(shù)據(jù)集DTZH1505。它記錄了6 408位來(lái)自中國(guó)八大方言地域、33個(gè)省份的說(shuō)話人的自然語(yǔ)言語(yǔ)音,時(shí)長(zhǎng)達(dá)1 505 h,語(yǔ)料內(nèi)容涵蓋社交聊天、人機(jī)交互、智能客服以及車(chē)載命令等。該數(shù)據(jù)集可應(yīng)用于多個(gè)領(lǐng)域,比如在語(yǔ)言學(xué)與社會(huì)學(xué)領(lǐng)域,可用于語(yǔ)料庫(kù)語(yǔ)言學(xué)、會(huì)話分析、二語(yǔ)習(xí)得、語(yǔ)言類(lèi)型學(xué)以及方言學(xué)等學(xué)科的研究;在計(jì)算機(jī)科學(xué)領(lǐng)域,可用于語(yǔ)音識(shí)別、說(shuō)話人識(shí)別、說(shuō)話人質(zhì)量評(píng)估、情感識(shí)別等應(yīng)用的研究。

    1 數(shù)據(jù)集構(gòu)建

    1.1 文本語(yǔ)料設(shè)計(jì)

    語(yǔ)料的設(shè)計(jì)取決于其服務(wù)的目標(biāo)任務(wù),如連續(xù)語(yǔ)句更適用于連續(xù)語(yǔ)音識(shí)別任務(wù),而說(shuō)話人識(shí)別任務(wù)只需要孤立詞[12]。理想情況下,一個(gè)標(biāo)準(zhǔn)的語(yǔ)料庫(kù)應(yīng)該同時(shí)適用于上述兩種情景。國(guó)內(nèi)的許多語(yǔ)音識(shí)別研究人員在這方面做了很多努力,比如社會(huì)科學(xué)院語(yǔ)言研究所創(chuàng)建的“863連續(xù)語(yǔ)音數(shù)據(jù)庫(kù)”863CSL[13]包含了1 500句文本,加上thchs30數(shù)據(jù)集中的1 000句文本,二音子、三音子的覆蓋率可分別達(dá)到73.4%、16.8%,然而這些語(yǔ)料多為從新聞中摘取的長(zhǎng)文本,絕大多數(shù)內(nèi)容為政治、經(jīng)濟(jì)、文化等方面的書(shū)面用語(yǔ)。

    現(xiàn)在,隨著語(yǔ)音識(shí)別技術(shù)的逐漸成熟,語(yǔ)音識(shí)別應(yīng)用也越來(lái)越深入到人們的日常生活中,其中,人機(jī)交互、智能客服等應(yīng)用已成為語(yǔ)音識(shí)別技術(shù)的主要涉足領(lǐng)域。本文聚焦于目前最新的語(yǔ)音識(shí)別需求,通過(guò)一系列的設(shè)計(jì)與制作生成了大規(guī)模的音素平衡自然語(yǔ)料庫(kù),詳細(xì)制作過(guò)程如圖1所示。

    圖1 文本語(yǔ)料設(shè)計(jì)流程圖Fig.1 Text corpus design flow chart

    1.1.1 文本語(yǔ)料采集

    本文通過(guò)互聯(lián)網(wǎng)抓取技術(shù),從論壇、微博、問(wèn)答社區(qū)、交互機(jī)器人等開(kāi)放網(wǎng)站或平臺(tái),搜集大量來(lái)自不同社會(huì)場(chǎng)景中的自然文本語(yǔ)料,初步構(gòu)建了自然語(yǔ)境下的中文口語(yǔ)化原始語(yǔ)料庫(kù),其所涵蓋的場(chǎng)景如表2所示。

    表2 原始語(yǔ)料文本分類(lèi)統(tǒng)計(jì)表Table 2 Social scenes coverage of original text corpus

    1.1.2 文本語(yǔ)料清洗

    按照標(biāo)點(diǎn)符號(hào)切割文本,過(guò)濾長(zhǎng)度在5~30之外的句子,并進(jìn)一步進(jìn)行拼寫(xiě)糾錯(cuò)、語(yǔ)義完整度檢測(cè)、語(yǔ)義濾重、文本脫敏等一系列文本清洗,生成待篩選的干凈語(yǔ)料集。

    首先,本文采用n元語(yǔ)法模型,即N-Gram語(yǔ)言模型來(lái)消除大部分中文拼寫(xiě)錯(cuò)誤。使用自有語(yǔ)料訓(xùn)練3-gram語(yǔ)言模型,并利用模型對(duì)語(yǔ)句中的詞打分,將得分低的位置視為待糾錯(cuò)位置,基于SIGHAN 2013 CSC語(yǔ)料構(gòu)建候選集,從中選擇困惑度最高的句子。

    其次,本文基于語(yǔ)義分析算法,對(duì)語(yǔ)料中文本的語(yǔ)義完整度進(jìn)行打分,認(rèn)定得分較低的文本為語(yǔ)義不完整,并去除該文本。同時(shí),本文根據(jù)語(yǔ)義框架的相似度計(jì)算,去除語(yǔ)義相同的文本,從而實(shí)現(xiàn)文本的語(yǔ)義濾重。

    最后,本文基于關(guān)鍵字匹配的過(guò)濾算法,識(shí)別出語(yǔ)料中可能影響到個(gè)人隱私、財(cái)產(chǎn)、企業(yè)信息、國(guó)家安全的敏感信息以及反動(dòng)、色情、暴力等不良內(nèi)容,并剔除含有敏感信息和不良內(nèi)容的句子。拼寫(xiě)糾錯(cuò)及語(yǔ)義分析、文本脫敏的實(shí)現(xiàn)效果如表3所示。

    表3 語(yǔ)料清洗效果演示表Table 3 Presentations of text corpus cleaning

    1.1.3 文本語(yǔ)料評(píng)分

    語(yǔ)料評(píng)選是語(yǔ)料庫(kù)設(shè)計(jì)的重要環(huán)節(jié),自然語(yǔ)境下的平衡語(yǔ)料庫(kù)的構(gòu)建則需要考慮多種因素。一方面,語(yǔ)音流中的協(xié)同發(fā)音現(xiàn)象對(duì)連續(xù)語(yǔ)音識(shí)別具有重要影響,而對(duì)中文來(lái)說(shuō),單個(gè)音素具有不穩(wěn)定性,因此,本文選取二音子及三音子作為反映協(xié)同發(fā)音的聲學(xué)基元。

    在語(yǔ)音學(xué)層面,以基本音子為基礎(chǔ),考慮兩個(gè)相鄰音子,即形成一個(gè)二音子(也稱(chēng)雙音子);同時(shí)考慮左、右相鄰音子,即形成三音子。對(duì)應(yīng)到聲學(xué)層面,二音子描述了兩個(gè)相鄰音子間的穩(wěn)定階段,而三音子描述了一個(gè)音子的穩(wěn)定階段及左、右兩邊音子的過(guò)渡階段。因此,二音子和三音子對(duì)于連續(xù)語(yǔ)音流中的協(xié)同發(fā)音現(xiàn)象具有更好的描述能力。普通話含有37個(gè)基本音子[14],按照音子在音節(jié)中的位置,又可細(xì)分為表4中的三類(lèi)音子。表5列出了部分音節(jié)及對(duì)應(yīng)的音子、二音子、三音子形式。

    表4 音子分類(lèi)表Table 4 Categories of Phones

    表5 音節(jié)、音子、二音子、三音子部分對(duì)應(yīng)表Table 5 Correspondence of syallables,phones,diphones,triphones

    另一方面,中文的音節(jié)具有獨(dú)特的聲韻母結(jié)構(gòu),因此,本文也選擇音節(jié)作為衡量語(yǔ)料庫(kù)平衡性的標(biāo)準(zhǔn)之一,此外,在人們的日常用語(yǔ)中,聲調(diào)也具有特別的意義,因此,有調(diào)音節(jié)也被考慮在內(nèi)。表6為對(duì)文本進(jìn)行分析的示例,包括原始文本、文本分詞、文本詞性、文本中字詞的有調(diào)音節(jié)、文本中的二音子序列及三音子序列共6層結(jié)構(gòu)。

    表6 文本分析結(jié)構(gòu)表Table 6 Text analysis structure table

    本文將無(wú)調(diào)音節(jié)、有調(diào)音節(jié)、二音子和三音子作為聲學(xué)基元,對(duì)每條句子計(jì)算其貢獻(xiàn)分?jǐn)?shù),即含有出現(xiàn)次數(shù)越少的聲學(xué)基元的句子的貢獻(xiàn)分?jǐn)?shù)越高。最后,分?jǐn)?shù)靠前的句子優(yōu)先被選出來(lái)。本文著重研究口語(yǔ)中的語(yǔ)音協(xié)同發(fā)音現(xiàn)象,因此設(shè)置無(wú)調(diào)音節(jié)、有調(diào)音節(jié)、二音子、三音子的權(quán)重分別為0.2、0.2、0.3、0.3。各聲學(xué)基元的貢獻(xiàn)分?jǐn)?shù)計(jì)算方法見(jiàn)公式(1),整句文本的計(jì)算方法見(jiàn)公式(2),其中,s是該句文本中對(duì)應(yīng)聲學(xué)基元的貢獻(xiàn)分?jǐn)?shù),I是當(dāng)前已選語(yǔ)料集中含有的對(duì)應(yīng)聲學(xué)基元的個(gè)數(shù),n代表聲學(xué)基元的種類(lèi),wn是指對(duì)應(yīng)聲學(xué)基元的權(quán)重,s n是指對(duì)應(yīng)聲學(xué)基元的貢獻(xiàn)分?jǐn)?shù),S即該句文本所具有的貢獻(xiàn)總分?jǐn)?shù)。

    1.1.4 文本語(yǔ)料配平

    為避免語(yǔ)料集在不同場(chǎng)景中的分布出現(xiàn)失衡,本文對(duì)打分后的語(yǔ)料集再次進(jìn)行文本分類(lèi),按照在語(yǔ)料采集階段中設(shè)定的各場(chǎng)景文本占比率由領(lǐng)域?qū)<已a(bǔ)充配平語(yǔ)料,調(diào)整語(yǔ)料的場(chǎng)景類(lèi)別和音素分布的傾斜性。本文最終得到30萬(wàn)條文本,使得在保留語(yǔ)料自然性的基礎(chǔ)上,最大限度地實(shí)現(xiàn)音素平衡,詳情請(qǐng)見(jiàn)表7。

    表7 DTZH1505文本語(yǔ)料庫(kù)音素覆蓋情況Table 7 Phonetic coverage of DTZH1505

    1.2 語(yǔ)音采集場(chǎng)景

    語(yǔ)音采集場(chǎng)景是由錄音設(shè)備、錄音軟件、環(huán)境布置、朗讀腳本和被采集人構(gòu)成。本文通過(guò)分布式的眾包模式,進(jìn)行大規(guī)模語(yǔ)音數(shù)據(jù)采集。

    語(yǔ)音采集環(huán)境均為底噪介于10~40 dB、混響時(shí)間小于1 s的安靜室內(nèi)。為避免出現(xiàn)回聲及混響,錄制室內(nèi)被要求放置一定量的填充物,比如日常家具。在正式錄制語(yǔ)音數(shù)據(jù)之前,自主研發(fā)的一款手機(jī)終端錄音軟件可以測(cè)試錄制環(huán)境的底噪是否滿足上述要求,并且只有當(dāng)說(shuō)話人的語(yǔ)音樣例數(shù)據(jù)達(dá)到檢測(cè)標(biāo)準(zhǔn)后,才可開(kāi)展正式的語(yǔ)音錄制。

    在數(shù)據(jù)錄制過(guò)程中,本文采用Android手機(jī)、iOS手機(jī)、錄制啟??刂破骷疤嵩~器搭建了一個(gè)綜合錄制平臺(tái),說(shuō)話人被要求采用正常語(yǔ)速朗讀提詞器的文本內(nèi)容,說(shuō)話人與手機(jī)之間的距離被嚴(yán)格控制在20~30 cm,如圖2所示。不管是Android手機(jī)還是iOS手機(jī),采集的語(yǔ)音均是16 kHz,16 bit的單通道wav格式。錄制所用設(shè)備的詳情如下:

    圖2 錄制環(huán)境示意圖Fig.2 Map of recording environment

    Android手機(jī):基于Android系統(tǒng)的移動(dòng)通訊設(shè)備,包括華為、中興、三星、聯(lián)想、HTC、酷派、小米等機(jī)型。

    iOS手機(jī):基于iOS系統(tǒng)的移動(dòng)通訊設(shè)備,包括iPhone8、iPhone7、iPhone6、iPhone5等機(jī)型。

    啟??刂破鳎赫Z(yǔ)音錄制平臺(tái)控制終端,用于檢測(cè)環(huán)境噪音,控制多設(shè)備同步采集。

    提詞器:語(yǔ)音錄制輔助工具,用于自動(dòng)顯示待朗讀文本,并提供計(jì)時(shí)提醒和語(yǔ)速檢測(cè)功能。

    1.3 錄制人員

    數(shù)據(jù)庫(kù)服務(wù)的目標(biāo)任務(wù)同樣決定了說(shuō)話者的數(shù)量,例如,語(yǔ)音識(shí)別任務(wù)對(duì)說(shuō)話者的數(shù)量沒(méi)有過(guò)多要求,但說(shuō)話者身份識(shí)別任務(wù)則要求有更多的說(shuō)話者[15]。本文建立數(shù)據(jù)集的目標(biāo)在于為更多領(lǐng)域的研究提供數(shù)據(jù)支撐。在本數(shù)據(jù)集中,共采集了6 408位來(lái)自中國(guó)八大方言地域、33個(gè)省份的說(shuō)話人,說(shuō)話人分布詳情見(jiàn)圖3。由圖3可看出,說(shuō)話人的性別分布均衡(男為2 999,女為3 301),年齡涵蓋了各個(gè)層次段。

    圖3 說(shuō)話人分布詳情圖Fig.3 Details of speakers’distributions

    1.4 語(yǔ)音標(biāo)注

    為確保語(yǔ)音標(biāo)注的準(zhǔn)確度,本文采取了多輪次的數(shù)據(jù)標(biāo)定工藝過(guò)程,具體包括以下步驟:

    第一步,由專(zhuān)業(yè)人員在標(biāo)注平臺(tái)對(duì)每句音頻轉(zhuǎn)寫(xiě)其真實(shí)的發(fā)音文本,在該階段,標(biāo)注人員負(fù)責(zé)核查音頻的真實(shí)內(nèi)容,并判斷音頻的有效性。如圖4所示,圖中的右半部分顯示了每段音頻的元數(shù)據(jù),包括文件名稱(chēng)、預(yù)設(shè)朗讀內(nèi)容及說(shuō)話人信息。圖中的左半部分為音頻的語(yǔ)音轉(zhuǎn)寫(xiě)及質(zhì)檢工作區(qū),最上面一行為該段音頻的時(shí)域波形圖,緊接著下面為標(biāo)注人員轉(zhuǎn)寫(xiě)的語(yǔ)音真實(shí)文本及是否是有效語(yǔ)音的判定。所有的音頻均按照詳細(xì)的標(biāo)注規(guī)范進(jìn)行統(tǒng)一的標(biāo)注,具體包括:

    嚴(yán)格化:若音頻含有嚴(yán)重噴麥、語(yǔ)音失真、噪音明顯、口齒不清等問(wèn)題,則視為無(wú)效語(yǔ)音。

    全面化:標(biāo)記有效語(yǔ)音段內(nèi)的即時(shí)噪音,如笑聲、咳嗽、打噴嚏等。

    規(guī)范化:比如根據(jù)說(shuō)話內(nèi)容區(qū)分標(biāo)注漢字“幺”和“一”,英文單詞間留有空格,但與漢字之間不留空格,英文縮略詞的字母之間不留空格,但全大寫(xiě)。

    口語(yǔ)化:細(xì)化到兒化音,比如下班兒、一點(diǎn)兒。

    真實(shí)化:所聽(tīng)即所寫(xiě),比如網(wǎng)址www.bbb.com標(biāo)注為“三W點(diǎn)兒BBB點(diǎn)兒COM”。

    第二步,由專(zhuān)業(yè)質(zhì)檢人員對(duì)標(biāo)注語(yǔ)音分別按照100%、50%、10%的比例進(jìn)行多輪抽樣質(zhì)檢,以檢查人工轉(zhuǎn)寫(xiě)的正確率。圖4中的左下部分為語(yǔ)音質(zhì)檢的工作區(qū),質(zhì)檢人員再次檢查語(yǔ)音轉(zhuǎn)寫(xiě)的正確性,判斷其中是否包含噪音、突發(fā)噪音、背景噪音、噴麥、空曠回音、電流干擾、文本錯(cuò)誤、非本土人等錯(cuò)誤。

    圖4 語(yǔ)音標(biāo)注及質(zhì)檢一體化平臺(tái)Fig.4 Integrated speech annotation and quality inspection platform

    經(jīng)過(guò)嚴(yán)格的語(yǔ)音標(biāo)注及質(zhì)檢,本文從最初采集得到的原始音頻數(shù)據(jù)中篩選出了大約1/2的合格語(yǔ)音數(shù)據(jù),這些合格數(shù)據(jù)達(dá)到了98%的轉(zhuǎn)寫(xiě)準(zhǔn)確率。

    1.5 數(shù)據(jù)開(kāi)源

    經(jīng)過(guò)大規(guī)模的錄制及后期嚴(yán)格的語(yǔ)音轉(zhuǎn)寫(xiě),本文最終構(gòu)建含有1 505 h語(yǔ)音時(shí)長(zhǎng)的大規(guī)模中文普通話語(yǔ)音數(shù)據(jù)集——DTZH1505,該數(shù)據(jù)集含有以下文件:

    音頻數(shù)據(jù):記錄說(shuō)話人的發(fā)音內(nèi)容,格式為16 kHz 16 bit單通道的wav文件。

    標(biāo)注文本:記錄每條語(yǔ)音的轉(zhuǎn)寫(xiě)文本。

    標(biāo)簽文本:記錄與每段音頻相關(guān)的音頻格式、說(shuō)話人信息、采集設(shè)備等元數(shù)據(jù)信息。

    目前,該數(shù)據(jù)集已經(jīng)面向?qū)W術(shù)研究開(kāi)放,可通過(guò)官方網(wǎng)址https://www.datatang.com/opensource獲取該數(shù)據(jù)集。

    1.6 中文通用語(yǔ)言模型

    現(xiàn)在主流的基于深度學(xué)習(xí)的語(yǔ)音識(shí)別模型可分為兩大類(lèi),一種是利用深度學(xué)習(xí)模型取代原來(lái)的GMM部分,即DNN-HMM模型;另一種是端到端的深度學(xué)習(xí)模型。盡管目前端到端的語(yǔ)音識(shí)別系統(tǒng)嘗試以單個(gè)系統(tǒng)的方式聯(lián)合學(xué)習(xí)聲學(xué)模型及語(yǔ)言模型,但語(yǔ)言模型具有對(duì)模型輸出文本進(jìn)行解碼和修正的作用,因此仍是目前提升語(yǔ)音識(shí)別效果的關(guān)鍵因素。另一方面,建立保留語(yǔ)料自然性的大規(guī)模平衡口語(yǔ)語(yǔ)料庫(kù)仍需不斷擴(kuò)充其庫(kù)容量,語(yǔ)料數(shù)量太小,某些詞語(yǔ)的出現(xiàn)頻率就會(huì)大大降低。因此,只有依賴大量的實(shí)際用例,才能夠支撐通用的中文口語(yǔ)語(yǔ)言模型研究。

    本文以上文描述的DTZH1505數(shù)據(jù)集中的自然口語(yǔ)語(yǔ)料(超過(guò)105萬(wàn)條文本,共超過(guò)500萬(wàn)詞匯)為基礎(chǔ),訓(xùn)練中文口語(yǔ)基準(zhǔn)語(yǔ)言模型,并在此基礎(chǔ)上,不斷疊加另外的130萬(wàn)條取自于對(duì)話、車(chē)載、通用場(chǎng)景下的文本以及9 000萬(wàn)條社交場(chǎng)景下的文本數(shù)據(jù),以不斷提升語(yǔ)言模型效果,不同量級(jí)中文口語(yǔ)語(yǔ)料庫(kù)(Chinese spoken corpora,CSC)的數(shù)據(jù)詳情見(jiàn)表8。

    本文利用Kaldi工具[16]訓(xùn)練基于上述語(yǔ)料庫(kù)的三元文法語(yǔ)言模型,采用了Kneser-Ney平滑算法,將未登錄詞映射到UNK,生成ARPA格式的語(yǔ)言模型。同時(shí),本文利用集外的1萬(wàn)條對(duì)話場(chǎng)景下的文本作為測(cè)試集,計(jì)算以上3種語(yǔ)言模型的困惑度(PPL),以此評(píng)估語(yǔ)言模型的性能,評(píng)估結(jié)果詳見(jiàn)表8。

    表8 語(yǔ)言模型測(cè)試結(jié)果Table 8 Evaluation results of language models

    根據(jù)語(yǔ)言模型的測(cè)試效果可知,隨著口語(yǔ)語(yǔ)料的增加,中文口語(yǔ)語(yǔ)言模型效果具有顯著的提升,并且在9 235萬(wàn)條文本、超過(guò)1.6億詞匯的訓(xùn)練下,語(yǔ)言模型的困惑度較基準(zhǔn)語(yǔ)言模型降低了40.6%。

    語(yǔ)言模型的改進(jìn)同時(shí)增強(qiáng)了語(yǔ)音識(shí)別模型效果。與語(yǔ)音數(shù)據(jù)集一樣,本文也將優(yōu)化后的中文語(yǔ)音識(shí)別模型開(kāi)源到Kaldi平臺(tái)(http://kaldi-asr.org/models/m10),有關(guān)實(shí)驗(yàn)過(guò)程及結(jié)果在下章詳細(xì)介紹。

    2 語(yǔ)音識(shí)別實(shí)驗(yàn)

    2.1 基準(zhǔn)實(shí)驗(yàn)

    為了驗(yàn)證DTZH1505數(shù)據(jù)集的品質(zhì),本文基于Kaldi開(kāi)展一系列語(yǔ)音識(shí)別基準(zhǔn)實(shí)驗(yàn)。本實(shí)驗(yàn)的聲學(xué)模型訓(xùn)練部分又分為基于概率統(tǒng)計(jì)的高斯混合-隱馬爾可夫(GMM-HMM)模型與基于深度學(xué)習(xí)的深度神經(jīng)網(wǎng)絡(luò)-隱馬爾科夫(DNN-HMM)混合模型兩個(gè)階段。

    GMM-HMM模型使用的是13維MFCC與3維pitch特征,訓(xùn)練過(guò)程又可分為以下幾個(gè)階段,由部分?jǐn)?shù)據(jù)快速啟動(dòng)單音子模型的訓(xùn)練。

    (1)采用類(lèi)似的方法快速啟動(dòng)三音子模型的訓(xùn)練。

    (2)使用全部數(shù)據(jù)集進(jìn)行三音子模型的整體訓(xùn)練。

    (3)利用線性判別分析LDA算法對(duì)上下文的多幀數(shù)據(jù)進(jìn)行降維,結(jié)合最大似然線性變換MLLT算法進(jìn)行說(shuō)話人無(wú)關(guān)的全局變換。

    在DNN-HMM模型訓(xùn)練階段,輸入特征是40維高精度MFCC特征與3維pitch特征,表征說(shuō)話人信息的i-vector[17]特征也作為輸入用于DNN的訓(xùn)練。實(shí)驗(yàn)采用時(shí)延神經(jīng)網(wǎng)絡(luò)(TDNN)[18]搭配鏈?zhǔn)侥P停–hain model)來(lái)訓(xùn)練聲學(xué)模型。在實(shí)驗(yàn)過(guò)程中,本文也采取了數(shù)據(jù)增強(qiáng)方法來(lái)擴(kuò)展訓(xùn)練集。

    在本實(shí)驗(yàn)中,所有數(shù)據(jù)集被按照7∶1∶2比例劃分成訓(xùn)練集、驗(yàn)證集、測(cè)試集,表9為基于該數(shù)據(jù)集進(jìn)行語(yǔ)音識(shí)別的字錯(cuò)誤率(CER),用以表征語(yǔ)音識(shí)別的效果。其中,aishell2的測(cè)試結(jié)果來(lái)自于文獻(xiàn)[7]中與其訓(xùn)練集數(shù)據(jù)來(lái)源相同的iOS測(cè)試集。

    表9 基準(zhǔn)實(shí)驗(yàn)結(jié)果Table 9 Benchmark experiment results %

    從實(shí)驗(yàn)結(jié)果中可以看出來(lái),DNN-HMM模型的識(shí)別性能大大超過(guò)GMM-HMM模型的識(shí)別性能,同時(shí),基于本文創(chuàng)建的中文語(yǔ)音數(shù)據(jù)集的字錯(cuò)誤率降低至3.41%,相比于同類(lèi)型的中文開(kāi)源語(yǔ)音數(shù)據(jù)集aishell2,字錯(cuò)誤率降低了61%,這也說(shuō)明了該數(shù)據(jù)集的品質(zhì)。

    2.2 模型優(yōu)化

    語(yǔ)言模型是影響語(yǔ)音識(shí)別效果的關(guān)鍵因素之一,語(yǔ)言模型的提升不僅在于算法的改進(jìn),更在于豐富、完備、優(yōu)質(zhì)的語(yǔ)料庫(kù)的支撐。如1.6節(jié)所述,更多優(yōu)質(zhì)的語(yǔ)料的加入,大大提升了語(yǔ)言模型的性能。本文在2.1節(jié)所述基準(zhǔn)實(shí)驗(yàn)的基礎(chǔ)上,利用優(yōu)化后的語(yǔ)言模型分別測(cè)試在ST-CMDS及thchs30數(shù)據(jù)集上的語(yǔ)音識(shí)別效果,見(jiàn)表10。

    表10 模型優(yōu)化后的語(yǔ)音識(shí)別結(jié)果Table 10 Speech recognition results after model optimization %

    ST-CMDS數(shù)據(jù)集的語(yǔ)料以日常用語(yǔ)為主,而thchs30數(shù)據(jù)集的語(yǔ)料以新聞?lì)愰L(zhǎng)文本為主。從表10可以看出來(lái),基于DTZH1505數(shù)據(jù)集訓(xùn)練的基準(zhǔn)語(yǔ)音識(shí)別模型可以在不同語(yǔ)料領(lǐng)域均有很好表現(xiàn),并且在優(yōu)化了語(yǔ)言模型之后,字錯(cuò)誤率均降低了21%左右,從而驗(yàn)證了該語(yǔ)音識(shí)別模型的通用性。

    3 總結(jié)

    本文介紹了一個(gè)大規(guī)模開(kāi)源中文普通話語(yǔ)音數(shù)據(jù)集DTZH1505,詳細(xì)描述了數(shù)據(jù)集設(shè)計(jì)及制作的過(guò)程。該數(shù)據(jù)集包含了6 408位說(shuō)話人,錄音時(shí)長(zhǎng)達(dá)1 505 h,標(biāo)注準(zhǔn)確率達(dá)98%,覆蓋主流移動(dòng)設(shè)備,采集標(biāo)簽達(dá)30項(xiàng),可廣泛用于語(yǔ)音識(shí)別、聲紋識(shí)別、說(shuō)話人質(zhì)量評(píng)估、語(yǔ)料庫(kù)語(yǔ)言學(xué)、會(huì)話分析、二語(yǔ)習(xí)得、語(yǔ)言類(lèi)型學(xué)等研究。本文在最后基于該數(shù)據(jù)集進(jìn)行語(yǔ)音識(shí)別基準(zhǔn)實(shí)驗(yàn),并對(duì)比目前同規(guī)模中文語(yǔ)音數(shù)據(jù)集的語(yǔ)音識(shí)別效果,從而驗(yàn)證該數(shù)據(jù)集的品質(zhì)。同時(shí),本文在該數(shù)據(jù)集的基礎(chǔ)上增加大規(guī)模文本語(yǔ)料,訓(xùn)練出更通用的中文口語(yǔ)語(yǔ)言模型,進(jìn)一步提升了語(yǔ)音識(shí)別效果。為了便于研究和使用,該數(shù)據(jù)集及中文語(yǔ)音識(shí)別模型已開(kāi)源,以推動(dòng)中文語(yǔ)音識(shí)別技術(shù)研究的發(fā)展。

    猜你喜歡
    文本語(yǔ)言模型
    一半模型
    重要模型『一線三等角』
    重尾非線性自回歸模型自加權(quán)M-估計(jì)的漸近分布
    語(yǔ)言是刀
    文苑(2020年4期)2020-05-30 12:35:30
    在808DA上文本顯示的改善
    基于doc2vec和TF-IDF的相似文本識(shí)別
    電子制作(2018年18期)2018-11-14 01:48:06
    讓語(yǔ)言描寫(xiě)搖曳多姿
    累積動(dòng)態(tài)分析下的同聲傳譯語(yǔ)言壓縮
    3D打印中的模型分割與打包
    文本之中·文本之外·文本之上——童話故事《坐井觀天》的教學(xué)隱喻
    久久人妻av系列| 插逼视频在线观看| av在线天堂中文字幕| 亚洲欧美精品专区久久| 国产大屁股一区二区在线视频| 毛片一级片免费看久久久久| 亚洲成人中文字幕在线播放| 搞女人的毛片| 国产乱人偷精品视频| 2021少妇久久久久久久久久久| 亚洲内射少妇av| 一个人免费在线观看电影| 午夜精品在线福利| 成人鲁丝片一二三区免费| 免费看日本二区| 成年av动漫网址| 中文字幕久久专区| 不卡视频在线观看欧美| 夜夜看夜夜爽夜夜摸| 国产爱豆传媒在线观看| 亚洲欧美日韩东京热| 亚洲国产精品国产精品| 久久精品国产亚洲网站| 如何舔出高潮| 亚洲三级黄色毛片| 国产探花极品一区二区| 欧美日韩一区二区视频在线观看视频在线 | 日本av手机在线免费观看| 超碰av人人做人人爽久久| 97热精品久久久久久| 91久久精品国产一区二区三区| 69av精品久久久久久| 嫩草影院新地址| 免费av毛片视频| 亚洲,欧美,日韩| 日韩亚洲欧美综合| 五月玫瑰六月丁香| 欧美日本亚洲视频在线播放| 看免费成人av毛片| 亚洲精品乱码久久久v下载方式| 校园人妻丝袜中文字幕| 爱豆传媒免费全集在线观看| 一区二区三区高清视频在线| 国产激情偷乱视频一区二区| 女的被弄到高潮叫床怎么办| 插阴视频在线观看视频| 狂野欧美白嫩少妇大欣赏| 少妇熟女欧美另类| 国产成人福利小说| 国产亚洲最大av| 国产av码专区亚洲av| 国产精品美女特级片免费视频播放器| 国产一区二区在线av高清观看| 神马国产精品三级电影在线观看| 亚洲最大成人中文| 亚洲av不卡在线观看| 99久久精品国产国产毛片| 久久久精品欧美日韩精品| 国内揄拍国产精品人妻在线| 只有这里有精品99| av在线蜜桃| 白带黄色成豆腐渣| 久久热精品热| 九九久久精品国产亚洲av麻豆| 亚洲精品国产成人久久av| 久久午夜福利片| 日韩一区二区三区影片| 男女那种视频在线观看| 国产亚洲精品av在线| 久久精品91蜜桃| 亚洲国产精品sss在线观看| 爱豆传媒免费全集在线观看| 精品免费久久久久久久清纯| 成人性生交大片免费视频hd| 国产久久久一区二区三区| 中文字幕av在线有码专区| av福利片在线观看| 人人妻人人澡欧美一区二区| 一区二区三区高清视频在线| 精品一区二区免费观看| 国产亚洲最大av| 日韩欧美精品免费久久| 久久精品久久久久久久性| 午夜久久久久精精品| 国产精品不卡视频一区二区| 高清午夜精品一区二区三区| 成人三级黄色视频| 少妇的逼好多水| 久久6这里有精品| 国产精品一区www在线观看| 亚洲精品456在线播放app| 黄色欧美视频在线观看| 亚洲经典国产精华液单| 亚洲欧美精品专区久久| 天堂√8在线中文| 色播亚洲综合网| 成人av在线播放网站| 亚洲国产精品久久男人天堂| 亚洲成av人片在线播放无| 午夜福利在线观看免费完整高清在| 日韩中字成人| 亚洲精品国产成人久久av| 丰满少妇做爰视频| 欧美成人一区二区免费高清观看| 热99re8久久精品国产| 国产片特级美女逼逼视频| 亚洲人成网站在线播| 国产精品人妻久久久久久| 日本-黄色视频高清免费观看| 久久精品国产自在天天线| 亚洲av电影在线观看一区二区三区 | 亚洲精品一区蜜桃| 黄色配什么色好看| 亚洲精品aⅴ在线观看| 在线天堂最新版资源| 少妇的逼水好多| 免费黄网站久久成人精品| 亚洲欧美日韩高清专用| 日韩强制内射视频| 亚洲国产精品成人久久小说| 国产亚洲av片在线观看秒播厂 | 老司机影院成人| 18禁裸乳无遮挡免费网站照片| 国产黄色视频一区二区在线观看 | 91午夜精品亚洲一区二区三区| 日韩欧美三级三区| 嫩草影院入口| 极品教师在线视频| 久久亚洲国产成人精品v| 1000部很黄的大片| 色综合亚洲欧美另类图片| 国产一区亚洲一区在线观看| 日韩av在线大香蕉| 嘟嘟电影网在线观看| 国产91av在线免费观看| 久久亚洲国产成人精品v| 日本黄大片高清| 亚洲怡红院男人天堂| 最近中文字幕高清免费大全6| 99热6这里只有精品| 黄色欧美视频在线观看| 精品熟女少妇av免费看| 久久久久久久久大av| 99国产精品一区二区蜜桃av| 麻豆av噜噜一区二区三区| 亚洲av中文字字幕乱码综合| 最近中文字幕2019免费版| 亚洲真实伦在线观看| 丰满乱子伦码专区| 精品一区二区三区视频在线| 成人综合一区亚洲| av.在线天堂| 久久婷婷人人爽人人干人人爱| 一夜夜www| 色视频www国产| 91狼人影院| 波多野结衣高清无吗| 国产成人福利小说| 久99久视频精品免费| 国产免费又黄又爽又色| 成年女人看的毛片在线观看| 免费电影在线观看免费观看| 国产精品爽爽va在线观看网站| 如何舔出高潮| 国产精品乱码一区二三区的特点| 免费看a级黄色片| 听说在线观看完整版免费高清| 欧美xxxx黑人xx丫x性爽| 别揉我奶头 嗯啊视频| 成年版毛片免费区| 久久久久精品久久久久真实原创| 国产av不卡久久| 亚洲最大成人手机在线| 亚洲在线观看片| 久久精品91蜜桃| 国产欧美另类精品又又久久亚洲欧美| 亚洲四区av| 亚洲美女搞黄在线观看| 国产成人freesex在线| av在线观看视频网站免费| 久久精品综合一区二区三区| 非洲黑人性xxxx精品又粗又长| av专区在线播放| 免费观看在线日韩| 国产中年淑女户外野战色| 热99re8久久精品国产| 内地一区二区视频在线| 欧美人与善性xxx| 亚洲成人av在线免费| 日韩欧美在线乱码| 青春草视频在线免费观看| av线在线观看网站| 联通29元200g的流量卡| 国产伦理片在线播放av一区| 成年版毛片免费区| 亚洲欧美精品自产自拍| 日本与韩国留学比较| 草草在线视频免费看| 一边亲一边摸免费视频| 欧美性猛交╳xxx乱大交人| 久久午夜福利片| 最近手机中文字幕大全| 一边摸一边抽搐一进一小说| 久久久色成人| 建设人人有责人人尽责人人享有的 | 国产精品1区2区在线观看.| 神马国产精品三级电影在线观看| 乱人视频在线观看| 欧美丝袜亚洲另类| 亚洲精华国产精华液的使用体验| 国产亚洲5aaaaa淫片| 一本久久精品| 欧美成人精品欧美一级黄| 女人久久www免费人成看片 | 国产91av在线免费观看| 白带黄色成豆腐渣| 久久久久久久久久黄片| 亚洲av熟女| 99热这里只有精品一区| 波野结衣二区三区在线| 亚洲国产欧美在线一区| 男人和女人高潮做爰伦理| 精品国内亚洲2022精品成人| 男人舔女人下体高潮全视频| 亚洲欧美一区二区三区国产| 老司机影院毛片| 狂野欧美激情性xxxx在线观看| 国产精品国产三级国产专区5o | 国产三级中文精品| 狂野欧美激情性xxxx在线观看| 青春草国产在线视频| 久久久久免费精品人妻一区二区| 村上凉子中文字幕在线| 偷拍熟女少妇极品色| 中文字幕亚洲精品专区| 亚洲成色77777| 久久久久久久久大av| 亚洲综合精品二区| 观看免费一级毛片| 久久热精品热| 国产视频首页在线观看| 国产一级毛片在线| 免费看光身美女| 色噜噜av男人的天堂激情| av国产久精品久网站免费入址| 老师上课跳d突然被开到最大视频| av.在线天堂| 国产高清视频在线观看网站| 少妇熟女欧美另类| 少妇熟女aⅴ在线视频| 搡女人真爽免费视频火全软件| 午夜老司机福利剧场| 国产又黄又爽又无遮挡在线| 22中文网久久字幕| 最近视频中文字幕2019在线8| 麻豆av噜噜一区二区三区| 国产毛片a区久久久久| 中文天堂在线官网| 久久综合国产亚洲精品| 乱码一卡2卡4卡精品| 人妻夜夜爽99麻豆av| 免费av毛片视频| 亚洲欧美日韩高清专用| 日韩在线高清观看一区二区三区| eeuss影院久久| 最近手机中文字幕大全| 国产午夜精品一二区理论片| 中文欧美无线码| av.在线天堂| 又粗又硬又长又爽又黄的视频| 国产美女午夜福利| 欧美日韩国产亚洲二区| 亚洲自拍偷在线| 性插视频无遮挡在线免费观看| 99热这里只有是精品50| 91久久精品电影网| 亚洲精品色激情综合| 亚洲成人久久爱视频| 色5月婷婷丁香| 亚洲怡红院男人天堂| 在现免费观看毛片| 波多野结衣巨乳人妻| 欧美日韩在线观看h| 毛片一级片免费看久久久久| 桃色一区二区三区在线观看| av专区在线播放| 日韩成人伦理影院| 插逼视频在线观看| 欧美日韩在线观看h| 亚洲一级一片aⅴ在线观看| 久久99热这里只频精品6学生 | 免费观看性生交大片5| 精品一区二区三区视频在线| 午夜精品国产一区二区电影 | 亚洲人成网站高清观看| 色综合色国产| 深夜a级毛片| 亚洲精品国产成人久久av| 亚洲欧洲日产国产| 好男人视频免费观看在线| 国产精品久久电影中文字幕| 特级一级黄色大片| 亚洲激情五月婷婷啪啪| 亚洲av成人精品一二三区| 国产精品久久久久久精品电影| 精品久久久久久久久av| 国产免费视频播放在线视频 | 69人妻影院| 亚洲av中文字字幕乱码综合| 高清av免费在线| 国产大屁股一区二区在线视频| .国产精品久久| 国产精品国产三级专区第一集| 在线免费观看的www视频| 精品久久久久久久久av| 国产黄片视频在线免费观看| 亚洲av免费高清在线观看| 欧美成人午夜免费资源| 啦啦啦观看免费观看视频高清| 国产精品人妻久久久久久| 夜夜看夜夜爽夜夜摸| 亚洲欧洲国产日韩| 国产视频首页在线观看| 国产精品一区www在线观看| 国产午夜精品论理片| 国产伦精品一区二区三区视频9| 日韩欧美精品免费久久| 国产激情偷乱视频一区二区| 国产精品无大码| 国模一区二区三区四区视频| 久久精品熟女亚洲av麻豆精品 | 日韩成人伦理影院| 精品一区二区免费观看| 乱系列少妇在线播放| 男女那种视频在线观看| 欧美三级亚洲精品| 亚洲av.av天堂| av视频在线观看入口| 精品99又大又爽又粗少妇毛片| 不卡视频在线观看欧美| 又粗又爽又猛毛片免费看| 色噜噜av男人的天堂激情| 免费大片18禁| 国产一级毛片在线| 欧美不卡视频在线免费观看| 日日啪夜夜撸| 嫩草影院精品99| 免费看av在线观看网站| 国产色婷婷99| 国产精品一区二区性色av| 国产高清视频在线观看网站| 美女cb高潮喷水在线观看| 久久精品国产亚洲av天美| av在线亚洲专区| 久久欧美精品欧美久久欧美| 亚洲国产欧洲综合997久久,| 美女内射精品一级片tv| 国产伦理片在线播放av一区| 国产高清视频在线观看网站| 中文字幕免费在线视频6| 国产一级毛片七仙女欲春2| 日日干狠狠操夜夜爽| 啦啦啦观看免费观看视频高清| 婷婷色综合大香蕉| 三级毛片av免费| 国产精品.久久久| 男女边吃奶边做爰视频| 免费黄网站久久成人精品| 国产高潮美女av| 一区二区三区四区激情视频| 久久精品熟女亚洲av麻豆精品 | 免费看av在线观看网站| 国产色婷婷99| 非洲黑人性xxxx精品又粗又长| a级一级毛片免费在线观看| 成年女人看的毛片在线观看| 中文欧美无线码| 国产国拍精品亚洲av在线观看| 男人狂女人下面高潮的视频| 日韩人妻高清精品专区| 欧美一区二区国产精品久久精品| 亚洲精品一区蜜桃| 亚洲精品,欧美精品| 一边摸一边抽搐一进一小说| 一个人看视频在线观看www免费| 国产一区亚洲一区在线观看| 在线播放国产精品三级| 亚洲精品,欧美精品| 国产精品熟女久久久久浪| 黄色一级大片看看| 久久亚洲精品不卡| 人妻系列 视频| 在线播放无遮挡| 美女黄网站色视频| 欧美成人免费av一区二区三区| 午夜福利网站1000一区二区三区| av国产久精品久网站免费入址| 国产免费男女视频| 久久久久久国产a免费观看| 91精品国产九色| 欧美一区二区精品小视频在线| 亚洲高清免费不卡视频| 日韩一区二区视频免费看| 婷婷六月久久综合丁香| 嘟嘟电影网在线观看| 欧美一区二区精品小视频在线| 亚洲国产最新在线播放| 亚洲在久久综合| 长腿黑丝高跟| 99久久成人亚洲精品观看| 2021天堂中文幕一二区在线观| 国产亚洲av嫩草精品影院| 啦啦啦观看免费观看视频高清| 亚洲怡红院男人天堂| 国语对白做爰xxxⅹ性视频网站| 欧美日韩国产亚洲二区| 精品久久国产蜜桃| 国产又黄又爽又无遮挡在线| 成人国产麻豆网| 99热全是精品| 国产成人精品久久久久久| 精品久久久久久久末码| 少妇熟女aⅴ在线视频| 中文字幕熟女人妻在线| 午夜精品一区二区三区免费看| 成人国产麻豆网| 建设人人有责人人尽责人人享有的 | 国产私拍福利视频在线观看| 成年av动漫网址| 蜜臀久久99精品久久宅男| 国产真实乱freesex| 成人亚洲欧美一区二区av| 乱人视频在线观看| 波多野结衣巨乳人妻| 国产成年人精品一区二区| 亚洲国产成人一精品久久久| 日韩欧美精品v在线| 国产美女午夜福利| 国产午夜福利久久久久久| 欧美成人a在线观看| 亚洲人成网站在线观看播放| 97超视频在线观看视频| 午夜福利成人在线免费观看| 永久网站在线| 亚洲五月天丁香| 一个人看视频在线观看www免费| 少妇被粗大猛烈的视频| 免费观看的影片在线观看| 欧美日韩国产亚洲二区| 国产大屁股一区二区在线视频| 国产 一区精品| 水蜜桃什么品种好| 久久99精品国语久久久| 欧美高清性xxxxhd video| 国产精品,欧美在线| 亚洲三级黄色毛片| 久久综合国产亚洲精品| av天堂中文字幕网| av女优亚洲男人天堂| 欧美又色又爽又黄视频| 精品99又大又爽又粗少妇毛片| 最近最新中文字幕免费大全7| 联通29元200g的流量卡| 免费观看人在逋| 网址你懂的国产日韩在线| 日本一二三区视频观看| 午夜日本视频在线| 国产精品久久电影中文字幕| 长腿黑丝高跟| 搞女人的毛片| 亚洲综合精品二区| 久久欧美精品欧美久久欧美| 内地一区二区视频在线| 一边亲一边摸免费视频| 两性午夜刺激爽爽歪歪视频在线观看| 久久午夜福利片| 91久久精品电影网| 极品教师在线视频| 国产精品人妻久久久影院| 久久精品久久久久久噜噜老黄 | 精品午夜福利在线看| 国产午夜精品一二区理论片| 亚洲国产精品成人综合色| 天堂中文最新版在线下载 | 18禁在线播放成人免费| 国产高清不卡午夜福利| 久99久视频精品免费| 91av网一区二区| 国产在视频线在精品| 久久久久久国产a免费观看| 两性午夜刺激爽爽歪歪视频在线观看| 午夜福利视频1000在线观看| 久久久午夜欧美精品| 99热这里只有精品一区| 高清av免费在线| 搞女人的毛片| 国产亚洲av嫩草精品影院| 2022亚洲国产成人精品| 亚洲图色成人| 男女边吃奶边做爰视频| 色综合色国产| 成人性生交大片免费视频hd| 少妇被粗大猛烈的视频| 大又大粗又爽又黄少妇毛片口| 我要搜黄色片| 熟女电影av网| 婷婷六月久久综合丁香| 午夜视频国产福利| 亚洲aⅴ乱码一区二区在线播放| 国产成人精品久久久久久| 日本黄色片子视频| 我的女老师完整版在线观看| 久久亚洲国产成人精品v| 好男人视频免费观看在线| 久久久亚洲精品成人影院| 一卡2卡三卡四卡精品乱码亚洲| 亚洲av成人av| 熟妇人妻久久中文字幕3abv| 久久国内精品自在自线图片| 亚洲真实伦在线观看| 国产乱人偷精品视频| 综合色av麻豆| 夫妻性生交免费视频一级片| 在线免费观看不下载黄p国产| 搡女人真爽免费视频火全软件| 美女被艹到高潮喷水动态| 一区二区三区四区激情视频| 亚洲精品aⅴ在线观看| 特大巨黑吊av在线直播| 五月玫瑰六月丁香| 日本熟妇午夜| 在线免费十八禁| 五月伊人婷婷丁香| 国产淫语在线视频| 亚洲av熟女| 欧美精品一区二区大全| 国产精品久久电影中文字幕| 久久精品综合一区二区三区| 免费av不卡在线播放| 51国产日韩欧美| 九九久久精品国产亚洲av麻豆| 中文字幕av在线有码专区| 精品久久久久久久末码| 午夜福利在线在线| 国产在视频线在精品| 听说在线观看完整版免费高清| 插逼视频在线观看| 成人鲁丝片一二三区免费| 国产欧美另类精品又又久久亚洲欧美| 亚洲在久久综合| 日韩亚洲欧美综合| 色噜噜av男人的天堂激情| 国产精品野战在线观看| 18禁在线无遮挡免费观看视频| 日日啪夜夜撸| 十八禁国产超污无遮挡网站| 嫩草影院新地址| 国产极品精品免费视频能看的| 国产精品久久久久久久久免| 日本猛色少妇xxxxx猛交久久| 国产毛片a区久久久久| 国产成人aa在线观看| 草草在线视频免费看| 欧美高清成人免费视频www| 日韩欧美精品免费久久| 亚洲成人精品中文字幕电影| 国产成人精品一,二区| 青青草视频在线视频观看| 人体艺术视频欧美日本| 麻豆av噜噜一区二区三区| 精品午夜福利在线看| 国产精品99久久久久久久久| 国产淫片久久久久久久久| 26uuu在线亚洲综合色| 亚洲av中文字字幕乱码综合| 一边摸一边抽搐一进一小说| 亚洲成人精品中文字幕电影| 啦啦啦韩国在线观看视频| 国产免费视频播放在线视频 | 国产欧美日韩精品一区二区| 一级毛片久久久久久久久女| 一个人看的www免费观看视频| 亚洲最大成人手机在线| 日本午夜av视频| 欧美潮喷喷水| 日韩成人av中文字幕在线观看| av天堂中文字幕网| 简卡轻食公司| 亚洲伊人久久精品综合 | 欧美日本视频| 18禁裸乳无遮挡免费网站照片| 欧美人与性动交α欧美精品济南到 | 熟妇人妻不卡中文字幕| 久久午夜综合久久蜜桃| 寂寞人妻少妇视频99o| 三上悠亚av全集在线观看| 久久ye,这里只有精品| 成年美女黄网站色视频大全免费| 久久久久久久国产电影| 欧美少妇被猛烈插入视频| 香蕉丝袜av| 国产欧美日韩一区二区三区在线| 一级毛片电影观看| 国产熟女欧美一区二区| 女人被躁到高潮嗷嗷叫费观| 伦理电影免费视频| 亚洲欧美一区二区三区黑人 | 久久女婷五月综合色啪小说| 国产69精品久久久久777片| 亚洲内射少妇av| 美女脱内裤让男人舔精品视频| 欧美成人精品欧美一级黄| 亚洲欧洲精品一区二区精品久久久 | 99热全是精品| 午夜激情久久久久久久|