• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于百科語料的中英文雙語詞典提取

    2021-03-18 02:52:52單力秋于濟凡陶明陽
    中文信息學報 2021年1期
    關(guān)鍵詞:百科詞條括號

    王 星,單力秋,侯 磊,于濟凡,陳 吉,陶明陽

    (1. 遼寧工程技術(shù)大學 電子與信息工程學院,遼寧 葫蘆島 125105;2. 清華大學 計算機科學與技術(shù)系,北京 100084;3. 清華大學 人工智能研究院知識智能研究中心,北京 100084;4. 清華大學 北京信息科學與技術(shù)國家研究中心,北京 100084)

    0 引言

    隨著信息技術(shù)的飛速發(fā)展,不同國家和地區(qū)之間的交流日趨頻繁,這使得跨語言自然語言處理顯得愈發(fā)的有價值。在跨語言自然語言處理中,雙語詞典是一項非常重要的資源,其可以提供詞匯語義的跨語言等價信息[1],對許多跨語言自然語言處理任務很有幫助,例如,跨語言信息檢索[2]、機器翻譯[3]、跨語言標注投射[4]等。

    隨著社會的發(fā)展,新的概念、術(shù)語層出不窮,專業(yè)領(lǐng)域新詞不斷涌現(xiàn),手工編纂雙語詞典的方法已經(jīng)無法及時滿足需求[5]。近年來,使用計算機技術(shù)自動提取雙語詞典的方法得到了許多研究人員的關(guān)注[6]。一般來說,使用計算機技術(shù)自動提取雙語詞典的方法按照語料庫的不同分為基于平行語料庫的方法和基于可比語料庫的方法[7]。但是這兩種方法往往會因為沒有足夠多對應的雙語語料,以至于無法提取出新詞或者某些技術(shù)術(shù)語[8-9]。Nagata等人[9]在2001年指出,對于某些技術(shù)術(shù)語,可以從部分雙語數(shù)據(jù)中獲得其雙語信息。例如,在日語中,當引入眾所周知的詞(如技術(shù)術(shù)語或名稱)時,通常在第一次使用后在括號中添加與之等價的英文。不僅僅是日語,在中文中也常會出現(xiàn)這種情形,例如,在“姚明”的百科信息中,就存在“姚明(Yao Ming),男,漢族”的信息,名詞“姚明”的后面就是括號和姚明的英文?;诖?,F(xiàn)rancis Bond[8]在2008年提出了一種在部分雙語語料中提取雙語術(shù)語的方法,但由于該方法的語料庫為論文集、期刊文章以及IT新聞中的文本,故該方法缺少對文本內(nèi)容以外部分的提取。

    針對此類不足,本文以中英文兩種語言為例,提出了一種基于百科語料的中英文雙語詞典提取方法。網(wǎng)上的資源豐富、種類繁雜,而且更新很快,幾乎所有新出現(xiàn)的概念或術(shù)語都會在網(wǎng)上有所論述[10],而在線百科是對這些資源的匯總,故對在線百科進行專門的雙語詞典提取能夠提取出新詞和技術(shù)術(shù)語。本方法在一定程度上彌補了基于平行語料庫和基于可比語料庫兩種方法的不足,同時相比于只從部分雙語語料文本內(nèi)容里提取雙語信息的方法,本方法結(jié)合了在線百科特有的結(jié)構(gòu)特點,多提取到了一倍多的雙語信息。但也由于在線百科是不斷更新的,我們的語料庫是離線的源代碼,可能會出現(xiàn)術(shù)語覆蓋不全面的情況,因此我們的語料庫也需要定期的更新。

    本方法一共分為兩大模塊,分別對百科語料進行了五種不同的提取方法,其中第一模塊的三種提取方法的成功率都達到了98%以上,五種提取方法提取到的雙語信息進行綜合查重后的數(shù)量為969 308條。與其他方法不同,由于本方法所使用的語料庫是其他方法沒有使用過的百科語料,故本方法的評價指標是總的提取數(shù)量和提取的成功率。綜上所述,本文的貢獻主要體現(xiàn)在以下三點: 一是本文提出了一種對新詞和技術(shù)術(shù)語有很好的提取效果的雙語詞典的提取方法;二是首次直接使用了百科語料作為語料庫進行雙語詞典的提?。蝗潜痉椒ㄏ啾然诓糠蛛p語語料文本內(nèi)容的方法、在百科語料的數(shù)據(jù)集上對雙語信息的提取效果有顯著提升。

    1 相關(guān)研究

    目前,提取雙語詞典的方法有基于平行語料庫的方法、基于可比語料庫的方法和基于部分雙語語料的方法。

    基于平行語料庫的方法是利用平行語料庫中的高質(zhì)量的雙語文檔對齊信息來進行雙語詞典提取的[11-12]。這種方法以孫樂等人[11]在2000年完成的基于中英文平行語料庫的雙語詞典自動抽取的工作為代表,他們首先對平行語料進行句子對齊,其次對英語語料進行詞性標注,對中文語料進行切分并做詞性標注,統(tǒng)計名詞和名詞短語生成候選術(shù)語集、計算中英文的翻譯概率,最后通過設(shè)定閾值來選取中文翻譯,得到雙語詞典。平行語料庫是由同一個文件的兩種或者多種不同的語言表達所產(chǎn)生的語料組成,所以利用該方法來構(gòu)建雙語詞典具有很好的提取效果。但平行語料庫的構(gòu)建比較困難,僅存于少數(shù)語種和少數(shù)的領(lǐng)域之中,不利于該方法的推廣使用。相比之下,基于可比語料庫的方法則解決了這一問題。

    基于可比語料庫的方法是利用可比語料庫中大量交叉但不是嚴格互相翻譯的雙語信息進行雙語詞典的提取[13-14],這些互譯的雙語信息詞語基本出現(xiàn)在內(nèi)容、語域、交際環(huán)境等方面相近的不同語言文本上下文環(huán)境中。1995年,Rapp[15]發(fā)現(xiàn): 在單語種文本中,一個單詞會出現(xiàn)在不同的文本中,而且與這個單詞共同出現(xiàn)的單詞集合是基本一樣的,說明單詞的共現(xiàn)關(guān)系具有穩(wěn)定性,這種規(guī)律也被推廣到了多語言中。基于此,Rapp[16]在1999年提出了基于詞語關(guān)系矩陣從可比語料庫中提取雙語詞典的方法;張永臣等人[17]在2006年提出了基于Web數(shù)據(jù)的特定領(lǐng)域雙語詞典抽取。近年來,基于神經(jīng)網(wǎng)絡(luò)的方法得到的詞向量[18]被廣泛應用于各個領(lǐng)域,這種詞向量表示也為雙語詞典構(gòu)建的方法打開了新思路。一部分基于詞向量的方法首先把兩種語言的每個詞表示成詞向量[19-25],然后為兩種語言的向量空間建立聯(lián)系,得到共有的雙語詞向量空間;另一部分基于詞向量的方法是直接訓練神經(jīng)網(wǎng)絡(luò)模型得到共有的雙語詞向量空間[26-29],這些方法的共同點是在得到共有的雙語詞向量空間之后,在雙語詞向量空間中進行查找,獲取雙語詞典。與平行語料相比,可比語料更容易獲得,且存在于大量的語種和領(lǐng)域中,便于推廣使用。但是這兩種方法在提取新詞或者某些技術(shù)術(shù)語時都存在雙語資源匱乏的問題,對此,衍生出來了一種基于部分雙語語料的方法。

    基于部分雙語語料的方法可以從部分雙語數(shù)據(jù)(又稱“主要使用一種語言的數(shù)據(jù)”)中提取出雙語詞典。Nagata等人[9]指出,對于某些技術(shù)術(shù)語,可以從部分雙語數(shù)據(jù)中獲得雙語信息,這種部分雙語數(shù)據(jù)通常是來自新聞或者一些領(lǐng)域內(nèi)的文章,故此類方法對新詞和一些技術(shù)術(shù)語的雙語信息有很好的提取效果。這種方法主要以Francis Bond[8]的工作為代表,其方法是通過使用部分雙語數(shù)據(jù)中明確的提示(括號中的單詞)來提高精度,查找出所有出現(xiàn)的“詞(翻譯)”,并將其編譯為詞典;Cao等人于2018年提出了一種基于超鏈接的半監(jiān)督雙語詞典提取方法[30],這兩種方法給我們提供了啟發(fā)。

    2 方法描述

    為提取到所有新詞和技術(shù)術(shù)語,本方法對所有的百度百科詞條源代碼進行了提取。在Francis Bond[8]的思想基礎(chǔ)上,本方法融合了基于在線百科特有的基本信息框提取和基于Web標簽特有的超鏈接提取,在一定程度上提高了雙語詞典的提取效果。

    本方法的原理框圖如圖1所示,首先對百度百科詞條的源代碼進行預處理,并把百度百科詞條分成三個部分,分別是詞條摘要、基本信息框和正文內(nèi)容;然后分別對這三個部分進行對應的五種不同方法的提取,得到對應的提取結(jié)果;最后進行綜合查重,把這五種提取方法的提取結(jié)果按照不同的權(quán)重綜合到一個雙語詞典之中。

    圖1 基于百科語料的中英文雙語詞典提取原理框圖把百度百科詞條分成詞條摘要、基本信息框和正文內(nèi)容三個部分,分別對這三個部分進行對應的五種不同方法的提取,對提取結(jié)果進行綜合查重并融合到一個雙語詞典之中,其中基于詞條摘要、基于基本信息框和基于詞條正文的三種提取方法組成了基于單百科詞條的雙語詞典提取模塊,基于超鏈接和基于正則匹配括號的兩種提取方法組成了基于多百科詞條的雙語詞典提取模塊。

    根據(jù)使用百科詞條數(shù)量的不同,本方法分為基于單百科詞條的雙語詞典提取和基于多百科詞條的雙語詞典提取兩大模塊,一共五種提取方法,其中: ①基于基本信息框的提取方法利用了基本信息框中結(jié)構(gòu)化的數(shù)據(jù),因結(jié)構(gòu)化的數(shù)據(jù)置信度高,數(shù)據(jù)的質(zhì)量也比較可靠[31],所以非常適合提取雙語信息;②基于超鏈接的提取方法利用了Web標簽的性質(zhì),每一條超鏈接都有可能代表著一個新詞或者技術(shù)術(shù)語;③基于詞條摘要、基于正文及基于正則匹配括號這三種提取方法,由于語料均可以視為部分雙語語料的文本內(nèi)容,故用到了Francis Bond[8]的提取思想,即利用部分雙語語料中的特殊字符進行提取,比如在文本中提到某些新詞或者技術(shù)術(shù)語時,有的會有一個括起來的英語解釋,這種提取方法就是利用此線索來提取出雙語信息,不同的是,百度百科中括號里面可能會有部分中文信息,例如,“英文: ”“英語: ”“學名: ”等,本文方法是在匹配到這些中文信息之后先將中文信息剔除,再進行英文信息提取。

    2.1 基于單百科詞條的雙語詞典提取模塊

    單個百度百科詞條的內(nèi)容通常由三個部分組成,分別是詞條摘要(詞條簡介)、基本信息框和詞條的正文部分,所以基于單百科詞條的雙語詞典的提取模塊分別對這三部分進行提取。首先對百度百科源代碼進行預處理,取出詞條名稱、詞條摘要和詞條正文的文字部分,對詞條摘要和詞條正文進行詞條名稱的正則匹配,做對應的基于部分雙語語料的提取,對于基本信息框部分則保留其原本的代碼形態(tài),我們可以使用專門的方法來對其進行提取。

    2.1.1 基于詞條摘要的雙語詞典提取方法

    有些詞條的詞條摘要部分會出現(xiàn)該詞條的名稱及其對應的英文,并會用全角或者半角的小括號括起來。例如,如圖2所示,“數(shù)據(jù)挖掘”的百度百科詞條中,詞條摘要的第一句話就是“數(shù)據(jù)挖掘(Data mining)又譯為資料探勘、數(shù)據(jù)采礦。”我們可以用正則來檢索詞條摘要里是否有詞條名稱“數(shù)據(jù)挖掘”和其后面是括號英文,如果有再用正則提取出括號里的內(nèi)容,從這個詞條摘要中我們就抽取出來了“數(shù)據(jù)挖掘”及英文“Data mining”這一對雙語信息。

    圖2 “數(shù)據(jù)挖掘”百科詞條中摘要部分出現(xiàn)了該詞條的雙語信息

    2.1.2 基于基本信息框的雙語詞典提取方法

    有些詞條摘要的下面可能擁有該詞條的基本信息框。如圖3所示,“數(shù)據(jù)挖掘”的百度百科詞條的詞條摘要下面就存在這樣的信息框,信息框中的外文名屬性對應的屬性值即為該詞條的英文信息,從這個基本信息框的源代碼中我們先檢索屬性是否為外文名,如果是就提取出它屬性值里的文字,即“Data mining”這一英文信息,與詞條名稱結(jié)合,形成一對雙語信息。

    圖3 “數(shù)據(jù)挖掘”百科詞條中基本信息框部分出現(xiàn)了該詞條的英文信息

    2.1.3 基于詞條正文的雙語詞典提取方法

    有些詞條的摘要部分可能不存在該詞條的雙語信息,但是其正文部分可能存在該詞條的雙語信息。例如,如圖4(a)所示,“蓮花灘鄉(xiāng)”這個百度百科詞條中,其摘要部分并沒有該詞條的雙語信息,而圖4(b)中,“蓮花灘鄉(xiāng)”百科頁面中的正文部分卻出現(xiàn)了“蓮花灘鄉(xiāng)(Lianhuatan Xiang)”這一雙語信息,為了提高雙語詞典的提取效果,正文這部分的雙語信息也要提取出來,其提取方法與詞條摘要的提取方法類似,也可以用正則檢索到詞條正文里是否有詞條名稱并且其后面是括號英文,再用正則提取出括號里的內(nèi)容,與詞條名稱結(jié)合,成為一對雙語信息。

    2.2 基于多百科詞條的雙語詞典提取模塊

    在某詞條的正文部分,可能會出現(xiàn)其他詞條的雙語信息,例如,在“數(shù)據(jù)挖掘”的百科詞條的正文部分,就出現(xiàn)了如圖5所示的內(nèi)容,其中“分類(Classification)”“估計(Estimation)”等都不是該百度百科詞條名稱對應的雙語信息,但卻是各自對應的百度百科詞條的雙語信息,例如,“分類”就對應著如圖6所示的百科信息,對于這種在某詞條的正文部分出現(xiàn)的其他百度百科詞條雙語信息,也要提取出來備用。針對這一種情況,本方法進行了基于多百科詞條(跨百度百科)的雙語詞典的提取,基于多百科詞條的雙語詞典提取模塊分為基于超鏈接和基于正則匹配括號這兩種提取方法。

    圖4 “蓮花灘鄉(xiāng)”百科詞條的信息

    圖5 “數(shù)據(jù)挖掘”百科詞條中的正文部分出現(xiàn)了其他雙語信息

    圖6 “分類”的百科詞條的摘要部分信息

    2.2.1 基于超鏈接的雙語詞典提取方法

    跨百度百科進行提取最直觀的方法就是查找詞條全文所有的超鏈接,因為在所有在線百科詞條的內(nèi)容中,每一個超鏈接都對應著其他的百科詞條,如果該超鏈接是圖7中“統(tǒng)計”所示的可以點擊的超鏈接,后面是“(Statistics)”這樣的英文,這里就是一對雙語信息,而且這種雙語信息的準確率非常高,這里的提取方法利用了href標簽的特性。

    圖7 “數(shù)據(jù)挖掘”百科詞條的正文部分的超鏈接出現(xiàn)了雙語信息

    2.2.2 基于正則匹配括號的雙語詞典提取方法

    沒有超鏈接的詞語也有可能是其他百度百科的詞條名稱,如圖5中的“分類(Classification)”,沒有超鏈接,但卻是百度百科詞條的雙語信息。而且網(wǎng)絡(luò)上的詞語更新速度非??欤F(xiàn)在不是百科詞條名稱的詞語以后也有可能成為百科詞條名稱,所以也要把這些雙語信息提取出來。對此本文提出一種基于正則匹配括號的提取方法,該方法首先對百度百科的源代碼進行預處理,取出全文的內(nèi)容,然后把內(nèi)容進行反向處理,再匹配反向全文的所有括號,提取出括號前的K個字符,并對這K個字符按順序進行下面兩種不同方法的提取。

    (1) 首先在百科語料中提取出百度百科所有的詞條名稱,用文件的形式進行保存,然后用這個詞條名稱文件對這K個字符進行檢索,如果檢索出了詞條名稱且恰好該詞條名稱在K個字符的末尾,則意味著這個詞條名稱及其后面括號里的英文是一對雙語信息,提取出這一對雙語信息;若檢索時發(fā)現(xiàn)多個詞條名稱都在這K個字符的末尾,則以長度更長的詞條名稱為主。此方法使用了Zhang等人快速匹配的方法[32],加快了程序運行的速度。

    (2) 對于那些沒有檢索出詞條名稱或者檢索出來了但沒恰好在末尾的這K個字符,我們把它添加到一個列表中,若再遇到相同的情況且是相同的英文,也把它的前K個字符放入該列表中,最后對這個列表取公共的后綴,并提取出該公共后綴和這個英文,作為一對雙語信息。實驗中將K設(shè)置為25,在實驗部分會詳述這樣設(shè)置的原因。

    3 實驗

    3.1 實驗語料及評估標準

    本實驗選擇了中文和英文兩個語種,實驗中所使用的語料庫為百度百科詞條的源代碼,該語料庫可以通過爬蟲爬取得到,本實驗用到的百度百科詞條的源代碼一共9 133 651條。在基于正則匹配括號的提取方法中,使用了所有的百度百科詞條的名稱文件,這個文件需要對所有百度百科詞條源代碼進行對應提取才能得到,由于很多詞條的名稱是重復的,所以最終提取到的百度百科詞條的名稱一共8 169 135個。此外,并非所有的百度百科詞條都擁有雙語信息,故我們手動標注了以擁有基本信息框為主要條件的1 000個百度百科詞條的源代碼,用以測試各個提取方法的成功率。

    本實驗的實驗評估標準為總的提取數(shù)量和提取的成功率,其中總的提取數(shù)量是所有提取方法的提取結(jié)果綜合查重后的數(shù)量,提取成功率(extraction success rate,ESR)的計算方法如式(1)所示。

    其中,SEN為成功提取的雙語信息數(shù)量,TN為標注的總數(shù)量。

    3.2 實驗結(jié)果

    通過對本方法提取出來的雙語信息進行檢查,我們發(fā)現(xiàn)這些雙語信息中大部分的質(zhì)量較高,但語料庫中存在少量的噪聲數(shù)據(jù),例如,這五種提取方法都有可能提取出同一個中文的英文信息,但這些英文信息可能是不完全相同的,如表1中的“蓮花灘鄉(xiāng)”雙語信息中,基于摘要和超鏈接的方法沒有提取到雙語信息,其余三種方法卻找到了兩種不同的信息。

    表1 “蓮花灘鄉(xiāng)”雙語信息表

    在百科語料中,基本信息框?qū)儆诘湫偷慕Y(jié)構(gòu)化數(shù)據(jù),結(jié)構(gòu)化數(shù)據(jù)的置信度高,數(shù)據(jù)質(zhì)量可靠,所以基于基本信息框方法提取下來的數(shù)據(jù)也作為了本次提取的雙語詞典的基礎(chǔ),即Top 1,然后依次是基于超鏈接、摘要、正文和正則匹配括號的四種方法,這四種方法提取出來的結(jié)果在基于基本信息框方法提取結(jié)果的基礎(chǔ)上進行綜合。

    我們對每一種方法所提取到的雙語詞典進行了長度測量,各方法雙語信息的數(shù)量如表2所示,對于1 000個手動標注的數(shù)據(jù),標注的數(shù)量、各個提取方法實際提取到的數(shù)量和提取的成功率如表3所示,其中基于超鏈接和基于正則匹配括號的兩種方法為基于多百科詞條的方法,每個百科詞條內(nèi)容中可能會出現(xiàn)數(shù)個符合條件的詞, 故其標注的數(shù)量可能會超過標注的數(shù)據(jù)數(shù)量。由表2、表3可知,基于基本信息框的提取方法比較適合在線百科語料庫,也適合所有擁有基本信息框的語料,且該提取方法可以將大部分的雙語信息提取出來。

    表2 每一種方法提取到的雙語信息數(shù)量以及綜合查重后的雙語信息總數(shù)量

    表3 每種方法的提取成功率

    3.3 對比實驗

    為了驗證本文方法的有效性,本文設(shè)計了對比實驗,即基于部分雙語語料文本內(nèi)容的方法與本實驗基于部分雙語語料百科的方法進行了比較。表4為兩種方法查重后的雙語信息數(shù)量,由表4可知在百科語料庫中本方法提取出來的雙語信息數(shù)量遠遠超過基于文本內(nèi)容的方法提取出來的雙語信息數(shù)量;表5為兩種方法提取出來的部分詞語的英文信息, 由兩種方法提取出來的雙語信息情況的對比可知,本方法所提取出來的雙語信息更加準確。

    表5 兩種方法提取出英文信息的對比

    3.4 實驗參數(shù)分析及錯誤分析

    對于基于正則匹配括號的提取方法中的參數(shù)K=25,這里給予解釋。圖8顯示了百度百科詞條的名稱中各個長度的數(shù)量,由圖可知,當詞條名稱的長度超過25之后,名稱的數(shù)量較少,長度在1~25之間的名稱數(shù)量更是占據(jù)了總數(shù)量的99.5%;當參數(shù)小時,錯誤率會非常大;當參數(shù)大時,如圖9所示,提取到的雙語信息數(shù)量卻又會下降,其原因是正則表達式在匹配的過程中,覆蓋了想要提取的詞。在使用基于正則匹配括號的提取方法中的第二個方法時,例如,原文本是“數(shù)據(jù)挖掘(Data mining)是數(shù)據(jù)庫知識發(fā)現(xiàn)中的一個步驟,數(shù)據(jù)挖掘(Data mining)通常與計算機科學有關(guān)...”目標是提取出{‘數(shù)據(jù)挖掘’:Data mining},即把這個雙語信息放在列表的第0位置。若取小參數(shù),例如10,則可以正常提取,即列表的第0位置為“掘挖據(jù)數(shù)”;若取大參數(shù),例如50,正則表達式會優(yōu)先匹配第一個括號,而后指針向后挪動50位,這樣就會覆蓋住相同的信息,導致提取失敗,這時列表的第0位置就變成了“掘挖據(jù)數(shù),驟步個一的中現(xiàn)發(fā)識知庫據(jù)數(shù)是)”,明顯這不是我們所需信息。綜合以上兩點,最終確定了25為最后的參數(shù)。

    圖8 百科詞條中各個名稱長度所擁有的名稱數(shù)量

    圖9 隨機10 000條數(shù)據(jù)各個參數(shù)的提取數(shù)量

    經(jīng)過對各個提取方法出現(xiàn)的錯誤進行分析,我們總結(jié)出了以下三點:

    (1) 超鏈接準確率低于95%,其原因是實驗時所用的百度百科源代碼是一年前爬取下來的,但是標注的時候使用的是現(xiàn)在的百度百科,超鏈接的更新很快,現(xiàn)在有很多以前所沒有的超鏈接,這就降低了此模塊的實際成功率,為反映真實情況,我們在爬取下來的部分源代碼上進行了標注,如表3基于超鏈接方法的括號內(nèi)容所示,其成功率達到了97.08%。

    (2) 基于正則匹配括號的提取方法的成功率為54.46%,其主要原因是這種提取方法的特點是: 語料的數(shù)量越多,所能提取的雙語信息的數(shù)量越多,而如果語料數(shù)量少則表現(xiàn)欠佳,為此我們提出了新的測量方式,即先用此方法在全部數(shù)據(jù)中匹配,再在結(jié)果中抽樣進行人工判斷,如表3基于正則匹配括號方法的括號內(nèi)容所示,其成功率達到了63%。

    (3) 基于詞條摘要、基本信息框和正文的這三種提取方法的成功率比較高,錯誤可能是人工標注時的錯誤或者一部分百度百科的更新導致的。

    4 結(jié)論與展望

    雙語詞典是跨語言自然語言處理中一項非常重要的資源。隨著社會的發(fā)展,新詞以及具體的技術(shù)術(shù)語不斷涌現(xiàn),某些新詞或技術(shù)術(shù)語可以通過基于部分雙語語料的方法提取出來,而目前基于部分雙語語料的方法主要集中在對文本內(nèi)容的提取上。針對此不足,本文提出了一種基于百科語料的中英文雙語詞典的提取方法,本方法分為兩大模塊,共用五種不同的方法對百科語料進行提取,其中第一模塊的三種提取方法的成功率都達到了98%以上,最終的結(jié)果是對這五種方法的提取結(jié)果進行綜合查重后的雙語詞典,查重后雙語信息的提取數(shù)量為969 308條。與以往的基于部分雙語語料的方法不同,本方法在對文本內(nèi)容的提取基礎(chǔ)上融合了基于在線百科特有的基本信息框提取和基于Web標簽特有的超鏈接提取,在一定程度上提升了雙語詞典的提取效果。

    在實驗過程中我們也發(fā)現(xiàn)了一些不足之處,例如存在選取大參數(shù)導致有些雙語信息提取不出來以及成功率低的問題。因此,下一步的研究方向?qū)⒓性谌绾卧趨?shù)選取最大值的情況下依然不干擾雙語信息的提取上,并尋找方法解決第五種方法成功率低的問題,以提高最終的雙語詞典的提取效果。

    猜你喜歡
    百科詞條括號
    括號填數(shù)
    我曾丟失過半個括號
    “入”與“人”
    樂樂“畫”百科
    百科小知識
    漏寫括號鬧出的笑話
    2016年4月中國直銷網(wǎng)絡(luò)熱門詞條榜
    2016年3月中國直銷網(wǎng)絡(luò)熱門詞條榜
    2016年9月中國直銷網(wǎng)絡(luò)熱門詞條榜
    大數(shù)據(jù)相關(guān)詞條
    老司机影院毛片| 亚洲国产av新网站| 色视频在线一区二区三区| 亚洲精品日本国产第一区| 晚上一个人看的免费电影| 91精品一卡2卡3卡4卡| 成人毛片60女人毛片免费| 精品久久久久久电影网| 国语对白做爰xxxⅹ性视频网站| 成年免费大片在线观看| 80岁老熟妇乱子伦牲交| 国产毛片a区久久久久| 成人免费观看视频高清| 亚洲色图av天堂| 国产真实伦视频高清在线观看| 日韩大片免费观看网站| 热99国产精品久久久久久7| 尤物成人国产欧美一区二区三区| 插逼视频在线观看| av又黄又爽大尺度在线免费看| av国产久精品久网站免费入址| 欧美成人精品欧美一级黄| av在线亚洲专区| 国内少妇人妻偷人精品xxx网站| 各种免费的搞黄视频| 精品久久久久久久末码| 国产综合懂色| 国产老妇女一区| 国产精品秋霞免费鲁丝片| av在线播放精品| 一级av片app| 人人妻人人爽人人添夜夜欢视频 | 成人午夜精彩视频在线观看| 在线观看av片永久免费下载| 一级片'在线观看视频| 男插女下体视频免费在线播放| 亚洲精品一区蜜桃| 黄色日韩在线| 黑人高潮一二区| 婷婷色综合www| 亚洲天堂国产精品一区在线| 插逼视频在线观看| 一边亲一边摸免费视频| 简卡轻食公司| 少妇的逼水好多| 成人毛片a级毛片在线播放| 国产精品人妻久久久影院| 美女cb高潮喷水在线观看| av在线app专区| 老司机影院毛片| 国产伦精品一区二区三区视频9| 亚洲aⅴ乱码一区二区在线播放| 欧美 日韩 精品 国产| 特级一级黄色大片| 一区二区av电影网| 国产亚洲精品久久久com| 中文在线观看免费www的网站| 在线a可以看的网站| 搡女人真爽免费视频火全软件| 免费观看无遮挡的男女| 在线观看人妻少妇| 91久久精品电影网| 久久综合国产亚洲精品| 色视频www国产| 尾随美女入室| 99热国产这里只有精品6| 亚洲欧美日韩卡通动漫| 精品亚洲乱码少妇综合久久| 国产老妇女一区| 免费电影在线观看免费观看| 久久韩国三级中文字幕| 国产精品嫩草影院av在线观看| 最近的中文字幕免费完整| 亚洲天堂国产精品一区在线| 麻豆久久精品国产亚洲av| 自拍欧美九色日韩亚洲蝌蚪91 | 欧美zozozo另类| 午夜精品国产一区二区电影 | 青青草视频在线视频观看| 天堂俺去俺来也www色官网| 免费av观看视频| 日本黄色片子视频| 久久久久久久久久成人| 精品久久久久久久久亚洲| 黄色怎么调成土黄色| 国产v大片淫在线免费观看| 岛国毛片在线播放| 久久久久久伊人网av| 成人无遮挡网站| 在线观看人妻少妇| 男人舔奶头视频| 国产精品精品国产色婷婷| 国产69精品久久久久777片| 精品少妇黑人巨大在线播放| 免费播放大片免费观看视频在线观看| 国产亚洲av嫩草精品影院| 亚洲人成网站高清观看| 日韩av在线免费看完整版不卡| 成人特级av手机在线观看| 天堂俺去俺来也www色官网| 免费看光身美女| 又大又黄又爽视频免费| 欧美成人一区二区免费高清观看| 久久久久久久亚洲中文字幕| 1000部很黄的大片| 亚洲av电影在线观看一区二区三区 | 韩国高清视频一区二区三区| 国产一区二区三区综合在线观看 | av卡一久久| 亚洲天堂国产精品一区在线| 亚洲一区二区三区欧美精品 | 最近中文字幕2019免费版| 中国三级夫妇交换| 麻豆精品久久久久久蜜桃| 精品少妇黑人巨大在线播放| 最近最新中文字幕免费大全7| 热99国产精品久久久久久7| 日韩一区二区视频免费看| 亚洲精品日韩在线中文字幕| 国产免费视频播放在线视频| 在线观看一区二区三区激情| 免费高清在线观看视频在线观看| 国产免费一区二区三区四区乱码| 成人综合一区亚洲| freevideosex欧美| 18禁在线无遮挡免费观看视频| 中文在线观看免费www的网站| 寂寞人妻少妇视频99o| 男女边吃奶边做爰视频| 亚洲精品国产av蜜桃| 夫妻性生交免费视频一级片| 久久精品综合一区二区三区| 亚洲美女搞黄在线观看| 人体艺术视频欧美日本| 亚洲精品日韩在线中文字幕| 成人国产麻豆网| 国产精品三级大全| 超碰av人人做人人爽久久| 在现免费观看毛片| 精品99又大又爽又粗少妇毛片| 在线观看一区二区三区激情| 白带黄色成豆腐渣| 国产精品福利在线免费观看| 精品午夜福利在线看| 少妇猛男粗大的猛烈进出视频 | 久久精品人妻少妇| 大码成人一级视频| 久久精品久久精品一区二区三区| 国产 精品1| 亚洲图色成人| 亚洲精品一二三| 亚洲成人av在线免费| 麻豆久久精品国产亚洲av| 3wmmmm亚洲av在线观看| 成人特级av手机在线观看| 啦啦啦中文免费视频观看日本| 最后的刺客免费高清国语| 欧美成人精品欧美一级黄| 免费看不卡的av| 亚洲av日韩在线播放| 免费av毛片视频| 国产黄片视频在线免费观看| 国产淫片久久久久久久久| 中文字幕免费在线视频6| 国产毛片在线视频| 我的女老师完整版在线观看| 麻豆成人午夜福利视频| 久久久久久久久久久免费av| 综合色av麻豆| 久久久a久久爽久久v久久| 国产乱人视频| 一个人观看的视频www高清免费观看| 免费黄频网站在线观看国产| 人妻夜夜爽99麻豆av| 亚洲av电影在线观看一区二区三区 | 网址你懂的国产日韩在线| 99久久中文字幕三级久久日本| 亚洲人与动物交配视频| 精品国产一区二区三区久久久樱花 | 亚洲一区二区三区欧美精品 | 日本黄大片高清| 国产精品精品国产色婷婷| 久久精品国产鲁丝片午夜精品| 日韩欧美 国产精品| 深爱激情五月婷婷| 免费少妇av软件| videossex国产| 国产人妻一区二区三区在| 亚洲在久久综合| 中国三级夫妇交换| 欧美 日韩 精品 国产| 免费观看在线日韩| 欧美激情在线99| 午夜精品一区二区三区免费看| 2021天堂中文幕一二区在线观| 亚洲高清免费不卡视频| 97在线人人人人妻| 亚洲国产日韩一区二区| 国产免费福利视频在线观看| 自拍偷自拍亚洲精品老妇| 精品午夜福利在线看| 亚洲va在线va天堂va国产| 久久精品国产a三级三级三级| 亚洲,欧美,日韩| 欧美日韩亚洲高清精品| 大又大粗又爽又黄少妇毛片口| 高清午夜精品一区二区三区| 美女国产视频在线观看| 精品久久久久久久末码| 日日摸夜夜添夜夜添av毛片| 国产亚洲91精品色在线| 欧美成人精品欧美一级黄| 国内精品美女久久久久久| 欧美日韩视频高清一区二区三区二| 97在线人人人人妻| 亚洲成人中文字幕在线播放| 国产黄色视频一区二区在线观看| 国产有黄有色有爽视频| 国产成人免费无遮挡视频| 亚洲三级黄色毛片| 在线观看一区二区三区| 国产精品一区www在线观看| 少妇高潮的动态图| 青青草视频在线视频观看| 99热这里只有是精品50| 五月伊人婷婷丁香| 欧美精品一区二区大全| 国产亚洲午夜精品一区二区久久 | 日韩大片免费观看网站| 男人爽女人下面视频在线观看| 国产综合懂色| 成年版毛片免费区| 精华霜和精华液先用哪个| 大香蕉97超碰在线| 久久久久久久久久人人人人人人| av在线天堂中文字幕| 久久久a久久爽久久v久久| 中文天堂在线官网| 777米奇影视久久| 大片免费播放器 马上看| 午夜精品一区二区三区免费看| 五月伊人婷婷丁香| 国产精品国产三级国产专区5o| 全区人妻精品视频| 欧美成人a在线观看| 欧美变态另类bdsm刘玥| 国产欧美另类精品又又久久亚洲欧美| 久久精品国产亚洲av天美| 国产精品国产三级专区第一集| 亚洲精品国产av成人精品| 99re6热这里在线精品视频| 高清av免费在线| 亚洲精品乱码久久久v下载方式| 久久久午夜欧美精品| 禁无遮挡网站| 99精国产麻豆久久婷婷| 国产成人a∨麻豆精品| 午夜免费男女啪啪视频观看| 一级片'在线观看视频| 别揉我奶头 嗯啊视频| 欧美亚洲 丝袜 人妻 在线| 亚洲av免费高清在线观看| 人妻制服诱惑在线中文字幕| 超碰av人人做人人爽久久| 男女无遮挡免费网站观看| 日本wwww免费看| 久久久久性生活片| 男女边摸边吃奶| 一区二区三区乱码不卡18| 搞女人的毛片| 免费大片18禁| 亚洲精品一二三| xxx大片免费视频| 欧美成人午夜免费资源| 久久国产乱子免费精品| 99热这里只有是精品在线观看| 亚洲av日韩在线播放| 好男人视频免费观看在线| 欧美人与善性xxx| 亚洲国产欧美人成| 久久精品熟女亚洲av麻豆精品| www.色视频.com| 国产v大片淫在线免费观看| 日韩av在线免费看完整版不卡| 春色校园在线视频观看| 成年版毛片免费区| 国产av国产精品国产| 日韩在线高清观看一区二区三区| 日韩三级伦理在线观看| 极品少妇高潮喷水抽搐| 亚洲国产精品专区欧美| 免费黄网站久久成人精品| 国产亚洲5aaaaa淫片| 老司机影院成人| 欧美最新免费一区二区三区| 国产成人免费无遮挡视频| 91狼人影院| 久久久久久国产a免费观看| 国产综合懂色| 国产精品一及| 久久久久久久久久久丰满| 亚洲熟女精品中文字幕| 女人被狂操c到高潮| 男女边摸边吃奶| 日韩亚洲欧美综合| 九九在线视频观看精品| 欧美xxxx黑人xx丫x性爽| 免费看光身美女| 久久久精品欧美日韩精品| 成年女人在线观看亚洲视频 | 亚洲av中文字字幕乱码综合| 国国产精品蜜臀av免费| a级一级毛片免费在线观看| 日韩av不卡免费在线播放| 少妇的逼好多水| 老司机影院成人| 黄色欧美视频在线观看| 国产乱人视频| 我要看日韩黄色一级片| 国产欧美日韩一区二区三区在线 | 国内揄拍国产精品人妻在线| 高清欧美精品videossex| 秋霞伦理黄片| 少妇人妻一区二区三区视频| 天天躁日日操中文字幕| 国产日韩欧美在线精品| 男女边摸边吃奶| 免费观看的影片在线观看| av天堂中文字幕网| 欧美xxxx黑人xx丫x性爽| 色综合色国产| 久久韩国三级中文字幕| h日本视频在线播放| 免费观看性生交大片5| 国产伦理片在线播放av一区| 99九九线精品视频在线观看视频| 亚洲性久久影院| 国产高清国产精品国产三级 | 国产黄色免费在线视频| 免费在线观看成人毛片| 午夜福利高清视频| 国产成人aa在线观看| 永久免费av网站大全| 男插女下体视频免费在线播放| 三级男女做爰猛烈吃奶摸视频| 日本av手机在线免费观看| 亚洲性久久影院| av在线天堂中文字幕| 免费av观看视频| av一本久久久久| 国产在线男女| 久久久精品欧美日韩精品| 亚洲人成网站在线观看播放| 一级毛片电影观看| 国产又色又爽无遮挡免| 一级二级三级毛片免费看| 18+在线观看网站| 91久久精品国产一区二区三区| 亚洲av中文字字幕乱码综合| 国产高清国产精品国产三级 | 国产黄频视频在线观看| 免费看日本二区| 欧美日韩视频精品一区| 啦啦啦在线观看免费高清www| 99热这里只有是精品50| 18禁裸乳无遮挡动漫免费视频 | 激情 狠狠 欧美| 久久久欧美国产精品| 免费av毛片视频| 狂野欧美白嫩少妇大欣赏| 国产免费一级a男人的天堂| 亚洲精品影视一区二区三区av| 亚洲av中文字字幕乱码综合| 欧美精品国产亚洲| 日本一本二区三区精品| 高清av免费在线| 天堂网av新在线| 午夜激情久久久久久久| 秋霞伦理黄片| 我要看日韩黄色一级片| 久久精品国产亚洲av涩爱| 久久人人爽av亚洲精品天堂 | 精华霜和精华液先用哪个| 国产精品久久久久久久久免| 国内揄拍国产精品人妻在线| 新久久久久国产一级毛片| 亚洲av.av天堂| 啦啦啦啦在线视频资源| 亚洲欧美一区二区三区黑人 | 极品教师在线视频| 夜夜看夜夜爽夜夜摸| 在线观看美女被高潮喷水网站| 中文在线观看免费www的网站| 国产精品无大码| 91久久精品国产一区二区成人| 国产又色又爽无遮挡免| 久久99热这里只有精品18| 国产老妇伦熟女老妇高清| 国产精品一区二区三区四区免费观看| 有码 亚洲区| 蜜桃久久精品国产亚洲av| 日韩av不卡免费在线播放| 在线观看免费高清a一片| 国产探花在线观看一区二区| 成人国产麻豆网| 18禁动态无遮挡网站| 欧美日韩精品成人综合77777| 久久久久久久大尺度免费视频| 国内揄拍国产精品人妻在线| 久久精品久久久久久久性| 22中文网久久字幕| 在现免费观看毛片| 看免费成人av毛片| 视频区图区小说| 好男人在线观看高清免费视频| 欧美日韩一区二区视频在线观看视频在线 | 97超碰精品成人国产| 一本色道久久久久久精品综合| 国产爽快片一区二区三区| 国产精品国产三级专区第一集| 亚洲国产最新在线播放| 女人久久www免费人成看片| 日韩成人av中文字幕在线观看| 日日摸夜夜添夜夜添av毛片| 激情五月婷婷亚洲| 亚洲av成人精品一区久久| 亚洲自拍偷在线| 国产精品一二三区在线看| 在线看a的网站| 性色avwww在线观看| 看黄色毛片网站| 99久久中文字幕三级久久日本| 欧美激情国产日韩精品一区| 最近中文字幕2019免费版| 欧美日韩国产mv在线观看视频 | 国产精品人妻久久久久久| 日韩成人av中文字幕在线观看| 国产毛片a区久久久久| 欧美成人a在线观看| 夜夜看夜夜爽夜夜摸| 久久久久精品性色| 久久99蜜桃精品久久| 18禁动态无遮挡网站| 看非洲黑人一级黄片| 高清在线视频一区二区三区| 2018国产大陆天天弄谢| 在线播放无遮挡| 一区二区三区四区激情视频| 国产熟女欧美一区二区| 狂野欧美激情性bbbbbb| 日本午夜av视频| 国产久久久一区二区三区| 爱豆传媒免费全集在线观看| 另类亚洲欧美激情| 亚洲欧美日韩卡通动漫| av.在线天堂| 亚洲欧美一区二区三区国产| 亚洲成人中文字幕在线播放| 老女人水多毛片| 夫妻午夜视频| 黄色配什么色好看| 高清欧美精品videossex| 日韩人妻高清精品专区| 国产v大片淫在线免费观看| 国产成人91sexporn| 成人一区二区视频在线观看| 色视频在线一区二区三区| 夫妻性生交免费视频一级片| 午夜爱爱视频在线播放| 国产 一区精品| av在线app专区| 精品久久国产蜜桃| 日韩,欧美,国产一区二区三区| 亚洲国产最新在线播放| 久久久亚洲精品成人影院| 男人狂女人下面高潮的视频| 国产精品一及| kizo精华| 午夜福利视频精品| 国产高潮美女av| 超碰97精品在线观看| 亚洲国产精品专区欧美| 成人午夜精彩视频在线观看| 欧美激情在线99| 精品熟女少妇av免费看| 久久99热6这里只有精品| 亚洲美女视频黄频| 久久久a久久爽久久v久久| 91久久精品国产一区二区三区| 免费大片黄手机在线观看| 高清欧美精品videossex| freevideosex欧美| 别揉我奶头 嗯啊视频| 国产国拍精品亚洲av在线观看| 91精品一卡2卡3卡4卡| 欧美成人a在线观看| 日韩欧美 国产精品| 男人狂女人下面高潮的视频| 97超视频在线观看视频| 在线播放无遮挡| 大片免费播放器 马上看| 91久久精品电影网| 在线亚洲精品国产二区图片欧美 | 99re6热这里在线精品视频| 能在线免费看毛片的网站| 日韩人妻高清精品专区| 99热这里只有精品一区| 麻豆国产97在线/欧美| 亚洲最大成人中文| 色婷婷久久久亚洲欧美| 哪个播放器可以免费观看大片| 在线观看人妻少妇| av在线天堂中文字幕| 成人亚洲欧美一区二区av| 51国产日韩欧美| 免费播放大片免费观看视频在线观看| 成年女人在线观看亚洲视频 | 国产成人精品久久久久久| 美女高潮的动态| 国产精品一及| 亚洲无线观看免费| 美女cb高潮喷水在线观看| 一区二区三区精品91| 又爽又黄a免费视频| 成人特级av手机在线观看| 三级经典国产精品| 狂野欧美白嫩少妇大欣赏| 精品国产三级普通话版| 精品久久久久久久人妻蜜臀av| 丝袜美腿在线中文| 久久热精品热| 亚洲精品国产av蜜桃| 精品人妻视频免费看| 男人狂女人下面高潮的视频| av播播在线观看一区| 免费看av在线观看网站| 亚洲精品久久久久久婷婷小说| 久久久久性生活片| 一区二区三区精品91| 久久精品国产a三级三级三级| 男女边吃奶边做爰视频| 成人免费观看视频高清| 国产美女午夜福利| 在线观看一区二区三区| 日韩欧美一区视频在线观看 | 成人漫画全彩无遮挡| 熟女电影av网| 建设人人有责人人尽责人人享有的 | 你懂的网址亚洲精品在线观看| 亚洲国产精品成人久久小说| 成人毛片a级毛片在线播放| 麻豆成人午夜福利视频| 日韩av不卡免费在线播放| 亚洲欧美日韩另类电影网站 | 国产精品一区二区三区四区免费观看| 久久97久久精品| 99久久九九国产精品国产免费| 日韩成人av中文字幕在线观看| 精品酒店卫生间| 亚洲高清免费不卡视频| 你懂的网址亚洲精品在线观看| 热99国产精品久久久久久7| 天天躁夜夜躁狠狠久久av| 色视频www国产| 99热国产这里只有精品6| 免费观看无遮挡的男女| 啦啦啦在线观看免费高清www| 亚洲不卡免费看| 国产黄色免费在线视频| 少妇熟女欧美另类| av播播在线观看一区| 欧美成人午夜免费资源| 免费不卡的大黄色大毛片视频在线观看| 国内少妇人妻偷人精品xxx网站| 国产精品国产三级国产专区5o| 亚洲自拍偷在线| 亚洲美女搞黄在线观看| 亚洲成人中文字幕在线播放| 特大巨黑吊av在线直播| 久久久久精品久久久久真实原创| 午夜精品国产一区二区电影 | 日日撸夜夜添| 联通29元200g的流量卡| 亚洲av男天堂| 成年女人在线观看亚洲视频 | 尾随美女入室| 女人十人毛片免费观看3o分钟| av天堂中文字幕网| 好男人在线观看高清免费视频| 欧美亚洲 丝袜 人妻 在线| 丝袜喷水一区| 欧美激情在线99| 婷婷色麻豆天堂久久| 久久久久久久亚洲中文字幕| 国产av国产精品国产| 亚洲av国产av综合av卡| 亚洲人成网站高清观看| 丝袜美腿在线中文| 蜜臀久久99精品久久宅男| 99热这里只有是精品50| 一个人观看的视频www高清免费观看| 国产精品国产三级专区第一集| 午夜精品一区二区三区免费看| 天天躁日日操中文字幕| 街头女战士在线观看网站| 成年女人在线观看亚洲视频 | 亚洲精品自拍成人| 男女那种视频在线观看| av在线播放精品| 神马国产精品三级电影在线观看| 又黄又爽又刺激的免费视频.| 国产成人免费无遮挡视频| 只有这里有精品99| 联通29元200g的流量卡| 最后的刺客免费高清国语|