詞頻研究新成果——《當(dāng)代美語(yǔ)頻率詞典:詞匯素描、搭配和主題詞表》評(píng)介*

朱玉彬

章宜華、雍和明(2007:406)指出:“從語(yǔ)言內(nèi)容處理上講，當(dāng)代詞典學(xué)需要有認(rèn)知學(xué)、社會(huì)學(xué)、語(yǔ)言學(xué)包括詞匯學(xué)、語(yǔ)義學(xué)、句法學(xué)、語(yǔ)用學(xué)以及翻譯學(xué)等學(xué)科的理論支持;從語(yǔ)言處理的技術(shù)上講，需要計(jì)算機(jī)科學(xué)、信息學(xué)、統(tǒng)計(jì)學(xué)以及語(yǔ)料庫(kù)的支持。”運(yùn)用計(jì)算機(jī)技術(shù)進(jìn)行詞典編纂，是當(dāng)代詞典學(xué)的一個(gè)重要特征，而詞頻詞典的編纂更離不開(kāi)計(jì)算機(jī)技術(shù)的支持。作為勞特里奇(Routledge)系列頻率詞典的一種，美國(guó)楊百翰大學(xué)(Brigham Young University)語(yǔ)言學(xué)和英語(yǔ)語(yǔ)言系Mark Davies教授、Dee Gardner副教授編纂的《當(dāng)代美語(yǔ)頻率詞典:詞匯素描、搭配和主題詞表》(A Frequency Dictionary of Contemporary American English:Word Sketches，Collocates，and Thematic Lists;以下簡(jiǎn)稱(chēng)《當(dāng)代美語(yǔ)頻率詞典》)于2010年2月出版［1］。這是一部利用語(yǔ)料庫(kù)和自然語(yǔ)言處理技術(shù)編纂的，可供美語(yǔ)學(xué)習(xí)者、英語(yǔ)教師及語(yǔ)言研究者參考的實(shí)用工具書(shū)。該書(shū)展現(xiàn)的5000常用詞的頻率、搭配等語(yǔ)言信息基本反映了當(dāng)代美語(yǔ)使用的真實(shí)情況。

一、主要內(nèi)容

本詞典的核心部分是詞目索引，即在當(dāng)代美國(guó)英語(yǔ)中最為常用的5000個(gè)詞按照不同的分類(lèi)標(biāo)準(zhǔn)分成三種類(lèi)型的索引。其中主索引是優(yōu)化后按照由高到低的頻次順序排列的

5000個(gè)詞目詞(詞匯原型，即lemma［2］)，每個(gè)詞目詞包含信息如下:

詞目序號(hào)(1，2，3，…5000) 詞目詞 詞性

搭配詞(按照詞性歸類(lèi)，每類(lèi)搭配詞又按照頻率由多到少的順序排列)

原始頻次 |散布指數(shù)(0．00—1．00)(語(yǔ)域標(biāo)記:S—口語(yǔ)，F(xiàn)—小說(shuō)，M—雜志，N—報(bào)紙，A—學(xué)術(shù)期刊)

例如第2203號(hào)詞目:

2203 enable v

noun．student，system．，technology．，program．，teacher，．user，information，．researcher，skill．，software．，．individual，process．，development，．scientist，tool．miscwill．，．us，develop，design．，thus．

15117|0．91 A

在enable這一詞條中，noun表示可在中心詞enable前后各四詞的范圍內(nèi)，構(gòu)成搭配同現(xiàn)結(jié)構(gòu)的名詞，其中最常見(jiàn)的搭配同現(xiàn)詞是student;misc表示其他一些詞性的搭配同現(xiàn)詞。這里所有的搭配同現(xiàn)詞也都是詞匯原型，并按照由高到低的出現(xiàn)頻次排列。一些搭配同現(xiàn)詞前后的“．”表示中心詞所在位置，如“．scientist”表示enable scientists。詞條末尾的語(yǔ)域標(biāo)記(本例為A，即學(xué)術(shù)期刊語(yǔ)域)不是每一個(gè)詞條都有，只有當(dāng)某一詞匯原型在某一個(gè)語(yǔ)域中出現(xiàn)的頻率至少是其在整個(gè)語(yǔ)料庫(kù)中出現(xiàn)頻率的一半時(shí)，才使用相應(yīng)的一個(gè)或幾個(gè)語(yǔ)域符號(hào)標(biāo)示出該詞匯原型出現(xiàn)頻率最高的語(yǔ)域。因此，像the，break等通用詞是沒(méi)有語(yǔ)域標(biāo)記的。關(guān)于修正詞匯原型原始頻次的散布系數(shù)(本例為0．91)將在下一節(jié)介紹。

第二個(gè)索引是字母順序索引，即按照英文字母表的順序排列這5008個(gè)詞目，每個(gè)詞目的格式如下:

中心詞 詞性 詞目序號(hào)(與主索引的詞目序號(hào)一致)

其后的第三個(gè)索引是詞性索引，即按照英語(yǔ)的基本詞性(如動(dòng)詞、名詞、形容詞等)將上述詞目分類(lèi)，每個(gè)詞類(lèi)中的詞目按照主索引的詞目序號(hào)升序排列，即最常見(jiàn)的詞目(詞目序號(hào)最小)排在最前面。每個(gè)條目的格式如下:

詞目序號(hào)(與主索引的詞目序號(hào)一致) 中心詞

這三個(gè)索引通過(guò)詞目序號(hào)連成一體，其中主索引所占的頁(yè)數(shù)將近另外兩個(gè)索引總頁(yè)數(shù)的四倍。

筆者根據(jù)該詞典前面的縮略符號(hào)(p．ix)將詞典詞目分成三大類(lèi)，分別統(tǒng)計(jì)如下:

實(shí)義詞統(tǒng)計(jì)表*

功能詞統(tǒng)計(jì)表*

語(yǔ)法標(biāo)記(詞)統(tǒng)計(jì)表*

三大類(lèi)詞匯各自所占比重

此外，《當(dāng)代美語(yǔ)頻率詞典》前后共收錄了31個(gè)主題詞表。其中有關(guān)于動(dòng)物、身體部位、服飾、顏色、情感等的主題詞表15個(gè)，每個(gè)主題詞表中的詞目按照出現(xiàn)頻次降序排列。如“動(dòng)物”主題詞表列舉了前80個(gè)詞，并在每個(gè)詞的右下角給出了該詞在整個(gè)語(yǔ)料庫(kù)中的原始頻次，前面五個(gè)依次為:dogn49897，fishn41277，birdn35610，horsen30042，chickenn23955(p．15)。由于一些表示動(dòng)物的詞有比喻義，或是一些體育運(yùn)動(dòng)隊(duì)的吉祥物，它們實(shí)際的使用頻次可能會(huì)增加，編纂者細(xì)心地為這些詞語(yǔ)加了圓括號(hào)，如排于該主題詞表中第20位的pig8048等(p．15)。接著是口語(yǔ)、小說(shuō)、流行雜志、報(bào)紙、學(xué)術(shù)期刊這五種語(yǔ)域的主題詞表5張，然后是11張關(guān)于英語(yǔ)語(yǔ)言知識(shí)的主題詞表，包括美語(yǔ)新詞、美式英語(yǔ)和英式英語(yǔ)、不規(guī)則名詞復(fù)數(shù)、短語(yǔ)動(dòng)詞、單詞長(zhǎng)度(Zipf定律)等主題詞表，每個(gè)詞表基本都按照原始頻次來(lái)排列詞目。這些主題詞表是極具價(jià)值的英語(yǔ)教學(xué)材料。

二、編纂特色

1．語(yǔ)料來(lái)源權(quán)威

詞頻詞典的質(zhì)量取決于供計(jì)算機(jī)抽取詞頻的語(yǔ)料庫(kù)的質(zhì)量。對(duì)于一個(gè)平衡語(yǔ)料庫(kù)來(lái)說(shuō)，容量問(wèn)題和代表性問(wèn)題最為關(guān)鍵?！懂?dāng)代美語(yǔ)頻率詞典》的語(yǔ)言信息抽取自當(dāng)代美語(yǔ)語(yǔ)料庫(kù)(Corpus of Contemporary American English，COCA)。該語(yǔ)料庫(kù)從1990年開(kāi)始每年收錄2000萬(wàn)詞的最新資料，包含超過(guò)15萬(wàn)個(gè)文本文件，迄今為止已達(dá)4億詞，堪稱(chēng)全球英語(yǔ)語(yǔ)料庫(kù)中的“巨無(wú)霸”(參見(jiàn)http:∥www．a(chǎn)mericancorpus．org)。它比1990年開(kāi)始籌建的1億詞的美國(guó)國(guó)家語(yǔ)料庫(kù)(American National Corpus，ANC)還要大三倍，且美國(guó)國(guó)家語(yǔ)料庫(kù)目前也只完成了2200萬(wàn)詞的收錄及詳細(xì)標(biāo)注工作(參見(jiàn)http:∥www．a(chǎn)mericannationalcorpus．org)。鑒于當(dāng)代美語(yǔ)語(yǔ)料庫(kù)按照年份每年收錄2000萬(wàn)詞，完全可以將其作為當(dāng)代美語(yǔ)的監(jiān)控語(yǔ)料庫(kù)。

就語(yǔ)料庫(kù)的代表性而言，該詞頻詞典編纂時(shí)，當(dāng)代美語(yǔ)語(yǔ)料庫(kù)一共涵蓋了由五個(gè)語(yǔ)域構(gòu)成的五個(gè)子庫(kù)(pp．3—4):(1)口語(yǔ)子庫(kù)包括從150個(gè)電視與廣播節(jié)目的無(wú)腳本對(duì)話轉(zhuǎn)寫(xiě)的文本，覆蓋全美主要的電視及廣播媒體，共7900萬(wàn)詞;(2)小說(shuō)子庫(kù)涵蓋從文學(xué)雜志、兒童雜志以及流行雜志搜集到的小說(shuō)及戲劇文本，1990年至今出版的小說(shuō)的第一版第一章和電影腳本，共7600萬(wàn)詞;(3)雜志子庫(kù)覆蓋全美100多種雜志，按照年份和雜志類(lèi)別共搜集8100萬(wàn)詞;(4)報(bào)紙子庫(kù)包括全美10種主要報(bào)紙，按照不同版面分類(lèi)搜集了7600萬(wàn)詞;(5)學(xué)術(shù)期刊語(yǔ)域包括近100本同行評(píng)審的學(xué)術(shù)期刊，覆蓋了美國(guó)國(guó)會(huì)圖書(shū)館分類(lèi)標(biāo)準(zhǔn)的全部代碼，每年抽取一定詞量形成本子庫(kù)的文本文件，共7600萬(wàn)詞。因此，在這樣一個(gè)容量巨大(3．88億詞)、抽樣均衡的大型平衡語(yǔ)料庫(kù)的基礎(chǔ)上抽取的詞頻信息，是可以充分反映當(dāng)代美語(yǔ)詞匯的使用情況的。

2．詞目排序科學(xué)

本詞典的詞目排序不是簡(jiǎn)單地按照詞目的原始頻次降序排列，而是運(yùn)用了自然語(yǔ)言處理技術(shù)中的“散布系數(shù)(dispersion index)”來(lái)優(yōu)化原始的詞匯頻次，這就形成了最終排序時(shí)采用的數(shù)值，其計(jì)算公式為“頻次值=原始頻次×散布系數(shù)”。因?yàn)橐恍┰~目(特別是一些科技術(shù)語(yǔ)，如計(jì)算機(jī)術(shù)語(yǔ)cache)可能會(huì)較多出現(xiàn)在某一個(gè)或幾個(gè)語(yǔ)域中，若按照未經(jīng)修正的原始頻次排序，并不能充分反映語(yǔ)言使用的真實(shí)情況，而根據(jù)優(yōu)化后的詞目頻次重新排序，則可以大大減少誤差。

3．搭配信息豐富

自然語(yǔ)言處理領(lǐng)域中，運(yùn)用信息論中的互信息(Mutual Information，MI)數(shù)值來(lái)測(cè)算兩詞或表達(dá)之間的同現(xiàn)關(guān)系是從20世紀(jì)90年代初開(kāi)始的。Church＆Hanks于1990年提出用“點(diǎn)互信息(Pointwise Mutual Information)”的方法計(jì)量單詞或表達(dá)式的同現(xiàn)情況。具體而言就是，設(shè)定一個(gè)語(yǔ)料庫(kù)中的兩個(gè)單詞w1和w2，P(w1，w2)和freq(w1，w2)表示兩詞同現(xiàn)的概率和頻次，P(w1)和freq(w1)是w1在整個(gè)語(yǔ)料庫(kù)中單獨(dú)出現(xiàn)的概率和頻次，P(w2)和freq(w2)是w2單獨(dú)出現(xiàn)的概率和頻次，N是語(yǔ)料庫(kù)的總詞數(shù)，則單詞w1和w2共現(xiàn)的互信息其實(shí)就是兩個(gè)詞語(yǔ)共現(xiàn)概率除以兩詞單獨(dú)出現(xiàn)概率乘積的對(duì)數(shù)，公式演算過(guò)程如下:

在自然語(yǔ)言處理領(lǐng)域，研究者發(fā)現(xiàn)互信息在稀疏數(shù)據(jù)集上會(huì)出現(xiàn)很大問(wèn)題，即對(duì)于那些出現(xiàn)頻次較低的單詞而言，不能達(dá)到預(yù)期的測(cè)試效果(Manning＆Schütze 1999/2003:182)。有研究者建議將詞頻的最小值設(shè)定為3，即只關(guān)注出現(xiàn)頻次在3次以上的兩個(gè)詞語(yǔ)之間的互信息，但是這也不能完全解決互信息的一些問(wèn)題(Manning＆Schütze 1999/2003:182)。因?yàn)榛バ畔⒃诒举|(zhì)上是“測(cè)量?jī)稍~語(yǔ)間互不相關(guān)性的一種好方法”(Manning＆Schütze 1999/2003:182)。盡管互信息在測(cè)量?jī)蓚€(gè)詞語(yǔ)的同現(xiàn)情況方面不是十分理想，但使用互信息的一個(gè)顯著優(yōu)勢(shì)是可以提供更多的搭配同現(xiàn)信息。因?yàn)椤盎バ畔⒌臄?shù)值越接近0，則說(shuō)明兩詞越是獨(dú)立出現(xiàn)”(Manning＆Schütze 1999/2003:182)，即兩詞之間共現(xiàn)的可能性越小;反之，數(shù)值越大，則說(shuō)明這兩個(gè)詞語(yǔ)越會(huì)在一起出現(xiàn)。具體到實(shí)際操作中，《當(dāng)代美語(yǔ)頻率詞典》的編纂者編寫(xiě)出一個(gè)程序去檢索整個(gè)語(yǔ)料庫(kù)，然后統(tǒng)計(jì)出包括節(jié)點(diǎn)詞(node word)及其前后四個(gè)詞在內(nèi)的序列(共計(jì)9個(gè)詞的檢索行)的總頻次，然后邀請(qǐng)至少四名本族語(yǔ)為美語(yǔ)的使用者進(jìn)行人工鑒別(p．6)。之后為了獲得更多有效的搭配信息，兩位編者通過(guò)初步的抽樣試點(diǎn)計(jì)算之后將互信息臨界值設(shè)定為2．5(p．6)，這樣可以包括更多的同現(xiàn)詞，最后確定錄入本詞典中每個(gè)詞目的搭配詞。

4．電子資源配套

特別值得一提的是，本詞典還配備供不同使用者使用的電子版本。電子版在收詞數(shù)目、搭配同現(xiàn)詞的數(shù)量等方面均與紙質(zhì)版有所不同。電子介質(zhì)的詞典又有三種版本:PDF版本、txt文本文件版本和Excel表格版本，且區(qū)分了商用和學(xué)術(shù)研究用的購(gòu)買(mǎi)價(jià)格。該詞典的電子版本最多收錄了2萬(wàn)個(gè)詞目，每個(gè)詞目帶有200～300個(gè)搭配詞，提供了非常豐富的搭配信息。(參見(jiàn) http:∥www．wordfrequency．info/purchase．a(chǎn)sp)

三、不足之處

《當(dāng)代美語(yǔ)頻率詞典》也有一些問(wèn)題:

(1)詞典“縮略符號(hào)”一頁(yè)提供的詞目加起來(lái)一共有5045個(gè)(參見(jiàn)本文第一節(jié)的最后一張統(tǒng)計(jì)表格)，這與詞典正文部分收錄的5000個(gè)最為常用的詞目在數(shù)目上有些差異。在詞典的三個(gè)索引中，兼類(lèi)詞按照詞性單獨(dú)列為詞典詞目，并單獨(dú)配有相應(yīng)的詞目序號(hào)，所以不可能出現(xiàn)不同詞性的詞同屬一個(gè)詞目而造成詞匯數(shù)目“縮水”。筆者曾就此發(fā)電子郵件咨詢過(guò)主編Davies教授。Davies教授指出:《當(dāng)代美語(yǔ)頻率詞典》的正文是5000條詞目，確實(shí)比根據(jù)詞典前面的詞類(lèi)縮略符號(hào)一頁(yè)提供的數(shù)據(jù)統(tǒng)計(jì)出的結(jié)果少了1%左右的詞目，但這不影響整部詞典統(tǒng)計(jì)數(shù)據(jù)的可靠性。筆者推測(cè)，這一問(wèn)題可能是因截取點(diǎn)定在第5000個(gè)詞目后，沒(méi)有相應(yīng)地修改“縮略符號(hào)”頁(yè)上提供的詞目數(shù)造成的。

(2)關(guān)于“冠詞”類(lèi)中詞目擴(kuò)大化的問(wèn)題，筆者也曾向Davies教授求教。Davies教授指出，在前2萬(wàn)個(gè)詞目中，屬于冠詞范疇的詞目依次為(括號(hào)內(nèi)的數(shù)字是根據(jù)當(dāng)代美語(yǔ)語(yǔ)料庫(kù)算出的最新詞目序號(hào)):the(1)，a(5)，his(25)，their(36)，her(42)，my(44)，your(69)，its(78)，our(79)，no(93)，every(172)，thy(10226)，his/her(12456)，yer(19414)，并進(jìn)一步指出其理?yè)?jù)來(lái)源于蘭開(kāi)斯特大學(xué)開(kāi)發(fā)的CLAW賦碼器的第七版賦碼集(C7 Tagset)(參見(jiàn)http:∥ucrel．lancs．a(chǎn)c．uk/claws)對(duì)于此類(lèi)詞匯的賦碼。筆者查看了C7賦碼集，上述這些詞匯的賦碼為:

這三個(gè)詞類(lèi)的確都是以A開(kāi)頭的，AT1作為AT的一個(gè)相關(guān)詞類(lèi)，包含了a和an這兩個(gè)傳統(tǒng)語(yǔ)法界定的“不定冠詞”。但是，將APPGE歸入“冠詞”的做法畢竟有違一般的語(yǔ)法觀念。基于語(yǔ)料庫(kù)編纂的《朗文英語(yǔ)口語(yǔ)和筆語(yǔ)語(yǔ)法》(Biberet al．1999/2000)用不同術(shù)語(yǔ)指稱(chēng)這些詞:definite article(the)，indefinite article(a，an)，possessive determiner(his，your)和quantifier(no)。因此，對(duì)“冠詞”范疇擴(kuò)大化的問(wèn)題還是有必要向讀者做出一些說(shuō)明的，不然很多讀者會(huì)產(chǎn)生疑惑。比如可以從這幾類(lèi)詞的功能上加以說(shuō)明，他們都能修飾名詞，并對(duì)被修飾的詞加以限制說(shuō)明。

(3)《當(dāng)代美語(yǔ)頻率詞典》的數(shù)據(jù)基礎(chǔ)是詞匯形式的出現(xiàn)頻率，而不是其語(yǔ)義的出現(xiàn)頻率。盡管兩位編纂者根據(jù)詞性對(duì)搭配詞進(jìn)行了歸類(lèi)，但是它們最多只能反映出詞匯語(yǔ)義的粗顆粒度差異，對(duì)于詞匯語(yǔ)義的細(xì)顆粒度差異，還需要真正基于語(yǔ)義標(biāo)注的大型平衡語(yǔ)料庫(kù)助一臂之力。其實(shí)這也是大多數(shù)基于形式出現(xiàn)頻率編纂的詞頻詞典的共同缺陷。值得關(guān)注的是，現(xiàn)在國(guó)際上已有很多研究者正在積極地進(jìn)行詞匯句法語(yǔ)義標(biāo)注的理論研究與工程實(shí)踐，希望將來(lái)研究者可以編纂出實(shí)用的語(yǔ)義頻率詞典。

上述問(wèn)題不過(guò)是《當(dāng)代美語(yǔ)頻率詞典》這塊美玉上的幾個(gè)瑕疵。能從一個(gè)4億詞(最初編制的主索引是從3．8億詞的語(yǔ)料庫(kù)中抽取，參見(jiàn)Davies 2009)的當(dāng)代美語(yǔ)語(yǔ)料庫(kù)中提取如此豐富準(zhǔn)確的詞頻信息，單就這一項(xiàng)艱辛的工作來(lái)說(shuō)已實(shí)屬不易。黃昌寧和李娟子(2002:172)指出:詞頻統(tǒng)計(jì)信息在“決定詞典的收詞，編寫(xiě)語(yǔ)言教科書(shū)和開(kāi)發(fā)自然語(yǔ)言處理系統(tǒng)的機(jī)器詞典等諸多方面都有重要的參考價(jià)值”?！懂?dāng)代美語(yǔ)頻率詞典》向語(yǔ)言學(xué)習(xí)者、語(yǔ)言教師及研究者提供了當(dāng)代美語(yǔ)詞匯使用的實(shí)際情況，其應(yīng)用價(jià)值是不言而喻的。希望國(guó)內(nèi)研究者可以充分利用這部詞典的研究成果，并結(jié)合在英國(guó)國(guó)家語(yǔ)料庫(kù)基礎(chǔ)上編纂的《英語(yǔ)書(shū)面語(yǔ)與口語(yǔ)的詞匯頻率》(Leechet al．2001)一書(shū)，在英語(yǔ)教學(xué)、英漢詞典編纂與語(yǔ)言研究中取得更多的成果。

附 注

［1］本文直接引證《當(dāng)代美語(yǔ)頻率詞典:詞匯素描、搭配和主題詞表》的有關(guān)內(nèi)容時(shí)，只標(biāo)出頁(yè)碼(如:p．6)。

［2］有研究者將lemma譯為“削尾詞”，這里我們稱(chēng)為“詞匯原型”。

1．黃昌寧，李娟子．語(yǔ)料庫(kù)語(yǔ)言學(xué)．北京:商務(wù)印書(shū)館，2002．

2．章宜華，雍和明．當(dāng)代詞典學(xué)．北京:商務(wù)印書(shū)館，2007．

3．Biber D．et al．Longman Grammar of Spoken and Written English．Beijing:Foreign Language Teaching and Research Press，1999/2000．

4．Church K W，Hanks P．Word Association Norms，Mutual Information，and Lexicography．Computational Linguistics，1990(1):22—29．

5．Davies M．The 385+Million Word Corpus of Contemporary American English(1990—2008+):Design，Architecture，and Linguistic Insights．International Journal of Corpus Linguistics，2009(2):159—190．

6．Davies M，Gardner D．A Frequency Dictionary of Contemporary American English:Word Sketches，Collocates，and Thematic Lists．London/New York:Routledge，2010．

7．Leech G．et al．Word Frequencies in Written and Spoken English Based on the British National Corpus．London:Longman，2001．

8．Manning C D，Schütze H．Foundations of Statistical Natural Language Processing．Cambridge:The MIT Press，1999/2003．

9．Oakes M P．Statistics for Corpus Linguistics．Edinburgh:Edinburgh University Press，1998．