基于多特征的英漢術(shù)語譯文質(zhì)量自動評價

李 楠，葉 娜，蔡東風(fēng)

(沈陽航空航天大學(xué) 知識工程研究中心，沈陽 110136)

計算機工程

基于多特征的英漢術(shù)語譯文質(zhì)量自動評價

李 楠，葉 娜，蔡東風(fēng)

(沈陽航空航天大學(xué) 知識工程研究中心，沈陽 110136)

該文通過深入分析術(shù)語的語言學(xué)特點和領(lǐng)域特點，引入了能充分刻畫術(shù)語譯文流利度、緊密度和忠實度的三類特征，即術(shù)語構(gòu)詞、互信息和術(shù)語實例庫，將其與基礎(chǔ)特征進行組合，采用機器學(xué)習(xí)方法中的排序?qū)W習(xí)算法將列表排序問題分解成二分類問題，最后利用最大熵分類器預(yù)測多個翻譯系統(tǒng)的術(shù)語譯文質(zhì)量。實驗結(jié)果表明，在評價英漢術(shù)語翻譯任務(wù)上的多個系統(tǒng)的輸出譯文質(zhì)量時，該文引入的特征，可以進一步提高術(shù)語譯文質(zhì)量評價結(jié)果和人工評價結(jié)果的一致性。

術(shù)語；特征；質(zhì)量評價；最大熵分類器

對機器翻譯譯文質(zhì)量自動評價的研究一直是國內(nèi)外機器翻譯界的研究熱點，它不僅能夠用來幫助用戶在多個翻譯系統(tǒng)提供的機器譯文中快速地選擇翻譯質(zhì)量最好的譯文，還可以把譯文質(zhì)量評價的結(jié)果作為反饋信息用來指導(dǎo)研究者們在系統(tǒng)開發(fā)過程中特征參數(shù)的調(diào)整，極大地促進了機器翻譯系統(tǒng)的研究和開發(fā)。

機器翻譯譯文質(zhì)量自動評價分為有參自動評價和無參自動評價[1]兩種。前者是在有參考譯文的情況下通過比較機器翻譯輸出的譯文與參考譯文之間的相似性來評測譯文質(zhì)量，例如：BLEU[2]和NIST[3]等。但是，由于參考譯文在覆蓋多種語言現(xiàn)象上的稀疏性，導(dǎo)致它在句子級別譯文質(zhì)量評價結(jié)果上與人工評價結(jié)果的一致性偏低。所以，它們通常用在系統(tǒng)級別的機器翻譯譯文質(zhì)量自動評價中。

近幾年，研究者們把機器學(xué)習(xí)的方法引入到機器翻譯譯文質(zhì)量評價領(lǐng)域，提出了譯文質(zhì)量無參自動評價方法。它是在沒有參考譯文的情況下，以譯文人工評價的結(jié)果為標(biāo)準(zhǔn)，使用有監(jiān)督學(xué)習(xí)的方法對影響譯文質(zhì)量的特征進行建模，因此，它能夠較好地融合多個特征來擬合譯文的人工評價結(jié)果，提高譯文質(zhì)量的預(yù)測準(zhǔn)確率和與人工評價的一致性。

在機器翻譯譯文質(zhì)量自動評價中引入機器學(xué)習(xí)方法，特征的選取對于系統(tǒng)性能有著很大影響。然而現(xiàn)有的特征提取，只是針對句子進行特征挖掘，提取出的特征不能很好地反映術(shù)語譯文的相對質(zhì)量。術(shù)語作為領(lǐng)域內(nèi)某概念的抽象，在特定的專業(yè)領(lǐng)域中使用，它具有很強的語言學(xué)特點和領(lǐng)域特點。所以，針對術(shù)語的自身特點進行特征提取在術(shù)語譯文質(zhì)量評價研究中具有重要意義。

基于此，本文通過對術(shù)語自身特點的深入分析，實現(xiàn)了基于多特征的英漢術(shù)語譯文質(zhì)量自動評價，該方法通過引入能充分刻畫術(shù)語譯文流利度、緊密度和忠實度的特征，即術(shù)語構(gòu)詞、互信息和術(shù)語實例庫三類特征，然后，將其與基礎(chǔ)特征進行組合，采用機器學(xué)習(xí)方法中的排序?qū)W習(xí)算法將列表排序問題分解成二分類問題，最后利用最大熵分類器預(yù)測多個翻譯系統(tǒng)的術(shù)語譯文質(zhì)量。實驗結(jié)果表明，在評價英漢術(shù)語翻譯任務(wù)上的多個系統(tǒng)的輸出譯文質(zhì)量時，本文提出的每一類特征，都可以有效地提高術(shù)語譯文質(zhì)量自動評價結(jié)果和人工評價結(jié)果的一致性。

1 相關(guān)工作

在機器學(xué)習(xí)方法的研究上，常用的機器學(xué)習(xí)方法包括：分類[4-5]、回歸[6]和排序[7]。Blatz[8]等人最早將分類的思想引入到譯文質(zhì)量評價中，使用分類器來區(qū)分好和不好的輸出譯文。Joshua S Albrecht[9]等人使用回歸模型來給每個譯文打一個分?jǐn)?shù)以此來評價譯文質(zhì)量的好壞。Kevin Duh[10]等人把譯文質(zhì)量評價問題看作排序問題，認(rèn)為判斷譯文間的排序關(guān)系要比給每個譯文打一個分?jǐn)?shù)要簡單得多。如果評價的最終目標(biāo)是比較譯文間的相對質(zhì)量，那么在評價階段直接采用基于排序的策略更為便捷。

在特征選取研究工作中，Specia[11-12]等人采用的特征為“黑盒子特征”,即在只給定輸入(源語言句子)和翻譯結(jié)果輸出(目標(biāo)語言句子)條件下,如何從任意MT系統(tǒng)中得到更為通用和泛化的特征,如源語言和目標(biāo)語言句子的長度及其之間的比例關(guān)系等。Shah[13]等人利用一個特征選擇技術(shù)對影響譯文質(zhì)量評價的特征進行了分析，發(fā)現(xiàn)通過對特征進行選擇以后，應(yīng)用部分特征進行譯文質(zhì)量評價可以達(dá)到與應(yīng)用全部特征不相上下甚至更好的效果。

2 特征

本文使用八類特征來刻畫術(shù)語譯文的質(zhì)量，包括雙向翻譯概率特征、語言模型特征、偽參考譯文特征、句子長度特征、單詞重合率特征、術(shù)語構(gòu)詞特征、互信息特征和術(shù)語實例庫特征，其中這八類特征我們又分為兩大類：基礎(chǔ)特征和新特征?；A(chǔ)特征是先前研究者對句子進行譯文質(zhì)量評價工作時使用效果較好的特征，在本文中我們把它們應(yīng)用在術(shù)語譯文質(zhì)量評價中，新特征是本文針對術(shù)語自身特點提出的。現(xiàn)詳細(xì)敘述如下。

2.1 基礎(chǔ)特征

(1)雙向翻譯概率特征

為了描述術(shù)語譯文表達(dá)源語言術(shù)語信息量的多少，即術(shù)語譯文的忠實度，在缺少術(shù)語譯文和源語言術(shù)語詞對齊關(guān)系的情況下，我們使用公式(1)來近似地計算由含有m個詞的源語言術(shù)語f生成含有n個詞的術(shù)語譯文e的概率。

(1)

其中公式(1)中，p(ei|fj)是詞語間翻譯概率，可通過在雙語平行語料上訓(xùn)練詞對齊獲取。為了進一步衡量術(shù)語譯文的忠實度，我們也采用類似的方法計算術(shù)語譯文生成源語言術(shù)語的近似概率。

(2)語言模型特征

語言模型是用來計算某個單詞序列是正常句子的概率，它能夠較好地刻畫譯文的流利程度。語言模型相關(guān)的特征包括：術(shù)語譯文詞語的語言模型概率和困惑度，術(shù)語譯文詞性的語言模型概率和困惑度。

(3)偽參考譯文特征

對某個翻譯系統(tǒng)的術(shù)語譯文，使用其他翻譯系統(tǒng)的術(shù)語譯文作為標(biāo)準(zhǔn)翻譯，計算對應(yīng)的術(shù)語譯文BLEU得分，這種特征已經(jīng)在譯文質(zhì)量評價研究中被廣泛使用，實驗結(jié)果已經(jīng)證明此類特征能夠有效的反映術(shù)語的相對翻譯質(zhì)量。

(4)句子長度特征

源語言術(shù)語包含的單詞個數(shù)和目標(biāo)語言術(shù)語包含的單詞個數(shù)的比值。

(5)單詞重合率特征

對于待估計術(shù)語譯文質(zhì)量的M個術(shù)語翻譯系統(tǒng)，依次計算每個術(shù)語候選所包含的單詞集合A與其他系統(tǒng)術(shù)語譯文所包含單詞集合B的交集C和差集D，使用特征|C|/|A|和|D|/|A|，|A|表示集合A中包含元素的個數(shù)。

2.2 新特征

(1)術(shù)語構(gòu)詞特征

本文從術(shù)語語言學(xué)知識的角度出發(fā)，分析了中文術(shù)語的構(gòu)詞結(jié)構(gòu)與其它詞語有明顯的不同，具體有以下兩個方面：

(a)從詞性角度看:中文術(shù)語構(gòu)成詞語主要以名詞、動詞和形容詞為主。例如：名詞+名詞(“磁電機軸”)、形容詞+名詞(“可變抗阻裝置”)、動詞+名詞(“超越離合器”)、動詞(名詞)+單字名詞(“導(dǎo)熱板”)，等等。

(b)從用字角度看：術(shù)語是領(lǐng)域?qū)＜矣脕砜坍?、描寫領(lǐng)域知識的基本信息承載單元，在用字上具有非常嚴(yán)謹(jǐn)?shù)奶攸c。有些字幾乎不可能出現(xiàn)在術(shù)語中，本文把這些字歸納如表1所示：

表1 中文術(shù)語中不含有的字

本文從詞性和字兩方面分析了術(shù)語構(gòu)詞特點，提出了術(shù)語構(gòu)詞特征。

術(shù)語構(gòu)詞特征包括：

詞性方面：分別統(tǒng)計術(shù)語譯文中名詞、動詞和形容詞的個數(shù)，然后把他們與術(shù)語譯文中所有詞個數(shù)的比值作為特征。

字方面：術(shù)語譯文中是否包含表1中的字。如果包含，在分類器中的相應(yīng)特征值取為-1，不包含特征值取為0。

(2)互信息特征

“中心詞”也稱中心語或定位詞，就是一句話或一個術(shù)語緊緊圍繞著進行論述的詞。就是用來在文章中找位置的詞，有了中心詞就很容易找到答案，所以中心詞很重要的。

通過對術(shù)語翻譯譯文的分析，知道中心詞在術(shù)語譯文中的權(quán)重較大，利用中心詞與修飾詞的結(jié)合緊密程度可以在一定程度上衡量術(shù)語譯文的整體流暢度和緊密度。

互信息在信息論中是作為衡量兩個信號關(guān)聯(lián)程度的一種尺度，后來引申為對兩個隨機變量間的關(guān)聯(lián)程度進行統(tǒng)計描述，可表示成這兩個隨機變量的概率的函數(shù)。在本文中互信息用來描述術(shù)語中心詞與修飾詞之間的結(jié)合緊密程度。設(shè)I(x,y)為隨機變量x和y的互信息，

(2)

公式(2)中p(x)和p(y)分別是x和y獨立出現(xiàn)的概率，p(x,y)是x和y同現(xiàn)的概率。I(x,y)≥0，表明x和y的關(guān)聯(lián)程度強；I(x,y)≈0表明x和y的關(guān)聯(lián)程度弱，它們的同現(xiàn)僅屬偶然；I(x,y)≤0，表明x和y互補分布，不存在關(guān)聯(lián)關(guān)系。

術(shù)語譯文按照中心詞在句中的權(quán)重不同，對每個翻譯結(jié)果T，通過公式計算各個修飾詞與中心詞的關(guān)聯(lián)程度，以此評價術(shù)語譯文的整體流暢度和緊密度。

(3)

其中公式(3)中HW為中心詞，MI(x,HW)為詞語x與中心詞HW的互信息，C(x)為詞語x在訓(xùn)練語料中出現(xiàn)的次數(shù)，n為所有詞的總次數(shù)。根據(jù)術(shù)語中心詞特點：術(shù)語的末尾詞往往是中心詞，如“管流式電泵”、“修井裝置”等。所以在這里我們選取HW為術(shù)語的末尾詞。

互信息特征具體計算過程如下：

(a)計算當(dāng)前術(shù)語譯文中的每個詞與中心詞的互信息，并對距離中心詞越遠(yuǎn)的詞進行相應(yīng)的懲罰；

(b)將每一對詞的互信息累加。由此計算結(jié)果會傾向于選擇包含詞語個數(shù)較多的術(shù)語譯文，從而造成選擇偏置問題。我們將整個術(shù)語譯文除以其所包含的詞數(shù)，進行簡單的歸一化處理；

互信息特征計算公式如下：

(4)

其中公式(4)中MIT為當(dāng)前術(shù)語譯文互信息特征值，|T|為當(dāng)前術(shù)語譯文包含的詞數(shù)，d(x,HW)是詞語x與中心詞HW的距離作為計算互信息特征值時的懲罰，MI(x,HW)為詞語x與中心詞HW的互信息。

(3)術(shù)語實例庫特征

術(shù)語，作為一個專業(yè)概念的約定性語言符號，具有較高的領(lǐng)域性，相同領(lǐng)域的術(shù)語在構(gòu)詞結(jié)構(gòu)和語言單位的組成上都具有較高的相似性。以機械領(lǐng)域術(shù)語為例，如“空壓機氣管連接裝置”、“外固定架彈性裝置”、“點火表存儲裝置”等，這幾個術(shù)語都是以“……裝置”作為結(jié)束詞?；诖耍疚奶岢鲂g(shù)語實例庫特征，其中，實例庫中的實例是與待翻譯術(shù)語相同領(lǐng)域的，通過實例庫中的術(shù)語實例來評價術(shù)語譯文質(zhì)量。

術(shù)語實例庫特征，主要借鑒于基于實例的機器翻譯[14]思想，使用預(yù)先處理過的雙語平行術(shù)語語料構(gòu)建術(shù)語實例庫。通過查找與待翻譯術(shù)語最匹配的翻譯術(shù)語實例來生成能反映術(shù)語譯文相對質(zhì)量的目標(biāo)術(shù)語，最后通過計算術(shù)語譯文與目標(biāo)術(shù)語的BLEU值作為術(shù)語實例庫特征。

術(shù)語實例庫特征具體計算過程如下：

(5)

我們找出與待翻譯術(shù)語相似的前五個翻譯術(shù)語實例。

在術(shù)語實例庫中，我們選取前五個與待翻譯術(shù)語相似的實例而不是選取一個最相似的翻譯術(shù)語實例，原因在于我們通過分析發(fā)現(xiàn)與待翻譯術(shù)語最相似的翻譯術(shù)語實例的譯文不一定能最好的反映待翻譯術(shù)語譯文的質(zhì)量。

(b)分別計算待翻譯術(shù)語譯文與術(shù)語實例庫中返回的前五個翻譯術(shù)語實例對應(yīng)譯文的BLEU值，把BLEU值最高的作為術(shù)語實例庫的特征值。

3 機器學(xué)習(xí)方法

3.1 排序?qū)W習(xí)算法

本文使用基于成對比較的機器學(xué)習(xí)排序算法對來自多個翻譯系統(tǒng)的術(shù)語譯文進行質(zhì)量評價，基于成對比較的排序算法是由Kevin Duh[10]等人引入到機器翻譯譯文質(zhì)量評價領(lǐng)域的。主要思想是：將列表排序問題分解成二分類問題，然后從二分類問題的結(jié)果中得到列表排序結(jié)果。

3.2 分類器

本文采用最大熵模型進行分類器的構(gòu)建。具體實現(xiàn)步驟如下：

(1)訓(xùn)練過程

每個訓(xùn)練實例包含一個類別標(biāo)簽c和能夠反映出術(shù)語譯文相對質(zhì)量差異的特征(f1,f2,K,fn)。類別標(biāo)簽計算如公式(6)所示：

(6)

標(biāo)簽c取決于ri和rj的相對大小，如果ri大于rj，那么標(biāo)簽為1，反之，則標(biāo)簽為-1。(ri,rj)是相應(yīng)的術(shù)語譯文對(ti,tj)的排序得分。在本文中，術(shù)語譯文對(ti,tj)的排序得分(ri,rj)由人工打分獲得。

(2)測試過程

把訓(xùn)練過程中在訓(xùn)練集上得出的排序統(tǒng)計模型應(yīng)用到測試集中，給出術(shù)語譯文對的二值分類結(jié)果，最后從這些二分類結(jié)果中恢復(fù)整個列表的排序結(jié)果。如圖1所示。

圖1 分類器流程圖

(3)重組排序

我們使用公式(7)，把術(shù)語譯文對的二分類結(jié)果進行重組排序，恢復(fù)整個列表的排序。

(7)

其中，ri表示對術(shù)語譯文ti打分結(jié)果，ci,j是術(shù)語譯文對(ti,tj)分類結(jié)果。

4 實驗及結(jié)果分析

4.1 實驗語料

本文實驗語料來源于國家專利局英漢title(專利名稱)，我們將title是術(shù)語的提取出來，共挑選453 000對英漢術(shù)語，其中英文術(shù)語平均長度是5.14個詞，中文術(shù)語平均長度是5.07個詞，將其中45萬句用作訓(xùn)練詞對齊模型、語言模型、互信息模型和術(shù)語實例庫，3000句作為本文的訓(xùn)練和測試語料。

我們用三個基本翻譯系統(tǒng)對3000句英文術(shù)語進行翻譯，得到三個系統(tǒng)的術(shù)語翻譯結(jié)果。在這個實驗中使用的基本翻譯系統(tǒng)是百度、谷歌和有道提供的在線翻譯服務(wù)，所有的術(shù)語譯文結(jié)果均從三個服務(wù)上抓取獲得，然后對獲得的術(shù)語譯文結(jié)果進行人工排名評價。

在人工排名評價中，我們用5個翻譯人員對來自三個不同翻譯系統(tǒng)的術(shù)語譯文按照譯文質(zhì)量進行排序，取在5個人中一致性比例高的那組排序結(jié)果作為我們的最終人工排名評價結(jié)果。

最后，我們把3000組術(shù)語譯文列表隨機分成兩份，一份是2000組用作訓(xùn)練語料，一份是1000組用作測試語料。

其中，分詞工具采用中科院的ICTCLAS；詞性標(biāo)注工具采用斯坦福大學(xué)的POStagger；語言模型工具采用SRI 口語技術(shù)與研究實驗室的SRILM；最大熵工具采用東北大學(xué)張樂開發(fā)的最大熵工具包。

4.2 實驗設(shè)計

本文首先將2000組按人工評價結(jié)果排好序的術(shù)語譯文列表分解成12000個術(shù)語譯文對，作為最大熵分類器的訓(xùn)練實例訓(xùn)練出排序模型，然后在1000組測試語料上進行實驗，得出1000組術(shù)語譯文列表的排序結(jié)果，最后用1000組測試語料的人工評價結(jié)果來評價術(shù)語譯文質(zhì)量自動評價系統(tǒng)所得排序結(jié)果與人工評價結(jié)果的一致性。

為了測試本文提出的三類新特征對系統(tǒng)性能的影響。在實驗中我們會在基礎(chǔ)特征的基礎(chǔ)上逐一加上某一類新特征，重新訓(xùn)練排序模型，然后在測試集上進行排序的實驗，獲得對應(yīng)的實驗結(jié)果。

4.3 評價指標(biāo)

對排序結(jié)果的分析，我們使用三個不同的評價指標(biāo)來評價其與人工評價結(jié)果的一致性，包括1-best rank accuracy、Pair-wise accuracy和Kendall′s Tau[15]。

(1)1-best rank accuracy

最佳排名預(yù)測準(zhǔn)確率(1-best rank accuracy)，即術(shù)語譯文列表中自動排名最高的術(shù)語譯文與人工評價中排名最高的術(shù)語譯文一致的比例。計算如公式(8)所示：

1-best=

(8)

(2)Pair-wise accuracy

成對比較預(yù)測準(zhǔn)確率(Pair-wise accuracy)，即一組術(shù)語譯文列表排名轉(zhuǎn)化成多對術(shù)語譯文質(zhì)量的兩兩比較，自動評價方法給出的兩兩比較結(jié)果與人工評價結(jié)果一致的比例。計算如公式(9)所示：

(9)

(3)Kendall′s Tau

Kendall′s Tau評價指標(biāo)用于衡量兩個排序結(jié)果的相似性，定義如下：

(10)

判斷一致的對數(shù)是指術(shù)語譯文列表自動排序結(jié)果與人工排序結(jié)果完全一致的個數(shù)。

4.4 實驗結(jié)果及分析

表2所示為對英漢術(shù)語譯文進行質(zhì)量評價時在基礎(chǔ)特征(BASE)上依次加入術(shù)語構(gòu)詞(Word Formation)、互信息(Mutual Information)和術(shù)語實例庫(Example Library)三類特征時1-best rank accuracy、Pair-wise accuracy和Kendall′s Tau的變化情況。

從表2中可以看出在基礎(chǔ)特征上加入與術(shù)語自身特點有關(guān)的三類新特征進行術(shù)語譯文質(zhì)量評價相比只采用基礎(chǔ)特征進行術(shù)語譯文質(zhì)量評價，其評價結(jié)果和人工評價結(jié)果的一致性有較大提高。

從實驗結(jié)果可以看出，術(shù)語構(gòu)詞特征對一致性的提高影響最大，1-best rank accuracy、Pair-wise accuracy 和Kendall′s Tau相比基礎(chǔ)特征均提高了2.24%、3.48%和1.23%。其原因是術(shù)語構(gòu)詞特征可以很好的反映術(shù)語譯文的語言學(xué)特點，而中文術(shù)語的語言學(xué)特點在很大程度上可以反映中文術(shù)語的質(zhì)量。

表2 引入不同特征的實驗效果 (%)

從表2中的實驗結(jié)果還可以看出術(shù)語實例庫特征對譯文質(zhì)量自動評價結(jié)果和人工評價結(jié)果一致性的提高影響相對較小，可能有兩方面原因，一是本文用來計算術(shù)語相似度的方法較簡單，不能在術(shù)語實例庫中準(zhǔn)確找出與待翻譯術(shù)語相似的翻譯術(shù)語實例，從而使翻譯術(shù)語實例譯文不能很好的反映待翻譯術(shù)語譯文的相對質(zhì)量；二是術(shù)語實例庫中存在較少與待翻譯術(shù)語相似的翻譯術(shù)語實例。

5 總結(jié)和展望

本文通過對術(shù)語自身語言學(xué)特點和領(lǐng)域特點的深入分析，在機器學(xué)習(xí)方法中引入術(shù)語構(gòu)詞、互信息和術(shù)語實例庫特征，實現(xiàn)了基于多特征的英漢術(shù)語譯文質(zhì)量自動評價。實驗結(jié)果表明，本文引入的特征能較好地提高術(shù)語譯文質(zhì)量自動評價結(jié)果與人工評價結(jié)果的一致性。未來的工作，嘗試有效地引入更多描述術(shù)語譯文質(zhì)量的句法和語義特征，來進一步提高術(shù)語譯文質(zhì)量評價結(jié)果與人工評價結(jié)果的一致性。

[1]Specia L,Raj D,Turchi M.Machine Translation evaluation versus quality estimation[J].Machine Translation,2010,24(1):39-50.

[2]Papineni K,Roukos S,Ward T,et al.BLEU:a method for automatic evaluation of machine translation[C].Proceedings of the 40th annual meeting on association for computational linguistics.Association for Computational Linguistics,2002:311-318.

[3]Doddington G.Automatic evaluation of machine translation quality using n-gram co-occurrence statistics[C].Proceedings of the second international conference on Human Language Technology Research.Morgan Kaufmann Publishers Inc.,2002:138-145.

[4]Corston-Oliver,M.Gamon,C.Brockett.Amachine learning approach to the automatic evaluation of machine translation[C].In ACL,2001.

[5]Kulesza and S.Shieber.A learning approach to improving sentence-level mt evaluation[C].In TMI,2004.

[6]Albrecht and R.Hwa.A re-examination of machine learning approaches for sentence-level MT evaluation[C].In ACL,2007.

[7]Vilar,G.Leusch,H.Ney,and R.Banchs.Human evaluation of machine translation through binary system comparisons[C].In ACL2007 SMT Workshop,2007.

[8]Blatz J,Fitzgerald E,Foster G,et al.Confidence estimation for machine translation[C].Proceedings of the 20th international conference on Computational Linguistics.Association for Computational Linguistics,2004:315.

[9]Joshua S Albrecht,RebeccaHwa.Regression for machine translation evaluation at the sentence level[J].Machine Translation,22(1-2):1-27.

[10]Kevin Duh.Ranking vs.regression in machine translation evaluation[C].In Proceedings of the Third Workshop on Statistical Machine Translation(StatMT ′08).Association for Computational Linguistics,2008:191-194.

[11]Specia L,Cancedda N,Dymetman M,et al.Estimating the sentence-level quality of machine translation systems[C].Proceedings of the 13th EAMT.Barcelona:European Association for Machine Translation,2009:28-35.

[12]Specia L,Saunders C,TurchiM,et al.Improving the confidence of machine translation quality estimates[C].Proceedings of the 12th MT Summit.Ottawa:Inter-national Association for Machine Translation,2009:136-143.

[13]Shah K,Cohn T,Specia L.An investigation on the effectiveness of features for translation quality estimation[C].Proceedings of MT Summit XIV(to appear),Nice,France,2013.

[14]Nagao M.A framework of a mechanical translation between Japanese and English by analogy principle[J].1984.

[15]Bojar O,Buck C,Callison-Burch C,et al.Findings of the 2013 workshop on statistical machine translation[C].Proceedings of the Eighth Workshop on Statistical Machine Translation,2013:1-44.

(責(zé)任編輯：劉劃 英文審校：宋曉英)

AutomaticqualityestimationforEnglish-Chinesetermtranslationbasedonmultiplefeatures

LI Nan，YE Na，CAI Dong-feng

(Knowledge Engineering Research Center,Shenyang Aerospace University,Shenyang 110136,China)

By analyzing term′s linguistic and domain characteristics,three kinds of features,namely,term word-formation,mutual information and term example library,whichcan adequately describe term-translation fluency,compactness and loyalty,were introduced.Then those three kinds of featureswerecombined with basic features.List ranking has been transformed into a binary classification problemwith the application of ranking algorithm.The quality of term-translation from multiple translation systems was predictedover the maximum entropy classifier.The results show that,the proposed features,when assessing the translation quality of the submitted systems outputs of English-Chinese term-translation tasks,canfurther improve the consistency between the results of the automatic estimation and human judgments.

term;feature;quality estimation;maximum entropy classifier

2014-09-24

國家“十二五”科技支撐計劃項目(項目編號：2012BAH14F00)

李楠(1989-)，男，遼寧葫蘆島人，碩士研究生，主要研究方向：自然語言處理，E-mail：linan_vip@126.com；蔡東風(fēng)(1958-)，男，河北霸縣人，教授，主要研究方向：人工智能、自然語言處理，E-mail：caidf@vip.163.com。

2095-1248(2014)06-0059-07

TP391.7

A

10.3969/j.issn.2095-1248.2014.06.011

機器學(xué)習(xí)方法的譯文質(zhì)量自動評價研究主要集中在兩方面，一是機器學(xué)習(xí)方法的研究；二是特征選取的研究。