基于字形與語(yǔ)音的音譯單元對(duì)齊方法

劉博佳 徐金安 陳鈺楓 張玉潔

?

基于字形與語(yǔ)音的音譯單元對(duì)齊方法

劉博佳 徐金安?陳鈺楓 張玉潔

北京交通大學(xué)計(jì)算與信息技術(shù)學(xué)院, 北京 100044; ?通信作者, E-mail: jaxu@bjtu.edu.cn

為了解決僅采用基于語(yǔ)音或基于字形的音譯方法造成的誤差過(guò)大問(wèn)題, 以漢英音譯為主要研究對(duì)象, 運(yùn)用統(tǒng)計(jì)與規(guī)則的理論思想, 提出融合基于語(yǔ)音和字形的音譯單元對(duì)齊方法, 設(shè)計(jì)了4個(gè)實(shí)驗(yàn), 與傳統(tǒng)方法進(jìn)行對(duì)比。實(shí)驗(yàn)結(jié)果顯示, 該方法能夠很好地提高機(jī)器音譯的準(zhǔn)確性。

機(jī)器音譯; 對(duì)齊; N-gram 模型; 基于語(yǔ)音的音譯方法; 基于字形的音譯方法

在自然語(yǔ)言處理應(yīng)用中, 機(jī)器音譯常被用于解決未登錄詞(out-of-vocabulary, OOV)的問(wèn)題, 音譯結(jié)果的準(zhǔn)確度直接影響到實(shí)際應(yīng)用[1]。對(duì)于采用不同字母表和發(fā)音系統(tǒng)的不同語(yǔ)系之間(如英語(yǔ)與漢語(yǔ), 英語(yǔ)與日語(yǔ), 英語(yǔ)與阿拉伯語(yǔ)等), 機(jī)器音譯的難度往往很大。根據(jù)音譯的方向, 可以分為正向音譯(forward-transliteration)和反向音譯(backward-transliteration), 也可分為基于規(guī)則的方法和基于統(tǒng)計(jì)的方法。經(jīng)過(guò)歷年的發(fā)展, 音譯的主流方法經(jīng)歷了從基于規(guī)則到基于統(tǒng)計(jì)的發(fā)展過(guò)程[1]。根據(jù)音譯要素分類(lèi), 主要分為基于語(yǔ)音(phoneme-based)的音譯框架[2]和基于字形(grapheme-based)的音譯框架[3]。

基于規(guī)則的方法需要人工針對(duì)特定的語(yǔ)言對(duì)和音譯方向建立音譯規(guī)則[4]。Wan等[4]提出從英文到中文的基于規(guī)則的正向音譯方法, 該方法的思想被大量應(yīng)用在規(guī)則音譯系統(tǒng)中。蔣龍等[5]指出, 規(guī)則的音譯框架采用跨語(yǔ)言的語(yǔ)音對(duì)應(yīng)表, 這種方法的典型不足就是不能為表中的每一種對(duì)應(yīng)提供一個(gè)概率值, 以便排序選擇最優(yōu)翻譯。同時(shí), 由于完備的規(guī)則系統(tǒng)需要完全通過(guò)手工撰寫(xiě)語(yǔ)言規(guī)則, 需要很大的人力投入, 且獲取的規(guī)則不容易泛化。因此, 隨著NLP領(lǐng)域的發(fā)展, 機(jī)器音譯的方法逐漸向統(tǒng)計(jì)方法靠攏。

在基于統(tǒng)計(jì)方法的音譯中, 經(jīng)常使用對(duì)齊模型 IBM model 1-3和HMM[3]。GIZA++①是一個(gè)融合了IBM model 1-5 和 HMM 模型的開(kāi)源對(duì)齊工具。很多音譯方法將一個(gè)音譯人名對(duì)看做SMT中的一個(gè)句子對(duì)[6], 將每個(gè)音譯單元看做句子中的單詞, 并直接使用 GIZA++進(jìn)行對(duì)齊, 取得較好的翻譯效果。

理論上, 基于語(yǔ)音的音譯框架能夠更好地提高準(zhǔn)確率。Gao等[7]在2004年提出一種不同于噪聲信道模型的基于音素的音譯模型, 直接使用源語(yǔ)言到目標(biāo)語(yǔ)言的生成概率計(jì)算音譯結(jié)果。但是, 由于一個(gè)音譯單元可能存在多種發(fā)音形式, 并且由于不同語(yǔ)系之間拼寫(xiě)規(guī)則的不同, 從源語(yǔ)言的語(yǔ)音轉(zhuǎn)化成目標(biāo)語(yǔ)言語(yǔ)音的步驟之間存在很大誤差?；谧中蔚囊糇g框架能夠避免從字形轉(zhuǎn)換到語(yǔ)音, 從語(yǔ)音再還原成字形的音譯單元的誤差, 擺脫對(duì)發(fā)音規(guī)則的依賴(lài)。李海舟研究小組[6,8–9]在英到中的音譯中使用直接對(duì)齊, 采用基于噪聲信道模型進(jìn)行音譯, 取得較好的效果, 但是由于跳過(guò)了語(yǔ)音環(huán)節(jié), 會(huì)不可避免地產(chǎn)生信息丟失。

綜合考慮以上方法的優(yōu)缺點(diǎn), 本文在構(gòu)建基于統(tǒng)計(jì)機(jī)器音譯框架后, 引入音譯方法中的規(guī)則, 在使用基于字形的音譯框架的同時(shí), 融合語(yǔ)音要素的音譯方法, 提出音譯單元的融合對(duì)齊方法。

1 流程描述

按本文方法構(gòu)建的音譯系統(tǒng)的流程如圖1所示, 主要包括數(shù)據(jù)前處理、訓(xùn)練音譯模型、解碼實(shí)驗(yàn)及后處理4個(gè)部分。

首先, 在前處理階段, 數(shù)據(jù)來(lái)源分為訓(xùn)練語(yǔ)料與測(cè)試語(yǔ)料。將雙語(yǔ)平行訓(xùn)練語(yǔ)料分別按照基于字母的音節(jié)劃分規(guī)則和基于字形與字音并結(jié)合漢語(yǔ)與英語(yǔ)音節(jié)細(xì)劃分規(guī)則, 進(jìn)行音譯單元的粗劃分與細(xì)劃分。將測(cè)試語(yǔ)料也依據(jù)給出的音節(jié)劃分規(guī)則進(jìn)行相應(yīng)的音譯單元的劃分操作。第2步, 將已劃分好音譯單元的訓(xùn)練語(yǔ)料用提出的方法進(jìn)行雙語(yǔ)音譯單元對(duì)的對(duì)齊。第3步, 用已對(duì)齊的平行語(yǔ)料訓(xùn)練音譯模型。第4步, 對(duì)已劃分好音譯單元的源語(yǔ)言測(cè)試語(yǔ)料進(jìn)行解碼實(shí)驗(yàn)。第5步, 將解碼實(shí)驗(yàn)之后輸出的目標(biāo)語(yǔ)言音譯結(jié)果進(jìn)行還原操作, 主要是進(jìn)行音譯單元的還原與格式還原。同時(shí), 倘若出現(xiàn)數(shù)據(jù)稀疏問(wèn)題所造成的未登錄詞, 則引入維基百科的數(shù)據(jù), 用于解決未登錄詞的翻譯問(wèn)題, 有效地緩解數(shù)據(jù)稀疏問(wèn)題。

本文主要論述音譯系統(tǒng)中前處理、訓(xùn)練模型與解碼實(shí)驗(yàn)的部分, 后處理部分只做簡(jiǎn)單敘述。

2 數(shù)據(jù)前處理

前處理部分的重點(diǎn)在于對(duì)源語(yǔ)言語(yǔ)料與目標(biāo)語(yǔ)言語(yǔ)料進(jìn)行音譯單元的劃分。我們采取基于音節(jié)的音譯單元?jiǎng)澐忠?guī)則, 將音譯單元的劃分過(guò)程分為粗劃分和細(xì)劃分兩個(gè)階段。

2.1 音譯單元粗劃分階段

英文名的音節(jié)劃分規(guī)則是按照文獻(xiàn)[5]給出的規(guī)則方法, 首先將英文26個(gè)字母進(jìn)行分類(lèi), 分類(lèi)情況如表1所示。完成對(duì)英文字母的分類(lèi)后, 按照表2所示的音節(jié)劃分規(guī)則進(jìn)行粗劃分。

表1 英文字母分類(lèi)情況

表2 音譯單元粗劃分規(guī)則

2.2 音譯單元細(xì)劃分階段

根據(jù)以上粗劃分的結(jié)果, 我們發(fā)現(xiàn)劃分后的語(yǔ)料中存在一些不合理現(xiàn)象, 如音譯對(duì)“埃利歐/E LIOU”、“羅密歐/ROM MEO”、“阿布拉霍爾/A B RA HA L L”等, 通過(guò)日常的發(fā)音習(xí)慣可以清楚地分辨出, 此處出現(xiàn)的“歐”或單獨(dú)的“L”和“R”等均是用于輔助前一音節(jié)發(fā)音的作用, 此時(shí)將它們與前一音節(jié)合并為一個(gè)音節(jié)更符合發(fā)音規(guī)律。經(jīng)統(tǒng)計(jì), 此種情況不在少數(shù)。

因此, 我們依照數(shù)據(jù)統(tǒng)計(jì)結(jié)果改良發(fā)音規(guī)則, 對(duì)粗劃分的劃分結(jié)果進(jìn)行細(xì)化, 如表3所示。例如, 對(duì)于給定英文名CHURTON, 它的音譯單元?jiǎng)澐诌^(guò)程如圖2所示。

表3 音譯單元細(xì)劃分規(guī)則

在以往的研究中, 對(duì)于音節(jié)的劃分方法常常局限在一個(gè)步驟上, 缺少相應(yīng)的細(xì)化過(guò)程, 會(huì)對(duì)后面步驟的效果產(chǎn)生影響。本文采用兩個(gè)階段的劃分過(guò)程, 經(jīng)實(shí)驗(yàn)2和3 (見(jiàn)5.2節(jié))論證, 能夠更好地提升音譯效果。

3 音譯模型

3.1 規(guī)則與統(tǒng)計(jì)相結(jié)合的自動(dòng)對(duì)齊方法

音譯單元等級(jí)自動(dòng)對(duì)齊的主要目的在于使?jié)h英雙語(yǔ)名字各自的音譯單元相互對(duì)齊。例如上述例子“丘頓/CHUNTON”, 自動(dòng)對(duì)齊的結(jié)果就是“丘/ CHUN”和“頓/TON”。在機(jī)器音譯中, 雙語(yǔ)音譯單元的對(duì)齊效果直接影響音譯結(jié)果的好壞, 同時(shí)由于在音譯過(guò)程中不存在音譯單元的調(diào)序問(wèn)題, 通常情況下, 源語(yǔ)言音譯單元的對(duì)齊結(jié)果就是目標(biāo)語(yǔ)言相同序號(hào)的音譯單元。

由于在上一步分詞過(guò)程中常存在源語(yǔ)言與目標(biāo)語(yǔ)言劃分的音譯單元個(gè)數(shù)不同的情況, 一般的自動(dòng)對(duì)齊常存在一對(duì)多與一對(duì)空的問(wèn)題, 這樣的對(duì)齊結(jié)果往往不具有代表性, 對(duì)提升音譯效果起阻礙作用。因此, 自動(dòng)對(duì)齊的難點(diǎn)在于選擇正確的音譯單元對(duì), 盡量消除上述問(wèn)題。我們采用基于規(guī)則的自動(dòng)對(duì)齊算法, 具體步驟如下。

1)對(duì)于分詞后漢語(yǔ)與英語(yǔ)名字音譯單元個(gè)數(shù)相同的情況, 采取直接對(duì)齊的規(guī)則, 即將相同序號(hào)的音譯單元對(duì)齊, 形成音譯單元對(duì), 例如: “歐文/ER WIN”。

2)對(duì)于分詞后漢語(yǔ)與英語(yǔ)名字音譯單元個(gè)數(shù)不相同的情況。

①首先將漢語(yǔ)名字分詞結(jié)果轉(zhuǎn)化成拼音的表示形式, 例如, “埃格德/AAGAARD”表示為“AI4 (1) GE2(2) DE2(3)/AA(1) GAA(2) R(3) D(4)”。

②根據(jù)音節(jié)首字母匹配規(guī)則, 以漢語(yǔ)的音譯單元首字母為準(zhǔn), 分別對(duì)應(yīng)英語(yǔ)的音節(jié)首字母, 即用A, G, D這3個(gè)字母, 將英文名字“AAGAARD”重新劃分成“AA”、“GAAR”和“D”三部分。同時(shí)根據(jù)漢英字母發(fā)音的規(guī)律, 按照文獻(xiàn)[4]中的權(quán)重分配規(guī)則, 將劃分方式進(jìn)一步細(xì)化。

③經(jīng)過(guò)上述步驟, 將得到一個(gè)英語(yǔ)名字的一種或幾種的劃分方式<,>i, (=1,2, …,)。

⑤計(jì)算第種劃分方式中, 單個(gè)音譯單元對(duì)<c,e>的概率:

其中, |<c,e>|與|<c>|表示該音譯單元對(duì)在所有對(duì)齊方式中的統(tǒng)計(jì)與在所有名字中對(duì)應(yīng)音譯單元的統(tǒng)計(jì)。

⑥計(jì)算第種劃分方式的概率:

比較種劃分方式的概率大小, 取概率值最大的劃分方式作為最終劃分方式。

3.2 N-gram音譯模型

對(duì)于漢英方向機(jī)器音譯, 假設(shè)中文名與英文名可以以字符序列的方式表示, 其中, 中文名表示為=123…x(表示中文名漢字?jǐn)?shù)), 英文名表示為123…y(表示英文名字母數(shù)), 經(jīng)過(guò)前處理與對(duì)齊的步驟后, 中、英人名對(duì)被分別表示為音譯單元的序列。

中文名字:=123…c;英文名字:123e。c和e(=1, 2, 3, …,=1, 2, 3, …)分別表示第或個(gè)中文或英文音譯單元, 即中英文音譯單元的數(shù)目相同。

由此, 中文音譯單元c與英文音譯單元e就形成對(duì)齊關(guān)系。與的對(duì)齊關(guān)系表示如下:

其中, 一個(gè)中文音譯單元中可能包含一個(gè)至多個(gè)漢字, 一個(gè)英文音譯單元中可能包含一個(gè)至多個(gè)英文字母。

根據(jù)上述,,的定義, 漢語(yǔ)到英語(yǔ)的音譯過(guò)程可以用下式推導(dǎo):

其中,(,,)表示,,的聯(lián)合概率。

經(jīng)過(guò)實(shí)驗(yàn)對(duì)比, 我們采取N-gram的音譯模型, 其中=3, 式(3)重寫(xiě)為

4 數(shù)據(jù)后處理

4.1 還原操作

經(jīng)過(guò)解碼實(shí)驗(yàn), 輸出的最優(yōu)結(jié)果是以音譯單元形式表示的目標(biāo)語(yǔ)言人名(本文研究的音譯方向?yàn)闈h到英, 因此輸出的目標(biāo)語(yǔ)言為英語(yǔ))的形式, 這并不是我們真正需要的音譯結(jié)果, 因此, 需要對(duì)該數(shù)據(jù)進(jìn)行還原處理, 我們主要進(jìn)行了兩個(gè)步驟的還原操作。

1)音譯單元還原操作。在音譯單元的劃分階段, 特別是在細(xì)劃分階段, 存在將鼻音{m, n}雙寫(xiě)的情況, 所以在解碼實(shí)驗(yàn)輸出結(jié)果的音譯單元中也存在這種情況。因此, 當(dāng)出現(xiàn)“mm”或“nn”時(shí), 若其前后是被元音包圍的情況, 將其改為“m”或“n”。

2)格式還原操作。在實(shí)際音譯單元?jiǎng)澐诌^(guò)程中, 音譯單元與音譯單元之間是以空格區(qū)分的。因此, 此處的格式還原操作為去除音譯單元之間的分隔符, 將其還原為一個(gè)單詞的形式。

4.2 數(shù)據(jù)稀疏處理

在音譯過(guò)程中不可避免地會(huì)產(chǎn)生數(shù)據(jù)稀疏問(wèn)題, 本研究使用維基百科的數(shù)據(jù)來(lái)緩解這一問(wèn)題。主要方法是, 將出現(xiàn)數(shù)據(jù)稀疏問(wèn)題的源語(yǔ)言人名再次進(jìn)行前處理操作, 同時(shí)從維基百科中抽取漢英人名對(duì)作為參考語(yǔ)料, 對(duì)其進(jìn)行與之前的訓(xùn)練語(yǔ)料相同的處理操作后, 利用式(1)和(2), 選取與問(wèn)題人名中音譯單元對(duì)應(yīng)的概率最大的目標(biāo)語(yǔ)言音譯模型, 并將其作為新的解碼實(shí)驗(yàn)的輸出結(jié)果, 再進(jìn)行還原操作。

5 實(shí)驗(yàn)分析

實(shí)驗(yàn)使用的雙語(yǔ)語(yǔ)料來(lái)自I2R2009的音譯數(shù)據(jù)[6,8–9]。該數(shù)據(jù)包含31961條惟一的英文詞條及其對(duì)應(yīng)的官方音譯結(jié)果, 各部分?jǐn)?shù)據(jù)的使用量如表4所示。

表4 實(shí)驗(yàn)數(shù)據(jù)

5.1 實(shí)驗(yàn)評(píng)價(jià)

對(duì)于本次實(shí)驗(yàn)結(jié)果的評(píng)價(jià)方法, 采用的是PRF系統(tǒng)評(píng)測(cè)模型, 其中(Precision)為準(zhǔn)確率,(Recall)為召回率,值用于均衡準(zhǔn)確率與召回率的誤差。本次實(shí)驗(yàn)中對(duì)準(zhǔn)確的定義是音譯結(jié)果與參考集中給定的參考結(jié)果完全一致。

5.2 實(shí)驗(yàn)結(jié)果

為從整體上比較本文方法與只使用基于字形的音譯方法, 我們?cè)O(shè)計(jì)了以下4個(gè)實(shí)驗(yàn)。

1)基線實(shí)驗(yàn)。本文基線系統(tǒng)采用文獻(xiàn)[10]提出的方法, 以評(píng)價(jià)提出方法的性能。僅采用基于字形的音譯單元對(duì)齊方法, 對(duì)英文語(yǔ)料進(jìn)行簡(jiǎn)單的按音節(jié)的音譯單元?jiǎng)澐址椒? 對(duì)中文語(yǔ)料采取按空格音譯劃分方法, 并用GIZA++工具進(jìn)行音譯單元的對(duì)齊, 訓(xùn)練音譯模型并輸出最好的一個(gè)結(jié)果, 將其實(shí)驗(yàn)結(jié)果作為對(duì)比參照。

2)粗劃分實(shí)驗(yàn)。將訓(xùn)練語(yǔ)料只進(jìn)行音譯單元的粗劃分, 并用GIZA++工具進(jìn)行簡(jiǎn)單的漢英音譯單元的對(duì)齊, 訓(xùn)練我們的音譯模型, 并輸出最好的一個(gè)結(jié)果。

3)雙重劃分實(shí)驗(yàn)。將訓(xùn)練語(yǔ)料進(jìn)行音譯單元的粗劃分與細(xì)劃分, 并使用GIZA++工具進(jìn)行簡(jiǎn)單的漢英音譯單元對(duì)齊, 訓(xùn)練我們的音譯模型, 并輸出最好的一個(gè)結(jié)果。

4)對(duì)齊改進(jìn)實(shí)驗(yàn)。將訓(xùn)練語(yǔ)料進(jìn)行音譯單元的粗劃分與細(xì)劃分, 并使用我們提出的對(duì)齊改進(jìn)方法處理對(duì)齊結(jié)果, 用該數(shù)據(jù)訓(xùn)練我們的音譯模型, 并將Top1作為輸出結(jié)果。

與基線系統(tǒng)相比, 我們的系統(tǒng)得到較好的性能表現(xiàn)(表5), 分析如下。

1)單純的基于字形的音譯方法, 音譯效果不理想, 例如“斯滕尼/STENY”, 用該方法的輸出結(jié)果是“STENNY”, 而在其他兩個(gè)實(shí)驗(yàn)中均能獲得正確結(jié)果。這種鼻音的單寫(xiě)雙寫(xiě)問(wèn)題在現(xiàn)實(shí)應(yīng)用中并不少見(jiàn), 因此該方法不能直接用于機(jī)器音譯中。

2)引入新的劃分步驟之后, 音譯單元的劃分更加準(zhǔn)確, 例如“斯托克邁/STOCKMAYER”, 在粗劃分時(shí)會(huì)被劃分成“斯托克邁/S TO C K MA YE R”, 英文音譯單元明顯劃分不夠準(zhǔn)確, 在經(jīng)過(guò)細(xì)劃分后, 成功地變?yōu)橐浴癝 TO CK MA YER”表示的更準(zhǔn)確的形式。音譯系統(tǒng)的準(zhǔn)確率、召回率與值均有提高, 足以證明該方法的可行性。

3)運(yùn)用我們提出的對(duì)齊方法后,,和值都有明顯提升, 進(jìn)一步驗(yàn)證了字形與語(yǔ)音融合的音譯單元對(duì)齊方法既降低了語(yǔ)音轉(zhuǎn)換步驟中的誤差, 又減輕了僅采用基于字形的方法造成的信息對(duì)視問(wèn)題。由此可以得出, 基于字形和語(yǔ)音的音譯單元對(duì)齊方法能夠提高音譯的效果。

6 總結(jié)及未來(lái)工作

本文提出一種新的融合的方法用于音譯單元的劃分與對(duì)齊過(guò)程。經(jīng)過(guò)實(shí)驗(yàn)驗(yàn)證得知, 我們提出的方法能夠很好地提高音譯的準(zhǔn)確率, 同時(shí)在解決音譯單元對(duì)齊的一對(duì)多與一對(duì)空問(wèn)題方面表現(xiàn)較好。本研究有如下創(chuàng)新。

1)提出融合字形與語(yǔ)音的音譯單元對(duì)齊方法。在以往的研究成果中, 大部分的工作將關(guān)注點(diǎn)投放在字形或者語(yǔ)音音素一個(gè)縱向的方面。在本次研究中, 我們致力于將字形與語(yǔ)音的研究成果結(jié)合起來(lái), 吸收兩者的優(yōu)點(diǎn), 彌補(bǔ)其中一方的缺點(diǎn), 更好地提升音譯效果。

2)結(jié)合規(guī)則與統(tǒng)計(jì)音譯方法各自的優(yōu)點(diǎn), 提出規(guī)則與統(tǒng)計(jì)相結(jié)合的音譯單元?jiǎng)澐峙c自動(dòng)對(duì)齊的方法, 將其運(yùn)用在相應(yīng)過(guò)程中, 并通過(guò)實(shí)驗(yàn)驗(yàn)證了該方法的可行性。

但是, 對(duì)于來(lái)源不同的英、漢人名, 存在不同的音譯習(xí)慣, 在我們的音譯過(guò)程中并沒(méi)有很好地解決這個(gè)問(wèn)題。下一步的工作將引入更多的音譯單元?jiǎng)澐忠?guī)則與對(duì)齊規(guī)則, 同時(shí)更好地利用維基百科的數(shù)據(jù), 對(duì)來(lái)源不同的人名進(jìn)行不同處理, 希望能夠進(jìn)一步提高音譯的效果。

[1]李婷婷. 基于非參數(shù)貝葉斯學(xué)習(xí)的多語(yǔ)言人名音譯研究[D]. 哈爾濱: 哈爾濱工業(yè)大學(xué), 2013

[2]Lin Weihao, Chen Hsin-Hsi. Backward machine transliteration by learning phonetic similarity // Pro-ceedings of the 6th Conference on Natural Language Learning. Taipei, 2002: 1–7

[3]Zaidan O. Z-MERT: a fully configurable open source tool for minimum error rate training of machine translation systems. Prague Bulletin of Mathematical Linguistics, 2009, 91: 79–88

[4]Wan S, Verspoor C M. Automatic English-Chinese name transliteration for development of multilingual resources // Processing of the 17th ICCL. 1998: 1352–1356

[5]蔣龍, 周明, 簡(jiǎn)立峰. 利用音譯和網(wǎng)絡(luò)挖掘翻譯命名實(shí)體. 中文信息學(xué)報(bào), 2007, 21(1): 23–29

[6]Li Haizhou, Kumaran A, Zhang Min, et al. Whitepaper of NEWS 2009 machine transliteration shared task // Proceedings of the 2009 Named Entities Workshop: Shared Task on Transliteration. Singapore: Association for Computational Linguistics, 2009: 19–26

[7]Gao Wei, Wong Kam-Fai, Lam Wai. Phoneme-based transliteration of foreign names for OOV problem // Proceedings of the 1st International Joint Conference on Natural Language Proceedings, Lecture Notes in Computer Science. Hainan, 2004: 110–119

[8]Li H, Zhang M, Su J. A joint source-channel model for machine transliteration // Proceedings of the 42nd Annual Meeting on Association for Computational Linguistics. Barcelona, 2004: 1190–1194

[9]Zhang Min, Li Haizhou, Su Jian. Direct orthogra-phical mapping for machine transliteration // Proceed-ings of the 20th International Conference on Compu-tational Linguistics (COLING’04). Sydney, 2004: 716–722

[10]Wang Dandan, Yang Xiaohui, Xu Jin’an, et al. A hybrid transliteration model for Chinese/English named entities — BJTU-NLP Report for the 5th Named Entities Workshop. Beijin, 2015

Integrating of Grapheme-Based and Phoneme-Based Transliteration Unit Alignment Method

LIU Bojia, XU Jin’an?, CHEN Yufeng, ZHANG Yujie

School of Computer and Information, Beijing Jiaotong University, Beijing 100044; ? Corresponding author, E-mail: jaxu@bjtu.edu.cn

In order to solve the errors caused by only using the pheneme-based method or the grapheme-based method, applying the theory of statistics and rules, this paperproposes a new method for transliteration unit alignment which integrates the two main transliteration methods. Four experiments are designed to compare with the traditional methods. Experimental results show that proposed method outperforms other methods in terms of performance in machine transliteration.

machine transliteration; alignment; N-gram model; grapheme-based method; phoneme-based method

10.13209/j.0479-8023.2016.001

TP391

2015-06-18;

2015-08-16; 網(wǎng)絡(luò)出版日期: 2015-09-29

國(guó)家自然科學(xué)基金(61370130, 61473294)、中央高?；究蒲袠I(yè)務(wù)費(fèi)專(zhuān)項(xiàng)資金(2014RC040)和國(guó)家國(guó)際科技合作專(zhuān)項(xiàng)(2014DFA11350)資助

① http://www-i6.informatik.rwth-aachen.de/Colleagues/och/software/GIZA++.html