互聯(lián)網(wǎng)上的維語多文轉(zhuǎn)換機制的設(shè)計與實現(xiàn)

依不拉音·吾斯曼，張紹武，于 凱

1.新疆財經(jīng)大學 計算機科學與工程學院，烏魯木齊 830012

2.大連理工大學 電子信息與電氣工程學部，遼寧 大連 116000

1 互聯(lián)網(wǎng)上的維吾爾語“一語多文”現(xiàn)象

隨著互聯(lián)網(wǎng)技術(shù)在新疆區(qū)域的發(fā)展和普及，新疆網(wǎng)民的數(shù)量急劇膨脹。據(jù)2016年7月的統(tǒng)計，新疆網(wǎng)民數(shù)量超過1 200萬，通過網(wǎng)絡交流逐漸地成為維吾爾族日常交流的主要形式，從中小學生到老年人，從農(nóng)民到國家干部人際交流上都離不開微信、微博、論壇、QQ等現(xiàn)代化的網(wǎng)絡交流工具。

目前，在國內(nèi)維吾爾族網(wǎng)絡平臺上使用的文字，有以阿拉伯字母為基礎(chǔ)的傳統(tǒng)維文和拉丁字母為基礎(chǔ)的拉丁維文（ULY）兩種文字同存現(xiàn)象。新疆接壤中亞區(qū)域的哈薩克斯坦、吉爾吉斯斯坦、烏茲別克斯坦等中亞國家，解放之前由于歷史原因一部分維吾爾族人移民到部分中亞國家。以上中亞三國的維吾爾族人口有54萬多，占國外維吾爾族人口的一半以上[1]，而這些國家的維吾爾人采用西里爾字母（斯拉夫語字母）為基礎(chǔ)的西里爾維文。在國家“一帶一路”戰(zhàn)略的推動下，新疆與中亞及歐洲國家間的貿(mào)易往來越來越頻繁，隨著新疆地區(qū)維族人與歐洲以及中亞國家的維族人間通過互聯(lián)網(wǎng)交流的加深，當前維文的使用呈現(xiàn)了三種文字（即傳統(tǒng)維文、拉丁維文及西里爾維文）共存的特有現(xiàn)象。這些文字由于缺乏科學的對應標準、轉(zhuǎn)寫規(guī)則、轉(zhuǎn)換工具等多種原因，目前維吾爾族的網(wǎng)絡交流上存在著嚴重的文字混亂現(xiàn)象。此外，現(xiàn)有的維吾爾語網(wǎng)站搜索引擎系統(tǒng)不支持拉丁維文和西里爾維文，這為國內(nèi)外維吾爾族人群正常的網(wǎng)絡交流和互聯(lián)網(wǎng)使用帶來了極大的不便。

2 相關(guān)工作

2.1 維吾爾多文編碼轉(zhuǎn)換的相關(guān)工作

隨著近年來拉丁維文和西里爾維文使用人數(shù)的增長并引發(fā)越來越多學者的關(guān)注，傳統(tǒng)維文、拉丁維文和西里爾維文之間的轉(zhuǎn)寫規(guī)則和轉(zhuǎn)換算法研究也有了長足的進步。文獻[2-4]中介紹了維文字符和拉丁字符的對應關(guān)系和轉(zhuǎn)寫規(guī)則，并提出了維文與拉丁維文之間的相互映射關(guān)系和詞性標注區(qū)別；文獻[5]和[6]介紹了傳統(tǒng)維文與西里爾維文編碼字符之間的對應關(guān)系、組詞特點和書寫規(guī)則，提出了現(xiàn)代維吾爾文與西里爾維文之間的轉(zhuǎn)換規(guī)則；文獻[7]和[8]中介紹了Office環(huán)境下不同傳統(tǒng)維文Unicode編碼之間的轉(zhuǎn)換和傳統(tǒng)維文與拉丁維文之間的轉(zhuǎn)換方式；文獻[9]和[10]分別介紹了傳統(tǒng)維文手寫簽名數(shù)據(jù)庫的創(chuàng)建和拉丁維文、傳統(tǒng)維文的信息化過程；文獻[11-14]中介紹了傳統(tǒng)維文、拉丁維文和西里爾維文在搜索引擎系統(tǒng)中的轉(zhuǎn)換方法。

這些文章中提出了傳統(tǒng)維文、拉丁維文、西里爾維文之間的映射關(guān)系和轉(zhuǎn)寫規(guī)則，但針對這些文字之間的轉(zhuǎn)換算法設(shè)計和實現(xiàn)方面的研究幾乎是空白。雖然維軟（Uighur Soft）公司2010年就開發(fā)了傳統(tǒng)維文和拉丁維文之間的轉(zhuǎn)換工具，但它只能在Office平臺下工作，不適合互聯(lián)網(wǎng)和移動網(wǎng)絡平臺使用，并且轉(zhuǎn)換速度較慢，造成使用受限。當前拉丁維文以及西里爾維文的互聯(lián)網(wǎng)用戶日益增多，國內(nèi)外網(wǎng)民的相關(guān)需求也日益劇增。

2.2 維文搜索引擎的現(xiàn)狀

近年來，維文網(wǎng)站在數(shù)量、內(nèi)容、結(jié)構(gòu)、技術(shù)等方面有了很大的發(fā)展并形成了一定的規(guī)模。隨著維文網(wǎng)站技術(shù)的發(fā)展，維文搜索引擎技術(shù)也有了進步，目前較為通用的有：IZDA、ULINIX和新疆大學開發(fā)的多語種搜索引擎系統(tǒng)等。這些維文搜索引擎系統(tǒng)只支持傳統(tǒng)維文，不支持拉丁維文和西里爾維文。當前拉丁維文和西里爾維文的互聯(lián)網(wǎng)用戶日益增多，但目前為止還沒有基于拉丁維文和西里爾維文來實現(xiàn)維文搜索引擎的技術(shù)和相關(guān)的研究。目前現(xiàn)實需求和技術(shù)發(fā)展之間存在較大差距，此方面的研究就顯得尤為迫切。由此，本文設(shè)計一套維文多文轉(zhuǎn)換機制來嘗試解決國內(nèi)外維吾爾人中的互聯(lián)網(wǎng)文字交流困難問題。本文主要完成的工作如下：

（1）研究傳統(tǒng)維文、拉丁維文和西里爾維文各自淵源、目前的使用情況和使用中存在的一些問題，找出傳統(tǒng)維文與拉丁維文對應標準上的一些不科學因素，在此基礎(chǔ)上給傳統(tǒng)維文與拉丁維文對應標準提出幾項建議。

（2）研究傳統(tǒng)維文、拉丁維文的語法特征和Unicode編碼特征，提出傳統(tǒng)維文與拉丁維文的轉(zhuǎn)換規(guī)則，在此基礎(chǔ)上設(shè)計出LUTC（Latin Uyghur Traditional Conversion）模型完成傳統(tǒng)維文和拉丁維文間的文字轉(zhuǎn)換，實現(xiàn)維吾爾網(wǎng)民不改變自身維文使用習慣，可以進行正常的互聯(lián)網(wǎng)文字交流。

（3）研究西里爾文的語法特征，提出傳統(tǒng)維文與西里爾維文的轉(zhuǎn)換規(guī)則，在此基礎(chǔ)上設(shè)計出傳統(tǒng)維文與西里爾維文間的文字轉(zhuǎn)換模型CUTC（Cyrillic Uyghur Traditional Conversion），實現(xiàn)新疆與中亞國家維吾爾人間的正?；ヂ?lián)網(wǎng)文字交流提供方便快捷的工具。

（4）現(xiàn)有的維文搜索引擎基礎(chǔ)上，設(shè)計出傳統(tǒng)維文、拉丁維文、西里爾維文之間的轉(zhuǎn)換模型LCCU（Latin Cyrillic Conversion to Uyghur），通過LCCU模型，在現(xiàn)有的維文搜素引擎系統(tǒng)中實現(xiàn)拉丁維文和西里爾維文的信息檢索。

3 維吾爾語三種文字的使用現(xiàn)狀與特征研究

3.1 傳統(tǒng)維文的使用情況與特征研究

現(xiàn)在所使用的阿拉伯字母為基礎(chǔ)的維吾爾文（簡稱傳統(tǒng)維文）是維吾爾族進入伊斯蘭教后開始使用的文字，是屬于阿勒泰語系中的阿拉伯文系統(tǒng)，8個原音24個輔音字母組成，自右向左書寫，是新疆維吾爾人的公務活動、社會交際、廣播影視、新聞出版、文學藝術(shù)、民族教育、科學技術(shù)等各個領(lǐng)域普遍使用的文字。

維吾爾文雖然有32個字母，但每個字母在詞首、詞中及詞尾形式的不同，其可能的字形超過120多種，這使得維文的輸入法系統(tǒng)擁有復雜的鍵盤布局設(shè)定，維文自右向左書寫，和現(xiàn)代中英文的自左向右書寫有很大區(qū)別，因此和中英文字母混合使用很不方便，在網(wǎng)絡環(huán)境中使用維文必須借助特定的維文字體和輸入法才能正確顯示和輸入，大部分應用軟件需經(jīng)轉(zhuǎn)碼后才能正常顯示維吾爾文字，不利于維吾爾語信息傳播和交流，由于以上原因傳統(tǒng)維文在微信、論壇、微薄、QQ等網(wǎng)絡交流環(huán)境上的使用率比較低，微信和QQ上的使用率不到60%。

3.2 拉丁維文的使用現(xiàn)狀與特征分析

（1）拉丁維文的淵源和使用現(xiàn)狀

拉丁維文是由拉丁字母來拼寫維吾爾語的文字，拉丁文在新疆地區(qū)有一定的歷史基礎(chǔ)，解放后拉丁化的大范圍推廣之下新疆的維吾爾、哈薩克等少數(shù)民族，1953年至1985年之間使用拉丁字母為基礎(chǔ)的維吾爾文字叫做維吾爾新文字，1985年的文字改革后開始使用現(xiàn)在的阿拉伯字母為基礎(chǔ)的傳統(tǒng)維文。新疆雙語教育的深化，80年代后出生的維吾爾群大部分是雙語生，他們對漢語拼音字母和英文字母的印象和傳統(tǒng)維文預裝輸入法，鍵盤布局復雜和中英文一起使用不方便等多種原因，從而網(wǎng)絡語言文字上習慣使用拉丁維文。歐洲國家的維吾爾人在網(wǎng)絡交流上基本上使用拉丁維文。網(wǎng)絡環(huán)境下使用拉丁維文人數(shù)的增長，2000年新疆大學和新疆維吾爾自治區(qū)語言文字工作委員會一起公布了維吾爾文與拉丁文的對應標準，如表1[2]所示，把拉丁維文叫做維吾爾族的計算機網(wǎng)絡文字（Uyghur Computer Yeziki，UCY），現(xiàn)在QQ、微信等網(wǎng)絡交流媒體上使用拉丁維文人數(shù)不少于傳統(tǒng)維文人數(shù)。因此，在下文中通過LUTC轉(zhuǎn)換模型來解決傳統(tǒng)維文與拉丁維文用戶在Internet上的文字交流困難問題。

表1 傳統(tǒng)維文與拉丁維文對照表

（2）拉丁維文使用特征分析

拉丁文和維吾爾文是完全不同的兩種文字，拉丁維文是拉丁字母來拼寫維吾爾語的文字，維吾爾語有32個音節(jié)，而拉丁文有26個字母，因此維吾爾文與拉丁維文對應標準上除了使用鍵盤上的24個拉丁字母（不采用讀音重復的c和v字母）外，增加了ch、ng、zh、sh、gh等5個雙字母和ü、ě、ǒ等3個拉丁文擴展區(qū)字母。維吾爾文和拉丁維文書寫和語法方面有一些區(qū)別總結(jié)為如下幾種：

①拉丁文是自左向右讀寫，維吾爾文自右向左讀寫。

②拉丁文區(qū)分大小寫，維文不區(qū)分大小寫，傳統(tǒng)維文字母在詞中出現(xiàn)的位置不同有詞首，詞中和詞尾等2～4種不同字形，共有126種字形。

③拉丁文句首字母和縮略字母大寫，維文中所有詞首字母由特殊的詞首字形來拼寫，縮略字由獨立字形來拼寫。

④維吾爾文單詞之間必須加空格來隔開，而拉丁維文不是。

拉丁維文比現(xiàn)在的傳統(tǒng)維文具有在網(wǎng)絡環(huán)境上直接輸入，形體美觀，簡單清楚，便于認讀書寫及中英文等其他語言文字混合使用方便等優(yōu)點，是目前越來越多的維吾爾網(wǎng)民的首要選擇，逐漸成為維吾爾人的計算機網(wǎng)絡文字，但實際使用中存在很多的問題。雖然維吾爾文與拉丁維文的對應標準早已公布，但實際使用中部分字母的使用用戶與標準之間的差距比較大，下面是在網(wǎng)絡媒體上常見的拉丁維文書寫不一致性現(xiàn)象。

①傳統(tǒng)維文與拉丁維文對應標準上的Ch、Sh兩個拉丁維文字母組合分別對應傳統(tǒng)維文中的“”“”字母，這完全按照漢語拼音字母讀音習慣來制定的，忽視了維吾爾網(wǎng)民對這些字母的國內(nèi)使用習慣，其實拉丁文中的Q、X單字母的讀音和維文字母“”“”的讀音是一樣的，QQ和微信的聊天室里單字母Q、X來拼寫維文字母“”“”的頻率遠遠高于字母組合Ch和Sh，例如：（好）（烏魯木齊）所有媒體和網(wǎng)絡平臺上寫Urumqi、Yahxi幾乎看不到 Urumchi、Yahshi。新疆的縮略字是“XJ”而不是“SHJ”，如：新疆電視臺的縮略字是XJTV。維吾爾著名的商標名稱“QINNURI”“QINDIL”“SOYUNQA”“DI LQIN”中的“Q”字母對應的是維文字母中的“，而不是傳統(tǒng)維文、拉丁維文對應標準中的字母組合“CH”。

③?、ü、Ё字母的使用率非常低，因為這3個字母不能從鍵盤直接輸入，所以大部分網(wǎng)民在鍵盤上可以直接輸入的O、U、E字母來替代這3個字母。例如：（葡萄）—uzum（鴨子）—odak等。

④網(wǎng)絡信息檢索是網(wǎng)絡操作中不可缺少的一部分，目前維文網(wǎng)站的搜索引擎系統(tǒng)僅支持維吾爾文不支持拉丁維文，因此國內(nèi)外廣大習慣使用拉丁維文的網(wǎng)民無法使用維吾爾語網(wǎng)站的搜素引擎系統(tǒng)，這是目前維吾爾語網(wǎng)站搜索引擎系統(tǒng)的空白之處。

（3）傳統(tǒng)維文/拉丁維文對應標準的幾項建議

分析前面所說的拉丁維文書寫不一致性現(xiàn)象，可以發(fā)現(xiàn)維吾爾文與拉丁維文對應標準上的一些不科學因素，總結(jié)為如下幾種：

①過于強調(diào)漢語拼音的讀音而忽視維吾爾人國內(nèi)使用習慣。

②過于強調(diào)一對一的對應關(guān)系，而有些字母強迫性的對應讀音上毫無關(guān)系的字母，忽視了字母原讀音上的自然對應關(guān)系。

③忽視了拉丁文擴展區(qū)字母的輸入難問題。

由此給維吾爾文與拉丁維文對應標準提出了如下幾項建議，希望拉丁維文的規(guī)范化有所幫助。

①進一步完善維吾爾文與拉丁維文的對應標準，重新考慮實際使用中差距比較大的X、Q、H、E、Sh、Ch等字母的對應關(guān)系，設(shè)定對應標準時盡量遵守原讀音上的自然對應關(guān)系和用戶的國內(nèi)使用習慣。

②考慮各類用戶的計算機水平，降低文字輸入難度，標準中盡量避免或減少拉丁文擴展區(qū)字符（如、的使用。設(shè)置標準時不要過于強調(diào)一對一的對應關(guān)系，有些字母上可以考慮一對多的對應關(guān)系，如 維吾爾文中的和和等字母讀音和字形上非常相似，讀音上只區(qū)別于聲調(diào)的軟硬度，這類的字符可以考慮一對多的對應關(guān)系，這樣就可以減少或避免拉丁維文中拉丁文擴展區(qū)字符的使用率。

3.3 西里爾維文的使用現(xiàn)狀與特征分析

（1）西里爾維文的淵源和使用現(xiàn)狀

西里爾文又叫基利爾文就是現(xiàn)在的餓文，1930年前后，蘇聯(lián)為蘇聯(lián)境內(nèi)的許多少數(shù)民族進行文字改革，用西里爾字母替代原有的少數(shù)民族文字字母，所以中亞國家的維吾爾人也采用西里爾字母拼寫的西里爾維文作為維語主要的書寫文字。西里爾維文是西里爾文的40個字母來表示維吾爾語32個字母的中亞地區(qū)的維吾爾人在日常交流上普遍使用的文字，西里爾維文與傳統(tǒng)維文的對應標準如表2所示[5]。國家利用新疆與中亞國家的區(qū)域優(yōu)勢，大力發(fā)展了與中亞5國的經(jīng)濟貿(mào)易，已經(jīng)開放了阿拉山口、霍爾果斯等16個一類通商口岸，和11個二類口岸，這就為對外經(jīng)貿(mào)往來打開了方便之門。特別是隨著第二條“歐亞大陸橋”鐵路的開通和習近平總書記提出的“一帶一路”政策的推行下，新疆與中亞國家之間的貿(mào)易往來越來越繁華，新疆和中亞國家的維吾爾人之間的網(wǎng)絡交流越來越多，新疆的維吾爾人在網(wǎng)絡交流上使用傳統(tǒng)維文和拉丁維文而中亞國家的維吾爾人在網(wǎng)絡交流上使用西里爾維文，這種文字上的差異給國內(nèi)外維吾爾族的網(wǎng)絡交流帶來了極大的不便。因此，通過CUTC轉(zhuǎn)換算法來解決國內(nèi)與中亞區(qū)域的維吾爾人在Internet上的文字交流困難問題。

表2 維吾爾文與西里爾文對照表

（2）西里爾維文的特征分析

維吾爾文和西里爾維文是完全不同的兩種文字，語法和書寫方面有著顯著區(qū)別，主要包括如下幾個方面：

①西里爾維文區(qū)分大小寫，而維吾爾文不區(qū)分大小寫。

②維吾爾文雖然有32個字母，但每一個字母在詞中出現(xiàn)的位置不同有詞首，詞中和詞尾等2～4種不同字形，共有126種字形。西里爾維文有40個字母，區(qū)分大小寫。

③西里爾維文中句首字母和縮略詞中的每一個字母必須大寫，維吾爾文中的詞首字母必須用特殊的詞首字形來寫，縮略詞由詞首字形或獨立字形中間加控字符來拼寫，例如：阿力木—（維文），Aлим（西里爾維文）；BDT（聯(lián)合國）—（維吾爾文），BДT（西里爾文）。

4 維吾爾多文間的文字編碼轉(zhuǎn)換模型設(shè)計

維吾爾多文轉(zhuǎn)換算法是傳統(tǒng)維文和拉丁維文、傳統(tǒng)維文和西里爾維文之間雙向文字轉(zhuǎn)換功能的文字編碼轉(zhuǎn)換模型，該模型由兩個子模塊組成，分別是LUTC（Latin/Uyghur Traditional Conversion）拉丁維文/傳統(tǒng)維文轉(zhuǎn)換模塊和CUTC（Cyrillic/Uyghur Traditional Conversion）西里爾維文/傳統(tǒng)維文轉(zhuǎn)換模塊。

4.1 LUTC傳統(tǒng)維文/拉丁維文編碼轉(zhuǎn)換模型

LUTC轉(zhuǎn)換器是傳統(tǒng)維文和拉丁維文間的雙向的文字編碼轉(zhuǎn)換（傳統(tǒng)維文轉(zhuǎn)換拉丁維文，拉丁維文轉(zhuǎn)換傳統(tǒng)維文）。拉丁文和傳統(tǒng)維文是完全不同的兩種文字，各有各的語法和編碼特征，為了避免轉(zhuǎn)換后的語法錯誤，根據(jù)它們的語法特征，設(shè)定了如下轉(zhuǎn)換規(guī)則。

4.1.1 轉(zhuǎn)換規(guī)則

（1）傳統(tǒng)維文沒有大小寫，縮略語由詞首字母來拼寫，詞首字母只遇到空格后才能出現(xiàn)，因此轉(zhuǎn)換拉丁文縮略語時每個字母后自動添加空格來處理，否則轉(zhuǎn)換時出現(xiàn)錯誤。如JKP（錯）；JK P（對）。

（2）拉丁文的8個元音字母A、E、O、U、I、?、ü、Ё在詞首出現(xiàn)時對應的8個維文元音字母的詞首字形“”來特殊對應處理。

（3）用戶輸入的維文或拉丁文語句中可能出現(xiàn)漢字、英文單詞、數(shù)字和標點符號，因此不是拉丁文或維文的都不要經(jīng)過編碼轉(zhuǎn)換而直接顯示。

（4）維文字母在詞中出現(xiàn)的位置不同有2～4種不同字形，32個字母共有120多個字形，所以拉丁文轉(zhuǎn)換維文時，編碼轉(zhuǎn)換后還要進行自動選型。

4.1.2 LUTC轉(zhuǎn)換模型

維文字母編碼分散到阿拉伯基本區(qū)和阿拉伯擴展區(qū)中，詞首字母和部分單字母在0627—06AD范圍上，維文不同字形在FA8C—FEEE范圍上，維文字母編碼的這種分配對維文字母的排序，自動選型，數(shù)據(jù)庫操作非常不利，而拉丁文在Unicode基本區(qū)中順序排列的，拉丁文與維文編碼間有不連續(xù)的現(xiàn)象，所以不能用線性函數(shù)來設(shè)計拉丁文與維文字母間的編碼轉(zhuǎn)換。因此為了提高查詢速度，預先編制一個查詢表，查詢表的第一列是按順序排列的拉丁維文字符編碼，第二列是對應的維文單字符編碼，因為維文的32個字母總有120多種字形，所以還要建立一個維文字庫表，先從查詢表中找到拉丁維文對應的維文Unicode編碼，自動選型模塊根據(jù)該拉丁維文在詞中的位置參數(shù)和對應的維文Unicode編碼[15]，從維文字庫中找到相應的維文字形。如：拉丁字母A對應的維文字母中的一個，如圖1所示。

圖1 LUTC模型中的查詢表關(guān)系圖

LUTC模型首先從用戶輸入的字符串中讀取第一個字符，根據(jù)拉丁文和傳統(tǒng)維文的編碼范圍（拉丁文在Unicode基本去，編碼從00開頭；傳統(tǒng)維文在Unicode第六區(qū)，編碼從06開頭）[16]來判斷讀取的字母是傳統(tǒng)維文或拉丁文，讀取的字母是傳統(tǒng)維文，再轉(zhuǎn)給傳統(tǒng)維文轉(zhuǎn)換模塊，該模塊做相應的編碼轉(zhuǎn)換后產(chǎn)生目標字符并保存到目標字符串中。如果讀取的字母是拉丁文，轉(zhuǎn)給拉丁文轉(zhuǎn)換模塊，該模塊做相應的編碼轉(zhuǎn)換和自動選型后產(chǎn)生目標字符并保存到目標字符串中。再讀取字符串中的下一個字符，具體算法步驟如下所示。

LUTC算法步驟：

1.Public Latin Uyghurchar[2，36]，Uighur CharBase[3，36]as string /*定義拉丁文與維文對照數(shù)組和維文字庫*/

2.根據(jù)表2輸入內(nèi)容，創(chuàng)建拉丁文與維文對照表。

3.由不同維文字形創(chuàng)建維文字庫UighurCharacterBase[17]。

4.用戶輸入的字符串中讀取第一個字符的編碼。

5.根據(jù)字符編碼判斷讀取的字符是拉丁維文或是傳統(tǒng)維文。

6.如果是拉丁文，把字符編碼傳給拉丁文轉(zhuǎn)換器，如果是傳統(tǒng)維文，字符編碼傳給傳統(tǒng)維文轉(zhuǎn)換器。

7.轉(zhuǎn)換器從查詢表中獲取對應的拉丁文編碼返回第9步。

8.拉丁文轉(zhuǎn)換器從LatinUighurchar中查找對應的行數(shù)。

9.讀取第二字段的維文編碼和位置參數(shù)轉(zhuǎn)給自動選型模塊。

10.自動選型模塊根據(jù)字符編碼和位置參數(shù)從維文字庫中讀取相應的維文字形來生成維文目標查詢語句[17]。

11.檢查循環(huán)是否結(jié)束（循環(huán)變量是否大于字符串長度），如果是生成的維文查詢語句傳給搜索引擎檢索器，如果否返回第4步驟繼續(xù)循環(huán)。

LUTC模型流程如圖2所示，圖中n是字符串長度。

圖2 LUTC算法流程圖

4.2 CUTC西里爾維文/傳統(tǒng)維文轉(zhuǎn)換模型設(shè)計

CUTC模型是西里爾維文與傳統(tǒng)維文之間的文字編碼轉(zhuǎn)換器，可以解決國內(nèi)和中亞維吾爾人間的文字交流困難問題。西里爾維文有40個字符，而傳統(tǒng)維文有32個字母，所以部分字母之間存在一對多的對應關(guān)系，根據(jù)西里爾維文和傳統(tǒng)維文的語法特征，設(shè)定如下的轉(zhuǎn)換規(guī)則。

4.2.1 轉(zhuǎn)換規(guī)則

（2）西里爾維文單詞中的“Я、ю”字母轉(zhuǎn)換為維文中的雙字母“”來處理。

（3）西里爾維文分大小寫字母，句首字母和縮略語中的字母是大寫字母，例如：“Aлим”（阿里木）、“ШУA(chǔ)P”（新疆維吾爾自治區(qū)），轉(zhuǎn)換時維文的詞首字形或獨立字形來轉(zhuǎn)換。

4.2.2 CUTC編碼轉(zhuǎn)換模型設(shè)計

同樣的方式，由西里爾維文與傳統(tǒng)維文字母創(chuàng)建一個查詢表Cyrillic Uyghur Character Base，查詢表按照西里爾文的字母順序排列，因為西里爾維文與傳統(tǒng)維文的部分字母之間存在一對多的對應關(guān)系，重復輸入傳統(tǒng)維文字母來表示一對多的對應關(guān)系，查詢表的第一字節(jié)是西里爾文字母，第二字節(jié)是傳統(tǒng)維文字母，當然還有維文字庫表，如圖3所示。

圖3 西里爾維文傳統(tǒng)維文查詢表關(guān)系圖

用戶輸入的關(guān)鍵詞首先按照傳統(tǒng)維文與西里爾文的編碼范圍來判斷（西里爾文編碼在Unicode第四區(qū)，字符編碼04開頭，而傳統(tǒng)維文在Unicode第六區(qū)，編碼06開頭），讀取的是西里爾維文，轉(zhuǎn)到西里爾維文轉(zhuǎn)換模塊，該模塊從查詢表找到對應的傳統(tǒng)維文字符編碼，根據(jù)獲取的傳統(tǒng)維文字符編碼和詞中的位置參數(shù)，自動選型模塊選出準確的字形來產(chǎn)生目標字符并保存到目標字符串中。如果讀取的是傳統(tǒng)維文直接從查詢表中讀取對應的西里爾維文編碼就可，具體算法流程如圖4所示。

圖4 CUTC算法流程

4.3 維吾爾跨文字搜索引擎轉(zhuǎn)換機制LCCU設(shè)計

針對現(xiàn)有維文搜索引擎缺點，在前面所介紹的LUTC和CUTC轉(zhuǎn)換算法的基礎(chǔ)上，設(shè)計了LCCU（Latin Cyrillic Conversion to Uyghur）轉(zhuǎn)換器，由插件的方式掛到維文搜索引擎系統(tǒng)上，LCCU轉(zhuǎn)換器把用戶輸入的拉丁維文和西里爾維文查詢語句轉(zhuǎn)換成傳統(tǒng)維文查詢語句并交給搜索引擎的檢索器。LCCU轉(zhuǎn)換器的工作原理，是把用戶輸入的查詢語句根據(jù)它的Unicode編碼范圍來判斷是傳統(tǒng)維文、拉丁維文或西里爾維文，然后把它們統(tǒng)一轉(zhuǎn)換成傳統(tǒng)維文查詢語句，并傳給維文搜索引擎的檢索器，在此現(xiàn)有的維文搜索引擎系統(tǒng)上實現(xiàn)拉丁維文和西里爾維文的信息檢索，如圖5所示。

圖5 LCCU轉(zhuǎn)換器的工作流程

LCCU轉(zhuǎn)換器的具體算法步驟如下所示。

LCCU算法步驟：

1.Public LatinUighur[2，36]，UighurCharBase[3，36]，rillicUyghur[2，40]，Nixan[n]as string /*定義拉丁文,西里爾維文與維文對照數(shù)組和維文字庫*/

2.根據(jù)表2輸入內(nèi)容，創(chuàng)建拉丁文與維文對照表。

3.根據(jù)表3內(nèi)容創(chuàng)建西里爾維文與傳統(tǒng)維文對照表。

4.由不同維文字形創(chuàng)建維文字庫UighurCharacterBase。

5.用戶輸入的字符串中讀取第一個字符的編碼。

6.根據(jù)字符編碼范圍判斷讀取的字符是拉丁維文、西里爾維文或是傳統(tǒng)維文。

7.是傳統(tǒng)維文，字符編碼交給Nixan字符串，返回第9步。

8.如果是拉丁文，從LatinUyghur中找到對應維文字符編碼，經(jīng)過自動選型后交給nixan字符串。

9.如果是西里爾文，從crillcUyghur中找到對應的維文字符編碼，經(jīng)過自動選型后交給nixan字符串。

10.讀取第二字段的維文編碼和位置參數(shù)一起轉(zhuǎn)給自動選型模塊。

11.自動選型模塊根據(jù)字符編碼和位置參數(shù)從維文字庫中讀取相應的維文字形來生成維文目標查詢語句。

12.檢查循環(huán)是否結(jié)束（循環(huán)變量是否大于字符串長度），如果是生成的維文查詢語句傳給搜索引擎檢索器，如果否返回第4步驟繼續(xù)循環(huán)。

5 實驗結(jié)果及分析

本章對傳統(tǒng)維文/拉丁維文轉(zhuǎn)換器LUTC，傳統(tǒng)維文/西里爾維文轉(zhuǎn)換器CUTC進行了文字轉(zhuǎn)換的實驗研究與測試，并對實驗結(jié)果進行了分析。實驗由三步來進行：（1）傳統(tǒng)維文/拉丁維文轉(zhuǎn)換器LUTC的實驗；（2）傳統(tǒng)維文/西里爾維文轉(zhuǎn)換器CUTC的實驗；（3）LCCU轉(zhuǎn)換器的轉(zhuǎn)換效率測試，通過LCCU在維文搜索引擎系統(tǒng)中實現(xiàn)拉丁維文和西里爾維文的信息檢索的實驗。

5.1 實驗設(shè)定

（1）硬件環(huán)境

所有的實驗均在一臺處理器為Intel?Pentium CPU B940@2.40 GHz，內(nèi)存為4 GB的筆記本PC上完成。

（2）實驗數(shù)據(jù)

實驗數(shù)據(jù)采用新疆人民出版社出版的“維漢日常用語”書中的80條語句和新疆地名、新疆旅游景區(qū)、少數(shù)民族文化等方面的20個關(guān)鍵詞，作為實驗數(shù)據(jù)。

（3）評價方式

LUTC和CUTC轉(zhuǎn)換器的準確率，采用人工方式和維軟公司開發(fā)的ALKORICTOR（專門檢查維吾爾詞語的拼寫和語法）軟件來評價轉(zhuǎn)換準確率。

5.2 傳統(tǒng)維文/拉丁維文轉(zhuǎn)換器LUTC轉(zhuǎn)換效率測試

預先準備的100個語句進行測試，測試結(jié)果由人工方式和AlKORICTOR軟件相結(jié)合的方式統(tǒng)計準確率，實驗分兩步進行：（1）測試拉丁維文轉(zhuǎn)換傳統(tǒng)維文；（2）測試傳統(tǒng)維文轉(zhuǎn)換拉丁維文。實驗結(jié)果表明LUTC的轉(zhuǎn)換準確率已達到100%。

（1）拉丁維文轉(zhuǎn)換傳統(tǒng)維文測試結(jié)果

測試當中特別注意轉(zhuǎn)換器的雙字母和單字母的分辨能力，維吾爾字母的詞首，詞中，詞尾字符的自動選型能力。實驗結(jié)果表明LUTC轉(zhuǎn)換器的拉丁維文轉(zhuǎn)換傳統(tǒng)維文的轉(zhuǎn)換準確率已達到100%，如表3所示。

（2）傳統(tǒng)維文轉(zhuǎn)換拉丁維文測試結(jié)果

測試當中，特別注意了拉丁維文當中的單雙字母的識別能力及音節(jié)符和各種標點符號的轉(zhuǎn)換準確率，測試結(jié)果如表4所示。

5.3 傳統(tǒng)維文/西里爾維文轉(zhuǎn)換器CUTC的轉(zhuǎn)換準確率測試

同樣的方式輸入100個不同的關(guān)鍵詞來測試CUTC轉(zhuǎn)換器的準確率，測試當中特別注意傳統(tǒng)維文與西里爾文中的部分一對多對應關(guān)系的轉(zhuǎn)換效果，測試結(jié)果表明轉(zhuǎn)換準確率已達到100%。

（1）傳統(tǒng)維文轉(zhuǎn)換西里爾維文測試結(jié)果

（2）西里爾維文轉(zhuǎn)換傳統(tǒng)維文測試結(jié)果

以同樣的方式輸入預先準備的100個不同的關(guān)鍵詞進行測試，測試當中認真觀察了維文自動選型的準確率，實驗結(jié)果表明西里爾維文轉(zhuǎn)換傳統(tǒng)維文的準確率已達到100%，實驗結(jié)果如表6所示。

5.4 搜索引擎上使用拉丁維文和西里爾維文的信息檢索實驗

最常用的維吾爾搜索引擎系統(tǒng)www.izda.com下，使用拉丁維文、西里爾維文和傳統(tǒng)維文等不同的輸入方式對關(guān)鍵詞“喀什”進行信息檢索搜索，實驗結(jié)果表明輸入拉丁維文和西里爾維文來檢索的相關(guān)文檔數(shù)量，查找結(jié)果數(shù)量等各參數(shù)指標跟輸入傳統(tǒng)維文來檢索的各種參數(shù)基本一樣，如表7所示，LCCU轉(zhuǎn)換器中采用的是LUTC和CUTC算法中的相應算法，因此轉(zhuǎn)換效率完全一樣，不需要再次做實驗。LCCU轉(zhuǎn)換器把用戶輸入的拉丁維文和西里爾維文查詢語句轉(zhuǎn)換成傳統(tǒng)維文查詢語句，傳給檢索器，搜索引擎系統(tǒng)對轉(zhuǎn)換出來的傳統(tǒng)維文查詢語句進行信息檢索。因此拉丁維文和西里爾維文的信息檢索結(jié)果就是傳統(tǒng)維文的信息檢索結(jié)果，維文搜索引擎的檢索效率不是本文的研究目的。

表3 拉丁維文轉(zhuǎn)換傳統(tǒng)維文

表4 傳統(tǒng)維文轉(zhuǎn)換拉丁維文

表5 傳統(tǒng)維文轉(zhuǎn)換西里爾維文測試結(jié)果

表6 西里爾維文轉(zhuǎn)換傳統(tǒng)維文測試結(jié)果

表7 維文搜索引擎的檢索結(jié)果

6 結(jié)束語

傳統(tǒng)維文、拉丁維文和西里爾維文間的對應標準和文字轉(zhuǎn)換算法研究，對維吾爾族的正?；ヂ?lián)網(wǎng)文字交流，新疆的政治、經(jīng)濟、社會穩(wěn)定、教育等多個方面的發(fā)展有著重要意義。本文所設(shè)計的維吾爾多文轉(zhuǎn)換器，實現(xiàn)了傳統(tǒng)維文、拉丁維文和西里爾維文之間的準確轉(zhuǎn)換，這使國內(nèi)外維吾爾網(wǎng)民不改變自身維文使用習慣，可以進行正常的文字交流以及使用現(xiàn)有的維文搜素引擎系統(tǒng)，由此本文的研究成果對國內(nèi)外維吾爾族互聯(lián)網(wǎng)使用有著重要意義。今后的研究工作包括：進一步提高系統(tǒng)的穩(wěn)定性和兼容性，開發(fā)一個完整的維吾爾語多文搜索引擎系統(tǒng)，為廣大維吾爾族網(wǎng)民服務。