一種IT領(lǐng)域術(shù)語識(shí)別系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

木合亞提·尼亞孜別克 古力沙吾利·塔里甫

摘 要：針對(duì)信息領(lǐng)域的術(shù)語識(shí)別平臺(tái)的設(shè)計(jì)和開發(fā)是對(duì)該領(lǐng)域術(shù)語資源進(jìn)行更有效利用的重要手段之一。文章闡述了信息領(lǐng)域的哈薩克語術(shù)語識(shí)別平臺(tái)的設(shè)計(jì)，該平臺(tái)采用條件隨機(jī)場(chǎng)和人工修改的方法，基于信息領(lǐng)域術(shù)語本身的特點(diǎn)分析了該領(lǐng)域術(shù)語的構(gòu)成規(guī)則及相關(guān)術(shù)語識(shí)別方法。

關(guān)鍵詞：信息領(lǐng)域;術(shù)語識(shí)別;系統(tǒng)設(shè)計(jì)

Abstract：The design and development of the terminology recognition platform in information technology field is one of the important means for more effective use of term resources. This paper describes the design of Kazakh language terminology recognition platform in the information technology field. Based on the characteristics of the information technology field terminology， the platform analyzes the rules of terminology formation and related terminology identification methods using a conditional random field （CRF） and manual modification method.

Keywords：information technology field; terminology recognition; system design

引 言

隨著中文各語言信息處理應(yīng)用領(lǐng)域的不斷擴(kuò)展，對(duì)于不同語言不同領(lǐng)域術(shù)語的檢索需求也越顯迫切。其中以計(jì)算機(jī)作為工具的哈薩克語信息技術(shù)領(lǐng)域術(shù)語識(shí)別平臺(tái)的構(gòu)建對(duì)哈薩克語自然語言信息處理、哈薩克語語言學(xué)研究、信息安全檢索、機(jī)器翻譯、語料庫(kù)建設(shè)、IT領(lǐng)域術(shù)語庫(kù)等民族語言信息化建設(shè)的作用日顯重要[1]。術(shù)語是代表特定學(xué)科領(lǐng)域基本概念的語言單元，是該領(lǐng)域核心知識(shí)的體現(xiàn)，方便人們快速獲取專業(yè)知識(shí)，如何自動(dòng)獲取術(shù)語自然也成為相關(guān)專業(yè)人員的研究熱點(diǎn)。術(shù)語自動(dòng)抽取是信息處理領(lǐng)域中一項(xiàng)重要的研究任務(wù)，在詞典編纂、本體構(gòu)建、機(jī)器翻譯等領(lǐng)域都有重要應(yīng)用。術(shù)語抽取技術(shù)是大規(guī)模本體工程自動(dòng)或半自動(dòng)構(gòu)建、擴(kuò)充的關(guān)鍵技術(shù)之一。近年來，人們已經(jīng)認(rèn)識(shí)到了術(shù)語抽取方法的重要性并進(jìn)行了大量研究，而目前廣泛采用的術(shù)語提取思想主要分為基于統(tǒng)計(jì)學(xué)、基于機(jī)器學(xué)習(xí)、基于語言學(xué)和多種思想結(jié)合的混合方法。本文闡述的系統(tǒng)設(shè)計(jì)為結(jié)合語言學(xué)規(guī)則，并采用條件隨機(jī)場(chǎng)（conditional random fields，CRF）和人工修改的方法。望通過信息領(lǐng)域哈薩克語術(shù)語識(shí)別系統(tǒng)的設(shè)計(jì)實(shí)現(xiàn)，對(duì)民族文化的挖掘、傳承、創(chuàng)新及民族科技教育工作和社會(huì)安全、穩(wěn)定與繁榮發(fā)展盡一份力。

一 系統(tǒng)設(shè)計(jì)

本系統(tǒng)是基于各類哈薩克文網(wǎng)站及中小學(xué)信息技術(shù)教材中獲取的各種文本的電子版語料，通過目前多語種信息技術(shù)實(shí)驗(yàn)室使用的各種語言語料工具進(jìn)行原始語料的詞法分析后獲得的已經(jīng)完成單詞提取、詞綴提取和詞性標(biāo)注的熟語料。在輸入基于規(guī)則的哈薩克語信息技術(shù)領(lǐng)域術(shù)語抽取系統(tǒng)中的熟語料后，通過領(lǐng)域術(shù)語詞典和術(shù)語聚類規(guī)則庫(kù)進(jìn)一步過濾得到最終的術(shù)語生成候選術(shù)語和候選術(shù)語標(biāo)注語料[2-4]。再通過修改將候選術(shù)語標(biāo)注語料生成為訓(xùn)練語料。系統(tǒng)具體流程如圖1所示。

二 系統(tǒng)功能模塊

從系統(tǒng)功能角度出發(fā)，以隨機(jī)場(chǎng)的方法為處理哈薩克信息技術(shù)術(shù)語抽取問題的提取條件，將哈薩克語信息技術(shù)領(lǐng)域術(shù)語識(shí)別看作一個(gè)序列詞性標(biāo)注問題，將哈薩克語信息技術(shù)領(lǐng)域術(shù)語分布的特征量化作為系統(tǒng)的訓(xùn)練的特征，利用條件隨機(jī)場(chǎng)（CRF）的工具包訓(xùn)練出哈薩克語信息技術(shù)領(lǐng)域術(shù)語特征模板。整個(gè)系統(tǒng)可分為術(shù)語標(biāo)注語料庫(kù)和CRF模式識(shí)別兩個(gè)子系統(tǒng)，術(shù)語標(biāo)注語料庫(kù)子系統(tǒng)還包括預(yù)處理部分、生成訓(xùn)練語料部分、術(shù)語識(shí)別部分、術(shù)語抽取部分、定界規(guī)則部分等，另一個(gè)CRF模式子系統(tǒng)還包括模型參數(shù)部分、特征選擇部分、特征模板選取部分等。系統(tǒng)功能模塊如圖2所示。

三 系統(tǒng)主界面

整個(gè)系統(tǒng)由術(shù)語抽取、生成訓(xùn)練語料、術(shù)語識(shí)別、退出系統(tǒng)等四個(gè)部分組成。術(shù)語抽取部分可以進(jìn)行術(shù)語的打開、抽取、保存、退出等操作步驟，生成訓(xùn)練語料、術(shù)語識(shí)別部分進(jìn)入后也有各自不同的操作界面。系統(tǒng)主界面如圖3所示。

1. 術(shù)語抽取

因存在單詞術(shù)語、多詞術(shù)語等區(qū)別，不同的語言中術(shù)語組成形式也不同，例如名詞+名詞、形容詞+名詞、名詞+動(dòng)詞等，故術(shù)語抽取將根據(jù)語言特點(diǎn)及術(shù)語的組成結(jié)構(gòu)來界定抽取規(guī)則。該模塊主要為相關(guān)的資料中的術(shù)語抽取，進(jìn)入頁面后分左右兩個(gè)界面，左側(cè)可以進(jìn)行文件打開、抽取、保存、退出、術(shù)語統(tǒng)計(jì)等操作，右側(cè)顯示已抽取的術(shù)語及抽取個(gè)數(shù)等信息。系統(tǒng)的術(shù)語抽取架構(gòu)圖詳細(xì)操作界面如圖4所示。

2.生成訓(xùn)練語料

IT術(shù)語語料庫(kù)中存放的語言材料均在語言的實(shí)際使用中真實(shí)出現(xiàn)過，是以電子計(jì)算機(jī)為載體承載語言知識(shí)的基礎(chǔ)資源，真實(shí)語料需經(jīng)過加工才能成為有用資源。以系統(tǒng)中的熟語料作為輸入，依語言學(xué)規(guī)則自給定文檔中抽取術(shù)語，再經(jīng)過進(jìn)一步修改過程后生成訓(xùn)練語料。術(shù)語本身可以是詞也可以是詞組，哈薩克語IT領(lǐng)域術(shù)語結(jié)構(gòu)多種多樣，有些術(shù)語由一個(gè)詞或兩個(gè)詞連接組成，也有些術(shù)語由不同的附加成分或者嵌套組成，構(gòu)成形式有名詞+名詞、形容詞+名詞、名詞+動(dòng)詞等。生成訓(xùn)練語料部分包括打開XML文件、打開術(shù)語文件、XML文件中標(biāo)注術(shù)語、保存標(biāo)注文件等模塊，可根據(jù)需要進(jìn)一步進(jìn)行相關(guān)操作，如打開術(shù)語庫(kù)文件進(jìn)行XML標(biāo)注等[5-8]。界面上也包括上一個(gè)、下一個(gè)或者上一段、下一段等選項(xiàng)，每個(gè)選項(xiàng)都有不同的階段性的操作步驟，生成訓(xùn)練語料模塊詳細(xì)操作界面如圖5所示。

3.術(shù)語識(shí)別

該模塊包括訓(xùn)練、測(cè)試、分析三個(gè)部分，不同的操作界面自不同部分進(jìn)入。進(jìn)入訓(xùn)練語料部分后，可見添加語料、特征抽取、模型訓(xùn)練等選項(xiàng)，每個(gè)選項(xiàng)中可繼續(xù)進(jìn)行相應(yīng)操作。測(cè)試模塊包括測(cè)試語料、術(shù)語識(shí)別、保存結(jié)果及快速測(cè)試等部分，分析模塊中可顯示正確識(shí)別的術(shù)語個(gè)數(shù)、錯(cuò)誤識(shí)別的術(shù)語個(gè)數(shù)、系統(tǒng)標(biāo)注為術(shù)語的個(gè)數(shù)、未判斷的術(shù)語個(gè)數(shù)、準(zhǔn)確率、召回率、F值等內(nèi)容。術(shù)語識(shí)別方法都已先預(yù)選，即首先候選出候選術(shù)語，哈薩克語雖屬于黏著語，但I(xiàn)T術(shù)語的詞性具有一定的規(guī)律性，通過分析、觀察，寫出IT術(shù)語的詞性規(guī)則表，再利用規(guī)則和已標(biāo)注好詞性的文本進(jìn)行匹配，抽取相應(yīng)的詞或者詞組作為候選術(shù)語。系統(tǒng)的術(shù)語識(shí)別訓(xùn)練語料操作界面如圖6所示。

四 結(jié) 語

術(shù)語識(shí)別平臺(tái)的建設(shè)是一個(gè)周期長(zhǎng)、數(shù)據(jù)需求量大的大型工程。而針對(duì)信息領(lǐng)域的術(shù)語僅完成了原始數(shù)據(jù)的收集工作與基本信息的整理工作，術(shù)語識(shí)別系統(tǒng)的構(gòu)建還處于初始階段，任重而道遠(yuǎn)。相關(guān)專業(yè)人員還需不懈努力，提升加工處理和分析語料工具的技術(shù)方法，不斷完善該系統(tǒng)的建設(shè)，才能進(jìn)一步滿足哈薩克語語言學(xué)信息研究的多種需要。

參考文獻(xiàn)

[1] 戴慶廈，趙小兵.中國(guó)少數(shù)民族語言文字信息處理研究與發(fā)展[M].北京：民族出版社，2010.

[2] 木合亞提·尼亞孜別克，古力沙吾利·塔里甫，達(dá)吾勒·阿布都哈依爾.采用CRF模型的哈薩克語信息技術(shù)術(shù)語自動(dòng)抽取技術(shù)研究[J].西北師范大學(xué)學(xué)報(bào)：自然科學(xué)版，2016，52（1）：53-56.

[3] 鄭家恒，張虎，譚紅葉，等.智能信息處理：漢語語料庫(kù)加工技術(shù)及應(yīng)用[M].北京：科學(xué)出版社，2010.

[4] 木合亞提·尼亞孜別克，古力沙吾利·塔里甫.哈薩克語IT領(lǐng)域術(shù)語識(shí)別研究與實(shí)現(xiàn)[J].中文信息學(xué)報(bào)，2016，30（3）：68-73.

[5] 哈斯.蒙古語語料庫(kù)語言資源管理平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[J].內(nèi)蒙古師范大學(xué)學(xué)報(bào)：自然科學(xué)漢文版，2008，37（6）：743-745.

[6] 木合亞提·尼亞孜別克，古力沙吾利·塔里甫.哈薩克文信息處理現(xiàn)狀中的若干問題探討[J].智能計(jì)算機(jī)與應(yīng)用，2011，1（4）：45-46.

[7] 劉劍，唐慧豐，劉伍穎.一種基于統(tǒng)計(jì)技術(shù)的中文術(shù)語抽取方法[J].中國(guó)科技術(shù)語，2014，16（5）：10-14.

[8] 張榕.面向術(shù)語識(shí)別的術(shù)語界定研究[J].中國(guó)科技術(shù)語，2014，16（4）：5-8.