中文信息處理中的歧義問題分析

方玉萍

摘 要 中文內(nèi)容中的歧義問題一直都是語言學(xué)中的一個重點研究內(nèi)容，同時也是將中文語言與計算機(jī)信息處理技術(shù)相互融合的一個難點所在。隨著我們對中文信息處理相關(guān)問題的深入研究，我們也逐漸發(fā)現(xiàn)了新的問題。這給中文信息化處理工作帶來了極大的障礙。為了更好地理解并有效地解決這一問題，我們將中文信息處理中存在的問題專門拿出來進(jìn)行探討。通過對歧義問題的處理，從而就目前存在的歧義的原因進(jìn)行分析并提出相關(guān)消除歧義的方式方法。

關(guān)鍵詞 中文信息處理；歧義問題；分析

中圖分類號 TP3 文獻(xiàn)標(biāo)識碼 A 文章編號 1674-6708（2017）190-0058-02

人們將信息技術(shù)的發(fā)展引入到與中文信息的處理中，不僅能夠有效地提升工作效率，同時還能夠更好的對中文進(jìn)行研究。然而在實踐過程中我們發(fā)現(xiàn)，雖然信息技術(shù)能夠很好的對中文進(jìn)行信息轉(zhuǎn)換，然而在面對中文中存在的歧義問題時，仍然會出現(xiàn)一些問題。比如在特定的中文信息環(huán)境中，對語言信息的處理不恰當(dāng)?shù)默F(xiàn)象。雖然這種歧義一直存在，但是它產(chǎn)生的影響相對較小。主要原因在于人們會自發(fā)的通過語言環(huán)境，背景以及常識進(jìn)行有效地結(jié)合。從而在不同的歧義含義中找出最為正確的答案。相較于信息技術(shù)對于中文信息處理中存在的歧義，正是缺乏這種環(huán)境、背景、常識的引入所導(dǎo)致的。因此，我們可以通過這種方式來尋找解決方法。從而幫助計算機(jī)在處理中文信息的過程中減少歧義問題的發(fā)生。

1 中文信息處理的概念

關(guān)于中文信息處理的概念性的表述可以理解為通過使用計算機(jī)的信息技術(shù)來將中文中涉及到發(fā)音、字形以及含義等相關(guān)信息的內(nèi)容進(jìn)行處理和加工的方式[1]。中文信息處理方式是綜合了語言學(xué)、計算機(jī)信息技術(shù)、聲學(xué)等多種學(xué)科的綜合性的技術(shù)概念。通過將計算機(jī)信息技術(shù)引入到中文研究中，不僅有效地提高了對中文的含義表述的工作效率，同時還能夠?qū)崿F(xiàn)多方面、多層次的處理手段，從而使中文的表述以及含義理解更加具體。

2 中文信息處理中對歧義問題研究的發(fā)展

隨著在中文信息處理過程中歧義問題的不斷發(fā)生，對于“消歧”的工作也逐漸受到更多的重視，尤其是在信息技術(shù)發(fā)展的迅猛階段[2]。對于“消歧”工作的科研學(xué)術(shù)報告已達(dá)到近百篇。不難看出，自從對于信息處理過程中的歧義有了定義后，“消歧”工作的研究和開展已呈現(xiàn)出一個明顯的上升趨勢[3]。同時，“消歧”的研究內(nèi)容也在不斷的拓展，從中文內(nèi)容中的各個方面開始逐步進(jìn)行了研究。使研究內(nèi)容不僅具有全面性更有交叉性。

3 目前存在的主要歧義問題

通過對中文信息處理過程中的歧義問題的分析，在對歧義問題進(jìn)行研究和探討時，我們通常會將中文中的歧義問題以其具體發(fā)生歧義的情況為準(zhǔn)，分為：結(jié)構(gòu)歧義、詞義歧義、分詞歧義、其他類型以及不明確限定的歧義類型。在其他類型的分類中還包含著對于詞語詞性的歧義分析、短語邊界的詞義分析、文字信息所反映的詞義分析以及縮略語句的歧義問題。

4 消除歧義問題的方法

4.1 處理歧義問題的策略

1）在對中文信息處理中的歧義問題的處理過程中，我們在研究過程中主要是兩方面的工作內(nèi)容，一方面就是對目前存在的歧義進(jìn)行定義，另一方面就是對歧義進(jìn)行類別區(qū)分。

2）在研究的過程中，會針對歧義出現(xiàn)的規(guī)則進(jìn)行對消歧工作的開展。在2005年前對于歧義問題的分析處理中，著重以歧義出現(xiàn)的規(guī)則為主要的主導(dǎo)研究方式。后來這種方式慢慢被人們所摒棄，成為消歧工作的偏門手法[4]。

3）通過大家對消歧問題的不斷研究，逐漸對消歧工作產(chǎn)生了新的工作方式，這種方式是基于規(guī)則的策略下有效的結(jié)合了統(tǒng)計的方式。通過二元數(shù)據(jù)的分析，對所使用的方法進(jìn)行評估。隨著大家對這種消歧方式的使用，越來越多的人開始認(rèn)可統(tǒng)計策略帶來的消歧工作的高效率。因此，統(tǒng)計方式逐漸成為了消歧手段中的主打方式。

4）隨著知識被不斷的積累，知識庫的建立。以知識庫作為信息技術(shù)處理基礎(chǔ)的方式也被大家認(rèn)可，并產(chǎn)生了一定的積極的作用。隨著知識庫的不斷發(fā)展和完善。能夠使研究者更好的結(jié)合統(tǒng)計策略和規(guī)則策略對消歧問題做出更好的處理。

人們不斷地對歧義問題和消歧問題進(jìn)行研究，相信會有更多的消歧方式出現(xiàn)，并加入到消歧方式之中對目前的消歧工作提供有效的補益。

4.2 處理歧義的方式方法

1）隨著對歧義問題的研究逐步發(fā)展成熟，語料庫的發(fā)展也逐漸的完善。因此，通過語料庫對歧義問題進(jìn)行評測已成為目前研究的主要趨勢。

目前所要面對的問題就是，對于歧義的規(guī)則和知識庫的信息內(nèi)容需要有人進(jìn)行不斷地完善和篩選。同時，這個工作并不是短期內(nèi)就可以結(jié)束的工作，它需要相關(guān)人員進(jìn)行長期的工作。于是研究者想出了相對較為簡單的方式，通過對語言進(jìn)行收集并加工，將語言資源做成語料庫，通過不斷地實驗對計算機(jī)進(jìn)行訓(xùn)練，使計算機(jī)自發(fā)的通過語料庫的信息處理來消除歧義，并對消除歧義的方式進(jìn)行評測。實現(xiàn)評測的依據(jù)是根據(jù)大量的數(shù)學(xué)內(nèi)容和統(tǒng)計學(xué)的方式，而計算機(jī)正好具有數(shù)據(jù)處理的優(yōu)勢，所以這種方式的應(yīng)用被迅速的推廣開來。

2）在研究過程中，機(jī)器引導(dǎo)學(xué)習(xí)的算法取得了一定的效果。如果有監(jiān)督機(jī)的話還需要標(biāo)語料。然而這種方式對人力物力的需求量較大。所以無監(jiān)督的學(xué)習(xí)方法逐漸進(jìn)入了歧義研究的領(lǐng)域。通過自動匹配語料庫中出現(xiàn)的消歧義的信息，從而消除信息內(nèi)的歧義信息[5]。然而有監(jiān)督的消歧方式和無監(jiān)督的消歧方式之間的差異仍很明顯。尤其是對于目前網(wǎng)絡(luò)信息中出現(xiàn)的新的語料問題。將歧義有效的轉(zhuǎn)換為兩種語言對應(yīng)的語句的計算問題也成為我們需要繼續(xù)研究的方向。

3）信息技術(shù)的發(fā)展必然帶來計算機(jī)運算方式的更新，隨著計算方式的不斷更新，必然會對消歧產(chǎn)生一定的積極作用。不僅能夠在一定的范圍內(nèi)提升消歧的效率和準(zhǔn)確率。同時還能夠在目前消歧所使用的現(xiàn)有算法的基礎(chǔ)上對其進(jìn)行改進(jìn)。

5 對于消歧工作的思考

在計算機(jī)信息技術(shù)迅猛發(fā)展的近30年的時間內(nèi)，我們對消歧的研究主要在于消歧所使用的策略方法。通過不斷的實驗和研究，也得出了目前較為實用的消歧方式。尤其是概率統(tǒng)計的方式已成為消歧方式的主要手段，將消歧工作的效率推向了一個新的層次，然而之后卻再沒有明顯的超越。因此，我們的研究必須進(jìn)一步的發(fā)展。第一，在研究歧義問題的過程中我們必須緊密的結(jié)合語言發(fā)展的方向以及科學(xué)技術(shù)。從而更進(jìn)一步的加強(qiáng)對應(yīng)的理論依據(jù)和模型計算的方式。第二，在研究歧義問題的過程中，我們還需要對語言知識面做進(jìn)一步的擴(kuò)展。從語言的心理認(rèn)知的方向都對歧義問題進(jìn)行研究。從而看看對于歧義問題的處理能否有新的收獲。第三，在前期的研究中我們得出統(tǒng)計方式和結(jié)構(gòu)方式的歧義問題處理已成為主流，而在不斷的發(fā)展中，這兩種方式也呈現(xiàn)出了不斷融合的態(tài)勢。第四，在研究過程中，還需要不斷的借鑒國外對信息處理中的歧義問題的解決方式。第五，建立標(biāo)準(zhǔn)數(shù)據(jù)集，從而更好地引導(dǎo)中文信息處理工作。

6 結(jié)論

在信息處理過程中的歧義問題本就是語言處理技術(shù)在發(fā)展過程中的必然存在，因此，我們需要不斷的進(jìn)行研究和分析。從而更加清晰的掌握目前在中文信息處理過程中產(chǎn)生的歧義。

參考文獻(xiàn)

[1]張祿彭，易綿竹，周云.中文歧義研究25年——以《中文信息學(xué)報》論文為例[J].中文信息學(xué)報，2012（4）：73-84.

[2]溫唱.基于樹形結(jié)構(gòu)的中文分詞方法的研究及實現(xiàn)[D].北京：華北電力大學(xué)，2013.

[3]方昌健，王有權(quán).基于規(guī)則和上下文語境的交集型歧義消解算法[J].科協(xié)論壇（下半月），2012（6）：112-114.

[4]尹倩.基于語境信息的中文分詞交叉歧義處理方法[J].重慶工商大學(xué)學(xué)報（自然科學(xué)版），2016（5）：20-24.

[5]魏莎莎，熊海靈.中文分詞中的歧義識別處理策略[J].微計算機(jī)信息，2010（30）：190-192.