基于神經(jīng)網(wǎng)絡(luò)的語(yǔ)境特征對(duì)must語(yǔ)義排歧影響研究

于建平 付繼林 白塔娜

摘 要：英語(yǔ)情態(tài)動(dòng)詞的一詞多義給自然語(yǔ)言處理帶來(lái)了很大困難。情態(tài)動(dòng)詞語(yǔ)義對(duì)語(yǔ)境很敏感，發(fā)現(xiàn)影響情態(tài)動(dòng)詞語(yǔ)義的主要語(yǔ)境因素對(duì)情態(tài)動(dòng)詞特征選擇、機(jī)器翻譯等都十分重要。因此，采用神經(jīng)網(wǎng)絡(luò)技術(shù)對(duì)英語(yǔ)情態(tài)動(dòng)詞進(jìn)行語(yǔ)義排歧，并確定不同語(yǔ)境特征對(duì)語(yǔ)義排歧結(jié)果的影響?；谝粋€(gè)100萬(wàn)字的語(yǔ)料庫(kù)，以英語(yǔ)情態(tài)動(dòng)詞must為例，從語(yǔ)境中提取影響must語(yǔ)義的語(yǔ)義特征和句法特征，計(jì)算并確定這些特征向量值，建立可區(qū)分根情態(tài)與認(rèn)識(shí)情態(tài)語(yǔ)義的BP神經(jīng)網(wǎng)絡(luò)，排歧正確率達(dá)到94%。在此基礎(chǔ)上，通過(guò)實(shí)驗(yàn)研究確定不同語(yǔ)境特征對(duì)情態(tài)動(dòng)詞must語(yǔ)義排歧的影響程度等級(jí)。該研究結(jié)果為情態(tài)動(dòng)詞語(yǔ)義排歧及情態(tài)動(dòng)詞語(yǔ)義人工識(shí)別提供了重要依據(jù)。

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò);英語(yǔ)情態(tài)動(dòng)詞;語(yǔ)義排歧;語(yǔ)境特征

DOI：10. 11907/rjdk. 191918 開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

中圖分類號(hào)：TP301文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-7800（2020）005-0033-04

0 引言

多數(shù)英語(yǔ)情態(tài)動(dòng)詞都具有一詞多義、內(nèi)涵與外延模糊、語(yǔ)義不確定等特性，所以英語(yǔ)情態(tài)動(dòng)詞語(yǔ)義排歧無(wú)論在人機(jī)語(yǔ)言交流還是自然語(yǔ)言處理中都是一個(gè)重要且棘手的問(wèn)題。以往關(guān)于情態(tài)動(dòng)詞的研究主要側(cè)重于對(duì)情態(tài)動(dòng)詞語(yǔ)義與句法特征及其功能的描述[1-3]。自然語(yǔ)言處理主要側(cè)重于實(shí)義動(dòng)詞、名詞語(yǔ)義理解與排歧技術(shù)及方法研究[4-10]。由于情態(tài)動(dòng)詞語(yǔ)義的復(fù)雜性，目前針對(duì)情態(tài)動(dòng)詞語(yǔ)義排歧的研究很少，針對(duì)不同語(yǔ)境特征對(duì)情態(tài)動(dòng)詞語(yǔ)義及其排歧影響的研究更少。然而，這些研究無(wú)論對(duì)語(yǔ)言學(xué)還是自然語(yǔ)言處理都具有十分重要的意義。神經(jīng)網(wǎng)絡(luò)是由大量簡(jiǎn)單處理單元廣泛地相互連接而形成的復(fù)雜網(wǎng)絡(luò)系統(tǒng)，其反映了人腦功能的許多基本特征，是一個(gè)高度復(fù)雜的非線性動(dòng)力學(xué)系統(tǒng)。神經(jīng)網(wǎng)絡(luò)具有大規(guī)模并行、分布式存儲(chǔ)與處理等特點(diǎn)，以及自組織、自適應(yīng)與自學(xué)習(xí)能力，特別適合處理需要同時(shí)考慮許多因素和條件、不精確與模糊的信息處理問(wèn)題[11]，已應(yīng)用于模式識(shí)別、文本分類和知識(shí)發(fā)現(xiàn)等多個(gè)領(lǐng)域[12-19]。神經(jīng)網(wǎng)絡(luò)也很適合于研究情態(tài)動(dòng)詞的語(yǔ)義排歧問(wèn)題。

本文以情態(tài)動(dòng)詞must為例，基于100萬(wàn)詞的語(yǔ)料庫(kù)建立情態(tài)動(dòng)詞語(yǔ)義排歧神經(jīng)網(wǎng)絡(luò)模型，并在此基礎(chǔ)上研究不同語(yǔ)境特征對(duì)排歧效果的影響，旨在確定情態(tài)動(dòng)詞在具有不同語(yǔ)義時(shí)的語(yǔ)境特征結(jié)構(gòu)，揭示不同語(yǔ)境特征對(duì)英語(yǔ)情態(tài)動(dòng)詞語(yǔ)義的影響程度，為情態(tài)動(dòng)詞語(yǔ)義排歧神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)提供重要的特征選擇依據(jù)，從而提高語(yǔ)義排歧正確率，并為英語(yǔ)情態(tài)動(dòng)詞語(yǔ)義識(shí)別提供依據(jù)。

1 英語(yǔ)情態(tài)動(dòng)詞must語(yǔ)義劃分

著名情態(tài)語(yǔ)義學(xué)家Coates[3]把情態(tài)動(dòng)詞must的語(yǔ)義劃分為：根情態(tài)語(yǔ)義（root meaning）和認(rèn)識(shí)情態(tài)語(yǔ)義（epistemic meaning）。根情態(tài)語(yǔ)義包括表達(dá)責(zé)任（obligation）的語(yǔ)義和表達(dá)義務(wù)（necessity）的語(yǔ)義，Coates對(duì)must情態(tài)語(yǔ)義劃分見圖1。

本文采用以上語(yǔ)義劃分方法，開展針對(duì)must根情態(tài)語(yǔ)義和認(rèn)識(shí)情態(tài)語(yǔ)義的語(yǔ)義排歧與知識(shí)發(fā)現(xiàn)研究。

2 must語(yǔ)義排歧

2.1 語(yǔ)境特征提取

基于一個(gè)100萬(wàn)字的英語(yǔ)語(yǔ)料庫(kù)，采用神經(jīng)網(wǎng)絡(luò)對(duì)must進(jìn)行語(yǔ)義排歧。首先將語(yǔ)料庫(kù)平均分為兩個(gè)，一個(gè)作為訓(xùn)練語(yǔ)料庫(kù)，另一個(gè)作為檢驗(yàn)語(yǔ)料庫(kù);然后，按照以上語(yǔ)義劃分對(duì)兩個(gè)語(yǔ)料庫(kù)中的must進(jìn)行標(biāo)注，分別從兩個(gè)語(yǔ)料庫(kù)中提取50個(gè)樣本例句，構(gòu)成訓(xùn)練集與檢驗(yàn)集;之后確定樣本例句的語(yǔ)境特征，包括語(yǔ)義特征和句法特征。語(yǔ)義特征由主語(yǔ)與must的互信息以及must與其后動(dòng)詞的互信息構(gòu)成，句法特征由與must共現(xiàn)頻率較高的句法形式構(gòu)成。提取的語(yǔ)境特征包括：

（1）語(yǔ)義特征：①主語(yǔ)與根情態(tài)must1的互信息;②主語(yǔ)與認(rèn)識(shí)情態(tài)must2的互信息;③根情態(tài)must1與謂語(yǔ)動(dòng)詞的互信息;④認(rèn)識(shí)情態(tài)must2與謂語(yǔ)動(dòng)詞的互信息。

（2）句法特征：①否定式;②被動(dòng)語(yǔ)態(tài);③謂語(yǔ)動(dòng)詞為施事動(dòng)詞;④主語(yǔ)有生命性;⑤must+完成體;⑥must+靜態(tài)動(dòng)詞。

2.2 語(yǔ)境特征向量化處理

為了使提取的10個(gè)語(yǔ)境特征能夠在神經(jīng)網(wǎng)絡(luò)中運(yùn)行，需要將語(yǔ)境特征變成矢量。首先，對(duì)①-④的語(yǔ)義特征計(jì)算互信息，計(jì)算公式如下[9]：

2.3 BP神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)

由于訓(xùn)練集與檢驗(yàn)集樣本均為50個(gè)，輸入向量為10維，vi （i = 1，2，…10），所以網(wǎng)絡(luò)輸入為一個(gè)50×10維的矩陣。對(duì)于隱層神經(jīng)元個(gè)數(shù)，經(jīng)過(guò)反復(fù)實(shí)驗(yàn)發(fā)現(xiàn)，隱層為9個(gè)神經(jīng)元時(shí)，網(wǎng)絡(luò)實(shí)現(xiàn)的精度和正確率最高，分別為1.760 95×10-8和94%，因此確定隱層神經(jīng)元數(shù)量為9個(gè)。傳遞函數(shù)為tansig，輸出層是單個(gè)神經(jīng)元o，傳遞函數(shù)是線性的purelin，訓(xùn)練函數(shù)選取trainlm，訓(xùn)練精度設(shè)為le-006。該神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)見圖2。

將表1中訓(xùn)練集和檢驗(yàn)集的向量輸入神經(jīng)網(wǎng)絡(luò)。同時(shí)，對(duì)網(wǎng)絡(luò)輸出結(jié)果進(jìn)行歸一化處理，即輸出結(jié)果在（-0.5，0.5）之間時(shí)，取0代表認(rèn)識(shí)情態(tài)must;輸出結(jié)果在（0.5，1.5）之間時(shí)，取1代表根情態(tài)must。在Matlab 7.0環(huán)境下運(yùn)行所建立的BP神經(jīng)網(wǎng)絡(luò)，對(duì)其進(jìn)行訓(xùn)練與檢驗(yàn)，結(jié)果如圖3-圖4所示。其中，“*”為目標(biāo)值，“+”為輸出結(jié)果，二者重合為正確排歧，否則為錯(cuò)誤排歧。由圖3可以看出，在訓(xùn)練17步以后，神經(jīng)網(wǎng)絡(luò)達(dá)到設(shè)定精度10-6。由圖4可以看出，該網(wǎng)絡(luò)排歧只出現(xiàn)了3個(gè)錯(cuò)誤，排歧正確率達(dá)到94%。

3 不同語(yǔ)境特征對(duì)情態(tài)動(dòng)詞must語(yǔ)義排歧的影響

3.1 實(shí)驗(yàn)

為了解不同語(yǔ)境特征對(duì)must語(yǔ)義排歧的影響程度，采用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)。每次從神經(jīng)網(wǎng)絡(luò)訓(xùn)練集矩陣與檢驗(yàn)集矩陣中分別刪除同一個(gè)特征向量，然后在Matlab7.0環(huán)境下運(yùn)行BP神經(jīng)網(wǎng)絡(luò)，觀察排歧結(jié)果變化程度，從而得知該特征對(duì)must語(yǔ)義排歧的影響程度。依次進(jìn)行10次實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果見表2。

3.2 實(shí)驗(yàn)結(jié)果分析

從表3實(shí)驗(yàn)結(jié)果可以看出，當(dāng)忽略認(rèn)識(shí)情態(tài)must與謂語(yǔ)動(dòng)詞的互信息時(shí)，排歧正確率最低，說(shuō)明“認(rèn)識(shí)情態(tài)must與謂語(yǔ)動(dòng)詞的互信息”特征對(duì)must語(yǔ)義排歧影響最大。其次是“must +靜態(tài)動(dòng)詞”，再次是“否定式”和“被動(dòng)語(yǔ)態(tài)”特征。雖然忽略“否定式”和“被動(dòng)語(yǔ)態(tài)”特征時(shí)都出現(xiàn)了8個(gè)錯(cuò)誤，網(wǎng)絡(luò)精度都為10-7，但忽略“被動(dòng)語(yǔ)態(tài)”因素時(shí)，訓(xùn)練神經(jīng)網(wǎng)絡(luò)使用了更多步數(shù)，所以“被動(dòng)語(yǔ)態(tài)”相比“否定式”對(duì)must的情態(tài)語(yǔ)義影響更大。以同樣方法可以確定不同語(yǔ)境特征對(duì)must情態(tài)語(yǔ)義的影響由大到小排序?yàn)椋赫J(rèn)識(shí)情態(tài)must與謂語(yǔ)動(dòng)詞的互信息>must+靜態(tài)動(dòng)詞>被動(dòng)語(yǔ)態(tài)>否定式>根情態(tài)must與謂語(yǔ)動(dòng)詞的互信息>主語(yǔ)有生命性>主語(yǔ)與根情態(tài)must的互信息>施事謂語(yǔ)動(dòng)詞>主語(yǔ)與認(rèn)識(shí)情態(tài)must的互信息>must+完成體。

比較表3中的數(shù)據(jù)可以發(fā)現(xiàn)，認(rèn)識(shí)情態(tài)must與謂語(yǔ)動(dòng)詞的互信息、must+靜態(tài)動(dòng)詞、主語(yǔ)有生命性主要影響must的根情態(tài)語(yǔ)義，其它特征主要影響must的認(rèn)識(shí)情態(tài)語(yǔ)義。

下面從整體上研究不同語(yǔ)境特征對(duì)must情態(tài)語(yǔ)義排歧的影響。本文進(jìn)行如下實(shí)驗(yàn)：①把主語(yǔ)與根情態(tài)must互信息以及主語(yǔ)與認(rèn)識(shí)情態(tài)must互信息看作主語(yǔ)與must互的信息。在神經(jīng)網(wǎng)絡(luò)輸入矢量中同時(shí)刪除這兩個(gè)矢量，然后運(yùn)行神經(jīng)網(wǎng)絡(luò)，觀察主語(yǔ)對(duì)must語(yǔ)義排歧的影響;②把根情態(tài)must與謂語(yǔ)動(dòng)詞的互信息和認(rèn)識(shí)情態(tài)must與謂語(yǔ)動(dòng)詞的互信息看作must與謂語(yǔ)動(dòng)詞的互信息，同時(shí)刪除這兩個(gè)矢量，再運(yùn)行神經(jīng)網(wǎng)絡(luò)，觀察謂語(yǔ)動(dòng)詞對(duì)must語(yǔ)義排歧的影響;③同時(shí)刪除6個(gè)句法特征，然后運(yùn)行神經(jīng)網(wǎng)絡(luò)，觀察全體句法特征對(duì)語(yǔ)義排歧的影響;④同時(shí)刪除4個(gè)語(yǔ)義互信息特征，然后運(yùn)行神經(jīng)網(wǎng)絡(luò)，觀察全體語(yǔ)義特征對(duì)語(yǔ)義排歧的影響。實(shí)驗(yàn)結(jié)果見表3。

從表3可以看出，忽略must與謂語(yǔ)的互信息后，網(wǎng)絡(luò)精度僅為10-2，無(wú)法達(dá)到設(shè)定精度（10-6），而且排歧正確率明顯下降（58%），說(shuō)明must與謂語(yǔ)動(dòng)詞的互信息對(duì)must的情態(tài)語(yǔ)義排歧影響很大。原因主要在于認(rèn)識(shí)情態(tài)must與謂語(yǔ)動(dòng)詞的互信息對(duì)must語(yǔ)義排歧影響較大。相比之下，忽略主語(yǔ)與must的互信息對(duì)must語(yǔ)義排歧影響較小。從總體上看，謂語(yǔ)動(dòng)詞對(duì)must語(yǔ)義排歧的影響遠(yuǎn)大于主語(yǔ)對(duì)其的影響。從表3還可以看出，忽略所有句法特征后，排歧正確率有所下降，但下降幅度不大。但忽略所有語(yǔ)義互信息特征后，網(wǎng)絡(luò)無(wú)法達(dá)到所要求的精度，僅為10-2，說(shuō)明對(duì)其影響很大。該結(jié)果說(shuō)明語(yǔ)義特征相比句法特征對(duì)must語(yǔ)義排歧的影響大得多，所以在情態(tài)動(dòng)詞語(yǔ)義排歧中，既要考慮語(yǔ)義特征，又要考慮句法特征，以語(yǔ)義特征為主，句法特征為輔。

4 結(jié)語(yǔ)

本文所建立的用于英語(yǔ)情態(tài)動(dòng)詞must語(yǔ)義排歧的神經(jīng)網(wǎng)絡(luò)達(dá)到了94%的理想排歧正確率?；谠撋窠?jīng)網(wǎng)絡(luò)進(jìn)行的實(shí)驗(yàn)結(jié)果表明，就單項(xiàng)語(yǔ)言特征而言，“認(rèn)識(shí)情態(tài)must與謂語(yǔ)動(dòng)詞的互信息”對(duì)must情態(tài)語(yǔ)義排歧影響最大，其次是“must +靜態(tài)動(dòng)詞”。“被動(dòng)語(yǔ)態(tài)”和“否定式”對(duì)must的情態(tài)語(yǔ)義影響也較大?！癿ust+完成體”對(duì)must的語(yǔ)義排歧影響最小。就不同類別的語(yǔ)境特征而言，語(yǔ)義特征相比句法特征對(duì)must語(yǔ)義排歧的影響大得多。本文研究結(jié)果揭示了不同語(yǔ)境特征對(duì)must語(yǔ)義排歧的影響及影響程度，并對(duì)不同屬性特征的影響程度進(jìn)行排序，為情態(tài)動(dòng)詞語(yǔ)義排歧的特征選擇與神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)提供了重要依據(jù)，為自然語(yǔ)言處理中的情態(tài)動(dòng)詞語(yǔ)義排歧研究和情態(tài)語(yǔ)義學(xué)研究提供了重要的理論與實(shí)踐依據(jù)。該方法也可應(yīng)用于其它情態(tài)動(dòng)詞的語(yǔ)義排歧研究。

參考文獻(xiàn)：

[1] PALMER F R. Mood and modality[M]. ?Cambridge： Cambridge University Press， 2001.

[2] SWEETSER E. From etymology to pragmatics： metaphorical and cultural aspects of semantic structure[M]. ?Cambridge： Cambridge University Press， 1990.

[3] COATES J. The semantics of the modal auxiliaries[M]. ?London： Routledge Press，1983.

[4] IDE N，VERONIS J. Word sense disambiguation： the state of the art[J]. ?Computational Linguistics， 1998，24 （1）： 1-41.

[5] SEIFOLLAHI S， SHAJARI M. Word sense disambiguation application in sentiment analysis of news headlines： an applied approach to FOREX market prediction[J]. ?Journal of Intelligent Information System， 2019， 52（1）：57-83.

[6] KRAWCZYK B， MCINNES B T. Local ensemble learning from imbalanced and noisy data for word sense disambiguation[J]. ?Pattern Recognition， 2018，78： 103-119.

[7] CORREA E A， LOPES A A， AMANCIO D R. Word sense disambiguation： a complex network approach[J]. ?Information Sciences， 2018，442： 103-113.