基于SVM的生物醫(yī)學(xué)事件觸發(fā)詞識別研究

魏培文，段德全，孫印杰,毛文濤

(河南師范大學(xué), 河南 新鄉(xiāng) 453007)

0 引言

為了提高對海量文本信息管理的自動化程度，許多研究學(xué)者在事件抽取領(lǐng)域投入了大量的精力.在生物醫(yī)學(xué)領(lǐng)域內(nèi)，做好事件觸發(fā)詞的識別是事件抽取中比較關(guān)鍵的一步，有必要對生物醫(yī)學(xué)事件觸發(fā)詞的識別進行深入研究[1-5].

在進行生物醫(yī)學(xué)事件抽取研究中，針對通用的特征很難找到，且對語料的要求和依賴性對總體識別準(zhǔn)確率的影響.本文通過對生物醫(yī)學(xué)的領(lǐng)域知識進行學(xué)習(xí)，把事件抽取的過程簡化為分類問題，經(jīng)過文本信息的預(yù)處理、事件觸發(fā)詞的識別、事件元素識別、后處理，其中在事件觸發(fā)詞識別的過程中，采用支持向量機(SVM)多分類任務(wù)來處理.通過實驗，該方法有效地實現(xiàn)了觸發(fā)詞的識別與抽取.

1 生物醫(yī)學(xué)事件抽取的相關(guān)知識

1.1 信息抽取

面對海量的信息，能夠?qū)π畔⑦M行自動分類、提取和重構(gòu)，使人們快速從中獲得有價值的信息，這就稱為信息抽取技術(shù)，傳統(tǒng)的信息抽取系統(tǒng)在實現(xiàn)方法上與其他自然語言處理問題的研究方法類似[6]，并且籠統(tǒng)地劃分為基于機器學(xué)習(xí)的統(tǒng)計方法和基于分析的方法.

1.2 機器學(xué)習(xí)

機器學(xué)習(xí)是人工智能領(lǐng)域的一個重要研究方向，它能夠讓我們從數(shù)據(jù)集中受到啟發(fā)，利用計算機來彰顯數(shù)據(jù)背后的真實含義，是機器學(xué)習(xí)的目的.分類是機器學(xué)習(xí)的主要任務(wù).

1.3 生物醫(yī)學(xué)事件抽取

事件抽取實質(zhì)上是指基于實體層面的信息抽取，它既抽取指定的一些動作，還抽取動作與實體之間的關(guān)系.

1.4 SVM

SVM是建立在統(tǒng)計學(xué)習(xí)理論(STL)的VC維理論和結(jié)構(gòu)風(fēng)險最小原理的基礎(chǔ)上的，它是根據(jù)有限的樣本信息在模型的復(fù)雜性之間尋求一個最佳的折中，來獲得好的推廣能力.SVM的基本思想主要是在向量空間中找到一個決策平面，找到的平面能“最好”地分割兩個分類中的數(shù)據(jù)點.而SVM分類方法就是在訓(xùn)練集中找到具有最大類間界限的決策平面.假設(shè)給定ωTχnew+b，標(biāo)準(zhǔn)支持向量機使用線性決策邊界來給新的對象進行分類.將落在這條線一邊的對象分類為tnew=1，另一邊對象分為tnew=-1(特別注意類別標(biāo)記為{1，-1}).由此可知支持向量機對一個新測試點χnew的判定函數(shù)定義為

tnew=sign(ωTχnew+b).

學(xué)習(xí)的任務(wù)包括基于訓(xùn)練數(shù)據(jù)選擇ω和b，這里我們主要是通過尋求最大化間隔的參數(shù)來實現(xiàn)的.

1.5 句法分析

句子是由詞通過特定的形式組織起來的，如果能夠從句子中發(fā)現(xiàn)不同詞語間的句法關(guān)聯(lián)，那么我們就能夠更好的理解句子的含義.經(jīng)過句法分析，我們就可以從字符串中去找到語義結(jié)構(gòu)，那么如何找到一個合適的分類決策成為句子分析的主要挑戰(zhàn).Gdep(GENIA Dependency parser)是由日本東京大學(xué)的Kenji Sagae開發(fā)的專門針對生物醫(yī)學(xué)文本的依存分析器，它是在GENIA語料庫下訓(xùn)練的.

1.6 評測方法

準(zhǔn)確率(P)和召回率(R)是衡量評測效率的兩個重要指標(biāo).其中準(zhǔn)確率衡量的是系統(tǒng)尋找到真正相關(guān)事件的可靠程度，而召回率衡量的則是系統(tǒng)尋找到相關(guān)事件的能力，二者緊密相關(guān)，缺一不可.

1.7 語料

本文采用的是標(biāo)注的語料集，是BioNLP’13中GE(Genia Event)任務(wù)的語料集.GE語料中有“全文”和“摘要”兩個集合，全文是指新標(biāo)注的全文論文，通過這種方法來增加語料的多樣性，這樣可以使訓(xùn)練后的系統(tǒng)具有更強的泛化能力.全文主要由標(biāo)題、摘要、方法和結(jié)果等部分組成，不同的部分所具有的目的也完全不同，從而造成獲取到不同的信息類型.摘要中的數(shù)據(jù)與BioNLP’09中的評測數(shù)據(jù)相同.

2 基于SVM方法的生物醫(yī)學(xué)事件觸發(fā)詞識別

事件是指關(guān)于某一主題的一組相關(guān)描述.事件抽取的任務(wù)主要分為元事件抽取和主題事件抽取.本文借鑒了基于HMM的生物醫(yī)學(xué)命名實體的識別與分類、基于多類型特征的生物醫(yī)學(xué)事件觸發(fā)詞識別中介紹的方法來對生物醫(yī)學(xué)事件的觸發(fā)詞進行識別.

當(dāng)前觸發(fā)詞的識別方法主要有三類：基于規(guī)則的方法、基于字典的方法和機器學(xué)習(xí)[10]的方法.本文利用豐富的上下文信息、語義信息，首先通過組織各種不同類型的信息，然后把它們統(tǒng)一表示為SVM下的特征，最后利用多分類方法解決觸發(fā)詞識別的問題.

2.1 語料預(yù)處理

BioNLP’13中的GE語料是以全文的一部分或每個摘要作為一組，每一組中都包含： “.txt”、“.a2”和“.a1”三個文件.例如：在文檔號為“PMC-1310901-00-TIAB.txt”、“PMC-1310901-00-TIAB.a1”、“PMC-1310901-00-TIAB.a2”文件中.這三個文件中，txt、a2和a1分別表示摘要原文本的內(nèi)容、摘要文檔中觸發(fā)詞和摘要文檔中已標(biāo)記的蛋白質(zhì).

2.1.1 語料格式

BioNLP共享任務(wù)(ST)數(shù)據(jù)使用格式類似于2009和2011年的BioNLP共享文件格式.在語料格式表示中，文本文件是分開注釋的.所有注釋文件格式遵循的相同基本結(jié)構(gòu)，每一行包含一個注釋，每個注釋ID出現(xiàn)在第一行，其余的注釋隨類型的不同而變化.如表1為文件格式表.

表1 文件格式表

注：T1表示實體，T2表示一個事件的觸發(fā)詞，E1表示事件，M1表示時間，R1表示關(guān)系.

2.1.2 語料預(yù)處理流程

由于在總體事件中，跨句事件低于1%比例的事實情況，而同時在尋找跨句事件的過程中，通常也會引起過多的噪音.鑒于這些情況，我們在本文中只對一個句子中的事件進行詳細研究.所以需要預(yù)處理GE語料.

(1)首先對GE語料中各文檔的txt文件進行分句處理.

(2)由于在GE語料中， a2及a1文件中的觸發(fā)詞、蛋白質(zhì)都是標(biāo)明的位置，如T84 Binding 2845 2850 binds表示觸發(fā)詞“binds”在這個文檔中某種事件的標(biāo)識為T84，類型為“Binding”,所處理的對象是以文檔中起始位置開始記錄的第2845個字符一直到其后面的5個字符之間的所有字符串.所以通過對文檔分句后，就要重新計算這些觸發(fā)詞、蛋白質(zhì)的位置，并讓它們轉(zhuǎn)化為分句處理后在各自句子的位置.

(3)由于按詞語進行分析是Gdep分析器的主要功能，并且部分蛋白質(zhì)是由兩個或更多的詞構(gòu)成，因此在進行句法分析前，我們需要先替換蛋白質(zhì)，統(tǒng)一以“protein+序號”的形式將語料中給出的蛋白質(zhì)替換掉，然后再對分句處理后的語料進行分析.

(4)用Gdep句法分析器進行句子的分析處理后，每個句子中的每個詞的依有關(guān)系及依有關(guān)系子節(jié)點，另外還有詞干化結(jié)果、詞性等相關(guān)信息就會清晰呈現(xiàn)出來.

(5)分析Gdep得出的結(jié)果，弄懂每行的基本信息，可以看出句子中的每一個詞分別占一行.每個詞的基本信息都在對應(yīng)行清晰顯現(xiàn).通過觀察分析可知：該詞的依存關(guān)系中父節(jié)點的位置是每行倒數(shù)第二個位置上的數(shù)字，該詞在句子中所處的位置則是該行最前面的數(shù)字.

(6)建立候選詞詞典.候選詞詞典在建立的過程中通常會引入大量噪音，進而特征的可用性就會隨之降低.鑒于此種情況，候選詞詞典中只放入訓(xùn)練集中出現(xiàn)的觸發(fā)詞，即將所有a2文件的觸發(fā)詞抽取到一個文件中，這樣就建立了候選詞的詞典.而對于候選詞，則必須要先在觸發(fā)詞詞典中進行匹配，然后才能進行提取特征.

2.2 提取上下文特征

提取上下文特征主要是從處理后的語料中得到的.其原理是根據(jù)候選詞本身以及其所在的位置、詞干化和詞性等特征進行提取[1].其具體的特征主要有:

(1)詞特征.它主要包括候選詞詞干化的結(jié)果、候選詞本身和候選詞詞性以及詞袋特征.其中N窗口表示與候選詞左側(cè)和右側(cè)相距最遠為N個詞的距離.由經(jīng)驗得知，N=5時效果最佳.所以實驗中窗口的大小我們也采用N=5.

(2)特定位置特征.對觸發(fā)詞的識別有重要影響的還有判斷候選詞周圍特殊位置的詞.如果候選詞“transcription”左邊的第一個為“T-box”,右邊的第一個詞為“factor”.我們就會把該特征記錄為“Candicate_left=T-box”“Candicate_right=factor”.同樣也會考慮左右第二個詞.由經(jīng)驗可知，如果考慮太多位置，則會引入更多噪音，同時還會出現(xiàn)數(shù)據(jù)稀疏問題.

(3)N-gram特征.N-gram特征更多的是考慮周圍詞與候選詞的關(guān)系.由于這個特征，從而使得特征的可辨識度得到了進一步提高，同樣是由經(jīng)驗可知，2-gram和3-gram時效果最好.如對于“Down-regulation of interferon regulator fact 4 gene expression in leukemic cells due to hypermethylation of CpG notifs in the promoter region.”的候選詞expression來表示，它的3-gram特征則表示為“3-gram-left=4 gene expression”,它還可以表示為“3-gram=gene expression in”或“3-gram-right=expression in leukemic”.

2.3 提取語義特征

在語料預(yù)處理過程中，我們已經(jīng)通過Gdep句法分析器進行了分析，分析結(jié)果可以用語義上下層關(guān)系表示出來，從而得到一個樹形結(jié)構(gòu)，即依存分析樹，因而可以利用語義信息進行特征的提取.

圖1 句法分析后形成的樹形結(jié)構(gòu)圖

2.3.1 語義特定位置特征

由于父節(jié)點只有一個，而子節(jié)點可能有多個，考慮到語義特定位置的特殊性，需要提取子節(jié)點和父節(jié)點兩種特征.對子節(jié)點只提取子節(jié)點特征，而對父節(jié)點則需要提取父節(jié)點和父節(jié)點的父節(jié)點特征.

2.3.2 語義N-gram特征

為避免出現(xiàn)數(shù)據(jù)稀疏的現(xiàn)象，只取N=2時的特征，這里不僅需要考慮詞，還需要考慮是否有依存關(guān)系.比如對于候選詞“silencing”的2-gram特征表示為：①不考慮依存關(guān)系的子節(jié)點方向的特征為：“semantic-2gram=silencing the”和“semantic-2gram=silencing of”； ②不考慮依存關(guān)系的父節(jié)點方向的特征“semantic-2gram=of silencing”,考慮依存關(guān)系的父節(jié)點方向特征“semantic-2gram-dependency=of PMOD silencing”； ③考慮依存關(guān)系的子節(jié)點方向的兩個特征分別為：“semantic-2gram-dependency=silencing NMOD the” 和“semantic-2gram-dependency=silencing NMOD of”.

2.3.3 根路徑特征

由上例的依存分析樹圖1可以看出，“root remained cause of silencing of level Protein206”是存在于root與指定蛋白質(zhì)“Protein206”之間的一條路徑，基于主要的節(jié)點都在這條路徑上，我們可以把它看作是句子中的一條關(guān)鍵路徑.我們之所以把該詞和其父節(jié)點是否在根路徑上作為一個特征，是因為通過在訓(xùn)練集中的統(tǒng)計發(fā)現(xiàn)：觸發(fā)詞本身或其父節(jié)點出現(xiàn)在根路徑上對于觸發(fā)詞的判別有很大作用.例如 “silencing” 這一候選詞的根路徑特征可表示為：“semantic-in-rootpath=1”和“semantic-father-in-rootpath=1”.

3 實驗結(jié)果與分析

3.1 實驗

在BioNLP’13的GE語料中，我們發(fā)現(xiàn)有Gene expression(基因表達)、Transcription(轉(zhuǎn)錄)、Protein catabolism(蛋白質(zhì)分解代謝)、Phosphorylation(磷酸化)、Localization(定位)、Binding(綁定事件)、Regulation(調(diào)控)、Positive regulation(正向調(diào)控)、Negative regulation(負向調(diào)控)這9種類型.如果我們把在候選詞中出現(xiàn)的每個詞都看作候選詞，然后對它的語義特征和上下文等特征進行提取，將觸發(fā)詞的識別作為一個多分類的過程任務(wù)，則需要分成10類，因為這里還要考慮到判斷該候選詞是否為觸發(fā)詞這一任務(wù)，所以多了1類.我們用SVMlight工具進行分類訓(xùn)練，得到表2的結(jié)果.

表2 各種特征的R值、P值與F值

為了便于比較與說明，在這里我們將上文中提到的各種特征進行重新劃分和分類：SF類特征、Base類特征和RP特征.其中Base類特征表示上下文特征，SF則表示除根路徑外的語義特征，RP表示的是根路徑特征.

為了對本文方法的有效性進行評估，對目前文獻中提出的主題詞抽取方法進行了對比分析.比較結(jié)果如圖2所示.

圖2 不同算法下的性能對比

3.2 實驗分析

從圖2中可以看出，我們的系統(tǒng)在簡單事件上取得了很好的效果，在4種系統(tǒng)中F值最高.在所有事件的比較中，我們的準(zhǔn)確率很高，F(xiàn)值較最好的FAUST系統(tǒng)有一些差距，但與同樣基于分類方法的UTurku系統(tǒng)和MSP-NLP系統(tǒng)相比，本文的SVM-BASED系統(tǒng)的結(jié)果要好很多.

4 結(jié)束語

本文在前人關(guān)于生物醫(yī)學(xué)文獻的事件抽取進行研究的基礎(chǔ)上，提出了基于SVM的生物醫(yī)學(xué)事件觸發(fā)詞識別探索.在生物醫(yī)學(xué)信息領(lǐng)域，觸發(fā)詞表示的是實體間的復(fù)雜關(guān)系，大部分觸發(fā)詞的識別都將轉(zhuǎn)化為觸發(fā)詞分類問題.基于SVM方法的生物醫(yī)學(xué)事件觸發(fā)詞的識別是能夠基于訓(xùn)練集自動學(xué)習(xí)的.它主要是利用特征集訓(xùn)練出觸發(fā)詞識別的分類器，從而進行觸發(fā)詞的識別.本文主要研究了目前生物醫(yī)學(xué)事件抽取的研究背景、主要方法，闡述了生物醫(yī)學(xué)事件抽取的相關(guān)理論，并對語料進行處理，利用SVM方法訓(xùn)練出模型進行觸發(fā)詞的識別，這種方法具有較強分類能力.由于本文主要是基于標(biāo)注數(shù)據(jù)進行研究的，而在實際的生活中，標(biāo)注數(shù)據(jù)的代價很大，所以利用未標(biāo)注的數(shù)據(jù)進行觸發(fā)詞的識別是以后工作研究的重點.