基于多通道LSTM的不平衡情緒分類方法

殷 昊,李壽山,貢正仙,周國棟

(蘇州大學 計算機科學與技術(shù)學院，江蘇 蘇州 215006)

0　引言

隨著社交網(wǎng)站的興起，越來越多的人們習慣在網(wǎng)絡(luò)上發(fā)表自己的言論，這些言論中大部分都含有用戶的情感信息。分析這些帶有情感的言論不僅有助于問答系統(tǒng)、輿情監(jiān)控等技術(shù)的應(yīng)用，還可以用來幫助心理學專家檢測用戶的心理狀態(tài)。因此，近些年來情感分析受到了自然語言處理領(lǐng)域研究者們的密切關(guān)注，現(xiàn)已成為一項基本的熱點研究任務(wù)[1]。

情感分析又稱意見挖掘、觀點分析等，是通過計算機幫助用戶快速獲取、整理互聯(lián)網(wǎng)上的海量的主觀評價信息，對帶有情感色彩的主觀性文本進行分析、處理、歸納和推理的過程[2]。文本情緒分類是情感分析的一項基本任務(wù)，該任務(wù)具體是針對文本表達的個人情緒(如高興、傷心、驚訝等)進行自動分類的方法[3]。表1給出了一些含有情緒的微博文本樣例。

表1　帶有情緒的微博文本樣例

雖然文本情緒分類的研究已經(jīng)開展多年，但是目前大部分的研究都假設(shè)各種情緒類別的樣本分布平衡，即各情緒類別的樣本個數(shù)相同。然而，現(xiàn)實情況往往并非如此。在實際收集到的語料中，不管是產(chǎn)品的評論文本還是微博文本，各個情緒類別樣本的分布往往會非常不平衡。樣本分布的不平衡會使得應(yīng)用傳統(tǒng)的機器學習分類方法得到的分類結(jié)果嚴重偏向多樣本類別(樣本數(shù)目多的類別)，從而大大地降低分類性能[4]。

不平衡分類問題在自然語言處理領(lǐng)域是一個經(jīng)典的研究問題。目前主流的不平衡分類方法是基于欠采樣的機器學習分類方法。該方法的主要思想是使用欠采樣技術(shù)得到平衡的樣本，再通過機器學習的分類方法來對樣本進行分類。由于欠采樣方法使得多類樣本只有部分參與訓練，從而丟失了很多可能對分類有幫助的樣本。為了充分利用已有樣本，本文提出了一種基于多通道長短時記憶(long short-term memory, LSTM)神經(jīng)網(wǎng)絡(luò)[5]的不平衡分類方法，用來解決微博情緒分類中的情緒類別樣本分布不平衡問題。LSTM神經(jīng)網(wǎng)絡(luò)可以學習長期依賴關(guān)系，能夠有助于提高文本情緒分類的性能。具體而言，首先，我們使用欠采樣方法獲取多組平衡訓練語料；其次，使用每一組訓練語料學習一個LSTM模型；最后，通過Merge層來融合多個LSTM模型，獲得最終分類結(jié)果。實驗結(jié)果表明，該方法與傳統(tǒng)不平衡分類方法相比較，能夠進一步提升情緒分類性能。

本文結(jié)構(gòu)安排如下： 第一節(jié)介紹了與本文相關(guān)的一些工作進展；第二節(jié)介紹本文提出的基于多通道LSTM神經(jīng)網(wǎng)絡(luò)的不平衡分類方法；第三節(jié)給出實驗結(jié)果及相關(guān)分析；第四節(jié)對本文做出總結(jié)，并對下一步工作進行展望。

1　相關(guān)工作

1.1　情緒分類

目前，針對社交媒體中的文本情感分析方法的研究大都是面向情感極性的(如正面情感、中性情感、負面情感)，而針對細粒度的情緒分類方法的研究還比較缺乏。

計算語言學領(lǐng)域著名的語義評估會議SemEval在2007年設(shè)立了一個評測任務(wù)，用來對新聞標題進行情緒分類，該評測任務(wù)提供了一個包含1 250個句子的數(shù)據(jù)集。為了更好地理解情緒分析問題，該任務(wù)強調(diào)對情緒進行詞法語義分析[6]。國內(nèi)的相關(guān)會議也組織了中文情緒分析相關(guān)的評測任務(wù)，如NLP&CC-2013中文微博情緒識別任務(wù)。該評測任務(wù)以新浪微博文本作為基礎(chǔ)語料進行標注[7]，目前已完成14 000條微博，45 431條句子的情緒標注，構(gòu)建了一個規(guī)模較大的中文情緒語料庫。該語料庫為相關(guān)科研工作人員分析微博文本的情緒表達提供了支持，有效地促進了相關(guān)領(lǐng)域的研究發(fā)展。Li等[8]提出利用句子的標簽因子圖和上下文標簽因子圖，進行句子級的情緒分類，很好地解決了數(shù)據(jù)稀疏和情緒的多標簽問題。Rana[9]將神經(jīng)網(wǎng)絡(luò)方法應(yīng)用于帶有噪聲的文本情感分類，實驗證明了該方法能夠很好地處理噪聲問題。梁軍等[10]將LSTM擴展到基于樹結(jié)構(gòu)的遞歸神經(jīng)網(wǎng)絡(luò)上，并根據(jù)句子前后詞語間的關(guān)聯(lián)性引入情感極性轉(zhuǎn)移模型。

已有的情緒分析研究基本都是基于樣本分布平衡的假設(shè)，不平衡數(shù)據(jù)的情緒分析方法研究還很缺乏。

1.2　不平衡分類

不平衡分類問題具有一系列傳統(tǒng)模式分類方法所沒有考慮到的特點，所以傳統(tǒng)模式分類方法難以很好解決不平衡分類問題。不平衡分類問題在機器學習、模式識別等領(lǐng)域均受到廣泛關(guān)注，是眾多實際任務(wù)中共同具有的挑戰(zhàn)性問題。

主流的不平衡分類方法主要以過采樣技術(shù)和欠采樣技術(shù)為主。具體而言，過采樣技術(shù)通過重復少類樣本使得少類樣本數(shù)和多類樣本數(shù)平衡；欠采樣技術(shù)通過減少多類樣本使得兩類樣本平衡。目前針對不平衡語料的情感分析研究還很少，王中卿等[4]針對不平衡數(shù)據(jù)的中文情感分類，提出了一種基于欠采樣和多分類算法的集成學習框架。Yan等[11]提出了一種兩階段分類框架，使得不平衡數(shù)據(jù)的分類更準確。Li等[12]將監(jiān)督學習、主動學習和半監(jiān)督學習方法引入不平衡情感分類問題，取得了很好的分類效果。

2　基于LSTM神經(jīng)網(wǎng)絡(luò)的不平衡情緒分類方法

2.1　情緒分類中的不平衡分布情況

為了更好地理解情緒分類中的不平衡問題，我們分析了NLP&CC-2013中文微博情緒分析評測提供的微博語料。我們根據(jù)微博的主要情緒將語料分為七個情緒類別，并統(tǒng)計了這些類別的分布情況。這七個情緒分別是高興、喜好、憤怒、悲傷、恐懼、厭惡和驚訝。

表2給出了七個情緒類別的樣本分布情況。從表中可以看出，七個情緒類別的樣本分布非常不平衡，最多的類別(喜好類)和最少的類別(恐懼類)之間樣本數(shù)量比高達15左右。從表中可以看出，恐懼情緒的樣本數(shù)量最少，驚訝和憤怒情緒的樣本數(shù)量較少，高興、悲傷和厭惡情緒的樣本數(shù)量較多，喜好情緒的樣本數(shù)量最多。

表2　有情緒微博文本中各情緒分布情況

2.2　基于單通道LSTM的不平衡情緒分類方法

LSTM神經(jīng)網(wǎng)絡(luò)使用記憶單元來避免反向傳播過程中的梯度消失和梯度爆炸問題，并且可以學習長期依賴關(guān)系，充分利用歷史信息。Alex Graves于2013年對LSTM進行了改良和推廣[13]，使得LSTM被廣泛應(yīng)用于自然語言處理、語音識別等領(lǐng)域中。

如圖1所示，LSTM單元設(shè)置了記憶單元c用于保存歷史信息。歷史信息的更新和利用受到三個門的控制： 輸入門i、遺忘門f和輸出門o。 LSTM單元在t時刻的更新過程如下：

圖1　LSTM單元

針對不平衡情緒分類，我們首先使用隨機欠采樣方法得到各情緒類別平衡的樣本，然后采用單通道LSTM神經(jīng)網(wǎng)絡(luò)作為分類方法。圖2為單通道LSTM神經(jīng)網(wǎng)絡(luò)分類器框架圖，該分類模型只有一個LSTM層，第一個虛線框部分為單通道LSTM模型內(nèi)部結(jié)構(gòu)， 第二個虛線框部分為不平衡樣本的處理過程。LSTM模型的輸入為訓練樣本的詞向量表示，詞向量具有良好的語義特征，是表示詞語特征的常用方式[14]。輸入特征向量經(jīng)過LSTM層得到高維向量，可以學習到更深層次的特征，這些特征能夠更好地描述樣本。全連接層類似于傳統(tǒng)多層感知機的隱藏層，接收來自上一層的全部輸出，給這些輸出向量加權(quán)求和，加權(quán)后的輸出經(jīng)過激勵函數(shù)并傳播到Dropout層。本實驗中該層使用Relu作為激勵函數(shù)，Relu減少了參數(shù)之間的相互依存關(guān)系，更接近生物學的激活模型，激勵函數(shù)如式(7)所示。

圖2　單通道LSTM神經(jīng)網(wǎng)絡(luò)分類器框架圖

其中x為輸出向量，Relu函數(shù)將小于0的值全部置0，具有引導適度稀疏的能力。

Dropout層在訓練和預測時隨機讓網(wǎng)絡(luò)中某些隱含層節(jié)點不工作，減少了特征個數(shù)，有效地防止了網(wǎng)絡(luò)過擬合。Dropout層作為LSTM神經(jīng)網(wǎng)絡(luò)模型中的隱藏層出現(xiàn)，如式(8)所示。

其中D表示dropout操作符，p是一個可調(diào)的超參(保留隱層單元的比率)。

最后，單通道LSTM模型的輸出通過Softmax輸出層來對樣本進行分類。我們選擇后驗概率最大的類別作為預測標簽，如式(9)所示。

labelpred=argmaxiP(Y=i|x,W,U,V)

(9)

其中x為上一層輸出向量，i為標簽預測值，W、U、V為LSTM更新方法中的系數(shù)矩陣，labelpred為后驗概率最大的預測標簽。

2.3　基于多通道LSTM的不平衡情緒分類方法

應(yīng)用隨機欠采樣和單通道LSTM神經(jīng)網(wǎng)絡(luò)進行不平衡情緒分類存在一個明顯的缺點： 由于欠采樣只是從多類中選擇部分樣本，使得大量未選中的樣本在后面的分類過程中未能發(fā)揮作用，從而丟失了很多可能對分類有幫助的樣本。因此，為了充分利用已標注樣本，提高分類器性能，我們提出了一種基于多通道LSTM神經(jīng)網(wǎng)絡(luò)的分類方法。該方法在不平衡樣本中多次欠采樣得到多組平衡樣本，使用每一組平衡樣本學習一個LSTM模型，通過Merge層對多個LSTM模型進行聯(lián)合學習，得到最終的分類結(jié)果。

多通道LSTM神經(jīng)網(wǎng)絡(luò)分類器框架如圖3所示。我們首先使用隨機欠采樣的方法對各類別樣本進行n次欠采樣，每次欠采樣的個數(shù)為最少類的樣本數(shù)。在得到的n組平衡樣本中，每組對應(yīng)位置的樣本的情緒類別相同，可以將該n組不同的樣本看作是七種情緒類別所對應(yīng)的n組不同的特征表示。我們將該n組訓練樣本的特征向量同時作為網(wǎng)絡(luò)的輸入，且每組輸入分別用來訓練一個LSTM模型。圖3中，LSTM_n表示由第n組訓練樣本學習得到的LSTM模型，該模型的輸出是輸入特征的更好表示。本實驗中n取5，這樣可以保證已標注樣本中絕大多數(shù)樣本都能被取到。

圖3　多通道LSTM神經(jīng)網(wǎng)絡(luò)分類器框架圖

Merge層將上述n組LSTM模型的輸出特征進行融合，并通過反向傳播算法(back propagation)來對網(wǎng)絡(luò)參數(shù)進行更新。Dropout層接收Merge層的輸出作為輸入，該層的功能與其在單通道LSTM神經(jīng)網(wǎng)絡(luò)中的功能相同。網(wǎng)絡(luò)的最后一層是Softmax輸出層，該層用來輸出網(wǎng)絡(luò)模型的預測標簽labelpred。在模型訓練的過程中，我們選擇最小化交叉熵誤差作為損失函數(shù)，即：

(10)

其中，N是訓練樣本的個數(shù)，m是目標類別的數(shù)量，y是Softmax層輸出的每個類別的預測概率，ti是第i個訓練樣本的真實標簽。‖·‖F(xiàn)表示Frobeniu范數(shù)，n是通道的個數(shù)，ω={i,f,o,c},μ={i,f,o,c}和ν={i,f,o}表示不同門的集合(分別為W、U、V)，λ是用來指定懲罰權(quán)重的超參。

在損失函數(shù)中，除了極小化負數(shù)對數(shù)似然，還增加了W、U、V的L2正則化，原因是Softmax函數(shù)的參數(shù)存在冗余，也就是極小點不唯一，增加正則項可以將極小點唯一化。懲罰因子λ調(diào)節(jié)正則項的權(quán)重，取值越大，對大參數(shù)的懲罰越大。

3　實驗

3.1　實驗設(shè)置

本文選用NLP&CC-2013中文微博情緒分析評測任務(wù)提供的微博語料作為實驗語料。該語料中共有七種情緒類別，具體情緒類別及樣本分布可參考2.1節(jié)的表2。由于語料中恐懼情緒的樣本數(shù)量太少，根據(jù)其樣本數(shù)生成的測試集得到的實驗結(jié)果具有較大的偶然性，因此我們選取第二少類別(驚訝情緒)里面樣本數(shù)的20%(即362×20%≈72)作為各類別的測試樣本數(shù)。訓練樣本則根據(jù)不同的分類方法從各類別的剩余樣本中抽取。各情緒類別的測試樣本數(shù)和剩余樣本數(shù)如表3所示。

實驗中用到的分類算法包括最大熵和LSTM神經(jīng)網(wǎng)絡(luò)。其中最大熵使用MALLET機器學習工具包*http://mallet.cs.umass.edu/；LSTM神經(jīng)網(wǎng)絡(luò)使用深度學習開源框架Keras搭建*http://keras.io/。在進行實驗之前我們首先采用復旦大學公布的分詞工具FudanNLP*http://code.google.com/p/fudannlp/對中文文本進行分詞。在使用最大熵分類器時，我們選取詞的Uni-gram作為特征，得到文本的向量表示。最大熵分類器所有的參數(shù)都使用它的默認值。使用LSTM神經(jīng)網(wǎng)絡(luò)分類器時，我們首先使用Python工具包gensim*http://radimrehurek.com/gensim/install.html來生成樣本的詞向量模型。綜合考慮實驗性能和所需時間，本實驗中詞向量維度設(shè)為100。LSTM神經(jīng)網(wǎng)絡(luò)模型的具體參數(shù)設(shè)置如表4所示。

表3　各情緒類別測試樣本數(shù)和剩余樣本數(shù)

表4　LSTM神經(jīng)網(wǎng)絡(luò)中的參數(shù)設(shè)置

實驗采用正確率(Accuracy)和幾何平均數(shù)(G-mean)作為衡量分類效果的標準。幾何平均數(shù)的計算方法如式(11)所示。

其中Recalli表示類別i的召回率，n為類別個數(shù)，本實驗n取7。

3.2　實驗結(jié)果

在實驗中，我們實現(xiàn)了以下幾種處理不平衡情緒分類的方法。

(1) 完全訓練+最大熵(FullT+Maxent)，各個類別的全部剩余樣本均作為訓練樣本，采用最大熵分類器。

(2) 隨機過采樣+最大熵(OverS+Maxent)，設(shè)最多類(喜好類)的剩余樣本數(shù)為nmax，使用隨機過采樣技術(shù)從各類別的剩余樣本中抽取nmax個樣本作為訓練樣本，采用最大熵分類器。

(3) 隨機欠采樣+最大熵(UnderS+Maxent)，設(shè)第二少類(驚訝類)的剩余樣本數(shù)為nmin，使用隨機欠采樣技術(shù)從各類別的剩余樣本中抽取nmin個樣本作為訓練樣本，采用最大熵分類器。

(4) 隨機欠采樣+單通道LSTM神經(jīng)網(wǎng)絡(luò)(UnderS+LSTM)，使用(3)中的采樣方法得到訓練樣本，分類器使用單通道的LSTM神經(jīng)網(wǎng)絡(luò)。

(5) 隨機欠采樣+單通道CNN神經(jīng)網(wǎng)絡(luò)(UnderS+CNN),使用(3)中的采樣方法得到訓練樣本，分類器使用單通道的CNN神經(jīng)網(wǎng)絡(luò)。

(6) 隨機欠采樣+集成學習(Ensemble-Maxent)，多次使用(3)中的采樣方法得到多組訓練樣本(本實驗取5組)，并建立多個基分類器。最后通過融合這些基分類器結(jié)果進行集成學習[4]，其中基分類器選擇最大熵分類器。

(7) 隨機欠采樣+多通道LSTM神經(jīng)網(wǎng)絡(luò)(Multi-LSTM)，使用(5)中的采樣方法得到多組訓練樣本(本實驗取5組)，分類器使用多通道(5通道)的LSTM神經(jīng)網(wǎng)絡(luò)。

(8) 隨機欠采樣+多通道CNN神經(jīng)網(wǎng)絡(luò)(Multi-CNN)，使用(5)中的采樣方法得到多組訓練樣本(本實驗取5組)，分類器使用多通道(5通道)的CNN神經(jīng)網(wǎng)絡(luò)。

圖4比較了完全訓練、隨機過采樣和隨機欠采樣方法在基于不平衡數(shù)據(jù)的情緒分類中的分類效果。我們可以看出隨機欠采樣的分類性能明顯優(yōu)于前兩者，其優(yōu)勢在G-mean值上表現(xiàn)得尤為突出。該現(xiàn)象的主要原因是在完全訓練和隨機過采樣方法中，分類算法嚴重趨向樣本數(shù)量較多的類別，使得樣本數(shù)量較少的類別的召回率非常低。

圖4　傳統(tǒng)不平衡分類方法分類性能比較

接下來我們比較最大熵和LSTM神經(jīng)網(wǎng)絡(luò)在隨機欠采樣方法下的情緒分類性能。從圖5可以看出單通道LSTM神經(jīng)網(wǎng)絡(luò)的分類性能要優(yōu)于最大熵的分類性能，在Accuracy和G-mean上分別提高了1.8%和1.2%。我們分析其主要原因是LSTM神經(jīng)網(wǎng)絡(luò)能夠充分利用歷史信息，可以學習到樣本之間的長期依賴關(guān)系。此外，我們還實現(xiàn)了基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的分類方法。從圖5可以看出，LSTM神經(jīng)網(wǎng)絡(luò)和CNN神經(jīng)網(wǎng)絡(luò)的分類性能相當，在Accuracy上LSTM神經(jīng)網(wǎng)絡(luò)稍占優(yōu)勢，在G-mean上CNN略高一點。

圖5　最大熵和神經(jīng)網(wǎng)絡(luò)的分類性能比較

在不平衡分類問題中，為了充分利用所有標注樣本，但又保持訓練樣本之間的平衡，基于欠采樣的集成學習的方法表現(xiàn)得較為理想。接下來我們將比較基于欠采樣的集成學習的分類方法和我們提出的基于多通道LSTM神經(jīng)網(wǎng)絡(luò)的分類方法，二者的分類性能如圖6所示。

圖6　集成學習和多通道神經(jīng)網(wǎng)絡(luò)的分類性能比較

對照圖4和圖6，我們可以發(fā)現(xiàn)基于欠采樣的集成學習的分類方法在性能上要優(yōu)于以往所有的分類方法，其原因是該方法既能夠保持各類別訓練樣本之間的平衡，又能夠充分利用已有樣本的信息。

圖6結(jié)果表明，當隱層特征使用相加(sum)融合時，基于多通道LSTM神經(jīng)網(wǎng)絡(luò)的分類方法比集成學習方法在Accuracy方面提高了1.5%，在G-mean方面提高了2.8%；當隱層特征使用拼接(concatenate)融合時，基于多通道LSTM神經(jīng)網(wǎng)絡(luò)的分類方法比集成學習方法在Accuracy方面提高了1.0%，在G-mean方面提高了2.1%。這些結(jié)果表明: 基于多通道LSTM神經(jīng)網(wǎng)絡(luò)的分類方法對不平衡情緒分類非常有效。該方法不僅可以在各類別樣本分布不平衡時充分利用已有樣本的信息，而且可以考慮文本上下文之間的關(guān)系。

此外，為了驗證多通道方式的有效性，我們還實現(xiàn)了基于多通道CNN神經(jīng)網(wǎng)絡(luò)并利用該方法進行實驗。從圖5和圖6對比可以看出，多通道CNN神經(jīng)網(wǎng)絡(luò)分類方法與單通道CNN神經(jīng)網(wǎng)絡(luò)分類方法相比，在Accuracy和G-mean方面性能均有所提高。

4　結(jié)語

本文針對情緒分類任務(wù)中的數(shù)據(jù)不平衡問題，提出了一種基于多通道LSTM神經(jīng)網(wǎng)絡(luò)的分類方法。該方法首先使用隨機欠采樣方法獲取多組平衡訓練語料；其次，使用每一組訓練語料學習一個LSTM模型；最后通過融合多個LSTM模型，獲得最終分類結(jié)果。實驗結(jié)果表明該方法能夠充分利用訓練樣本，性能上明顯優(yōu)于傳統(tǒng)的不平衡分類方法。

在下一步工作中，我們將收集其他領(lǐng)域的語料，比如貼吧、QQ空間說說等，并在其上應(yīng)用我們的方法進行實驗，驗證方法的有效性。此外，我們將探索如何改進欠采樣技術(shù)，使得多類樣本在采樣過程中分布得更合理。今后的工作我們將著力解決上述問題，以便找出性能更佳的不平衡數(shù)據(jù)情緒分類方法。

[1]Jiang L, Yu M, Zhou M, et al. Target-dependent Twitter sentiment classification[C]//Proceedings of Meeting of the Association for Computational Linguistics, 2011:151-160.

[2]趙妍妍, 秦兵, 劉挺. 文本情感分析[J]. 軟件學報, 2010, 21(8):1834-1848.

[3]Aman S, Szpakowicz S. Identifying expressions of emotion in text[M]. Text,Speech and Dialogue. Springer, Berlin Heidelberg, 2007:196-205.

[4]王中卿, 李壽山, 朱巧明,等. 基于不平衡數(shù)據(jù)的中文情感分類[C]. 中國計算語言學研究前沿進展, 2011:33-37.

[5]Hochreiter S, Schmidhuber J. Flat minima.[J]. Neural Computation, 1997, 9(1):1-42.

[6]Strapparava C, Mihalcea R. Learning to identify emotions in text[J]. Unt Scholarly Works, 2008, 43(3):254-255.

[7]姚源林, 王樹偉, 徐睿峰,等. 面向微博文本的情緒標注語料庫構(gòu)建[J]. 中文信息學報, 2014, 28(5):83-91.

[8]Li S, Huang L, Wang R, et al. Sentence-level emotion classification with label and context dependence[C]//Proceedings of ACL-15, 2015: 1045-1053.

[9]Rana R. Emotion classification from noisy speech—A deep learning approach[J], arXiv preprint arXiv: 1603.05901,2016.

[10]梁軍, 柴玉梅, 原慧斌,等. 基于極性轉(zhuǎn)移和LSTM遞歸網(wǎng)絡(luò)的情感分析[J]. 中文信息學報, 2015, 29(5):152-159.

[11]Yan Y, Liu Y,Shyu M L, et al. Utilizing concept correlations for effective imbalanced data classification[C]//Proceedings of IEEE International Conference on Information Reuse and Integration. IEEE, 2014:561-568.

[12]Li S, Zhou G, Wang Z, et al. Imbalanced sentiment classification[C]//Proceedings of ACM Conference on Information and Knowledge Management, CIKM 2011, Glasgow, United Kingdom, October. 2011:2469-2472.

[13]Graves A. Supervised sequence labelling with recurrent neural networks[J]. Studies in Computational Intelligence, 2012: 385.

[14]Turian J, Ratinov L, Bengio Y. Word representations: a simple and general method for semi-supervised learning[C]//Proceedings of Meeting of the Association for Computational Linguistics. Association for Computational Linguistics, 2010:780-781.