文本感知
——金融研究新動態(tài)

蘭秋軍，馬超群

(湖南大學(xué) 工商管理學(xué)院，湖南 長沙 410082)

現(xiàn)代金融研究也許是經(jīng)濟(jì)學(xué)研究各個(gè)分支中最具有實(shí)證性的，在該領(lǐng)域，基于不確定性理論的金融計(jì)量經(jīng)濟(jì)方法被普遍采用，通過采集各種相關(guān)金融數(shù)據(jù)，依賴統(tǒng)計(jì)推斷，對復(fù)雜抽象的金融理論進(jìn)行總結(jié)、闡釋或驗(yàn)證。在此過程中，“數(shù)據(jù)”是研究的關(guān)鍵和基礎(chǔ)。為此，各種支持金融研究的數(shù)據(jù)庫相繼被各大公司開發(fā)并推出，成為金融研究、教學(xué)以及實(shí)際投資分析與決策的重要“數(shù)據(jù)平臺”。這些數(shù)據(jù)大致可分為兩類：數(shù)值型(如金融資產(chǎn)的價(jià)格、交易量、收益率、資本規(guī)模等)和文本型(如名稱、簡介、公告、報(bào)告等)。長期以來，實(shí)質(zhì)性用于金融研究的絕大部分?jǐn)?shù)據(jù)是數(shù)值型的。文本型數(shù)據(jù)大多數(shù)只是提供標(biāo)簽、描述和注釋等信息供研究者閱讀參考以及定性研究，極少參與實(shí)際模型的計(jì)算與推斷，最多也只是作為類別變量參與分類統(tǒng)計(jì)或作為啞元變量進(jìn)入模型，并不涉及文本內(nèi)容的理解和應(yīng)用。近年，隨著電子文本的大量涌現(xiàn)，計(jì)算語言學(xué)、自然語言理解和文本挖掘技術(shù)相應(yīng)迅速發(fā)展，這種狀況正在改變。越來越多的金融界學(xué)者開始嘗試?yán)眠@些近期發(fā)展起來的文本理解與挖掘技術(shù)來深層次地獲取信息，揭示金融市場中的規(guī)律，并支持金融理論與實(shí)證研究工作的開展。本文擬就這一領(lǐng)域的最新進(jìn)展及趨勢做一概要性的介紹。

一、文本數(shù)據(jù)的優(yōu)點(diǎn)

數(shù)值型數(shù)據(jù)具有意義簡單明確、結(jié)構(gòu)化存儲、規(guī)范通用等優(yōu)點(diǎn)。幾乎所有的金融計(jì)量模型都是針對數(shù)值型數(shù)據(jù)的。文本數(shù)據(jù)則直接對應(yīng)人類的自然語言，其本身存在字詞邊界模糊、字詞歧義、句法復(fù)雜、修辭以及輸入瑕疵等多種問題，且都以高度非結(jié)構(gòu)化或半結(jié)構(gòu)化形式存在，計(jì)算機(jī)不能直接理解其真實(shí)含義，也無法應(yīng)用于推理演算。因而在傳統(tǒng)的金融研究中，這些信息只能作為定性分析研究的依據(jù)。而事實(shí)上，文本數(shù)據(jù)存在一些數(shù)值型數(shù)據(jù)無法比擬的優(yōu)勢：

1.文本數(shù)據(jù)的來源更廣泛，容易獲得。文本數(shù)據(jù)是人們?nèi)粘贤ń涣鞯闹饕畔⑤d體和產(chǎn)物。書籍、報(bào)紙、雜志、報(bào)告、網(wǎng)絡(luò)新聞等等都主要以文本形式存在。無論金融還是非金融領(lǐng)域，文本型數(shù)據(jù)相比于數(shù)值型數(shù)據(jù)，在數(shù)據(jù)量上要大得多。

2.信息完整，失真較少。數(shù)值型數(shù)據(jù)的生成往往需要經(jīng)過人們的分析、加工、整理才能完成。例如，全國GDP數(shù)據(jù)，它需要通過對各個(gè)月度、各個(gè)地區(qū)以及各種經(jīng)濟(jì)指標(biāo)數(shù)據(jù)的累積、加權(quán)、歸并與計(jì)算統(tǒng)計(jì)等復(fù)雜的過程才能產(chǎn)生，任何一個(gè)環(huán)節(jié)都可能造成信息的失真。而文本數(shù)據(jù)多數(shù)以本來面貌存在，信息更完整。

3.內(nèi)涵豐富，表達(dá)充分。雖然數(shù)值型數(shù)據(jù)可簡明扼要地凸顯一些問題的本質(zhì)和特征，然而文本數(shù)據(jù)通過語言描述，可充分表達(dá)數(shù)值無法表現(xiàn)的信息內(nèi)容，其內(nèi)涵更為豐富。例如，財(cái)務(wù)報(bào)表中的某些數(shù)值數(shù)據(jù)，往往需要文本形式的描述對其產(chǎn)生背景、計(jì)算方法、應(yīng)用領(lǐng)域等的說明。

4.蘊(yùn)含情感，具有特殊價(jià)值。數(shù)值型數(shù)據(jù)本身幾乎不含任何情感信息，然而文本數(shù)據(jù)則可通過其用詞、語法、語氣、修辭等來表達(dá)作者的態(tài)度、觀點(diǎn)等情感信息。這些信息隱藏于文字中甚至可能連作者本人亦未必意識和察覺到，因而具有某些特殊價(jià)值。

二、文本感知與挖掘技術(shù)

文本情感特性是語言主觀性的一種體現(xiàn)，即話語中含有說話人“自我”的表現(xiàn)成分——說話時(shí)表明了自己對這段話的立場、態(tài)度、評價(jià)和感情，從而在話語中留下自我印記。近年來，網(wǎng)絡(luò)信息資源中所蘊(yùn)含的豐富的文本情感知識引發(fā)政府、企業(yè)以及消費(fèi)者等多主體的重視，成為體察社會輿情、探測用戶需求心理的重要依據(jù)。面對海量的文本信息資源，如何克服人工理解方式的低效性，準(zhǔn)確、快速、自動獲取其中的情感知識以滿足多應(yīng)用需求，針對這一問題的研究形成一個(gè)新穎的領(lǐng)域——文本感知挖掘分析。它應(yīng)用自然語言處理、計(jì)算語言學(xué)和文本分析技術(shù)等來識別和抽取文本源中的主題信息，確定作者對某個(gè)主題的總體上的態(tài)度、評價(jià)和感覺。

文本感知挖掘分析的研究大致可以分成詞語、句子、篇章、文檔集四個(gè)層次。詞語分析包括對詞語極性、強(qiáng)度和上下文模式的分析。例如Turney(2002)根據(jù)詞語在語料庫中的同現(xiàn)情況反映詞語間聯(lián)系的緊密程度，將詞語A和B的PMI(Pointwise Mutual Information，點(diǎn)態(tài)互信息量)定義為它們在語料庫中的共現(xiàn)概率與A、B概率之積的比值，其值越高，就意味著相關(guān)性越大。任意其它詞語的語義傾向SO定義為與各褒義種子詞PMI之和，減去與各貶義種子詞PMI之和。SO的正負(fù)號就可以表示詞語的極性，而絕對值就代表了強(qiáng)度。句子級分析的處理對象是在特定上下文中出現(xiàn)的語句。其任務(wù)就是對句子中的各種主觀性信息進(jìn)行分析和提取。篇章級分析，就是要從整體上判斷某個(gè)文檔的情感傾向性，即褒貶態(tài)度。而文檔集分析的主要任務(wù)是：對從不同信息源抽取出的、針對某個(gè)話題的文檔集合進(jìn)行集成和分析，進(jìn)而挖掘出態(tài)度的特點(diǎn)和走勢。

文本感知挖掘分析的技術(shù)實(shí)現(xiàn)主要建立在文本分類基礎(chǔ)上。主要就是通過分析文本的感情色彩，從褒貶傾向角度對文本進(jìn)行分類。如對描述的內(nèi)容持肯定語氣，帶有明顯的稱贊、頌揚(yáng)、贊賞等意味，則視作正面褒揚(yáng)類；對事件的描述持客觀公正的態(tài)度，無明顯的個(gè)人感情色彩則為中立類；而帶有明顯的否定語氣，含有質(zhì)疑、鄙視、批評、痛斥等色彩則屬負(fù)面批評類。其技術(shù)實(shí)現(xiàn)思想是：當(dāng)給定一個(gè)主題后，先由用戶標(biāo)注一些文章的傾向性，將這些文檔作為學(xué)習(xí)樣本，然后通過詞匯的情感度量和文檔的特征抽取，獲取整個(gè)文檔的特征表達(dá)，再使用不同的機(jī)器學(xué)習(xí)方法，如KNN 和SVM 方法，構(gòu)造分類器。其中詞匯情感度量值可通過事先給定一組褒貶基準(zhǔn)詞，再利用提供的語義相似度和語義相關(guān)度計(jì)算測試詞與這組基準(zhǔn)詞的語義關(guān)系緊密程度而獲得。

隨著文本感知與挖掘分析技術(shù)的迅速發(fā)展，一系列的應(yīng)用相繼出現(xiàn)。例如，上海交通大學(xué)開發(fā)了一個(gè)用于漢語汽車論壇的意見挖掘系統(tǒng)。其目的是在電子公告板、門戶網(wǎng)站的各大論壇上挖掘并且概括顧客們對各種汽車品牌的不同性能指標(biāo)的評論和意見，并且判斷這些意見的褒貶性以及強(qiáng)度(姚天昉,2006)。香港城市大學(xué)語言資訊科學(xué)中心T’sou(2005)在LIVAC共時(shí)語料庫上，進(jìn)行名人信譽(yù)分析研究。他們選擇泛華語地區(qū)有代表性的中文媒體，對相應(yīng)的新聞報(bào)道進(jìn)行深層次的人工標(biāo)注，并在該語料庫上開展中文文章正負(fù)兩極性自動分類研究，通過人物褒貶指數(shù)的計(jì)算，發(fā)布京港臺雙周名人榜，反映其在三地報(bào)章的信譽(yù)度。而Kim 等人(2007)通過對美國大選時(shí)涌現(xiàn)出來的大量評論文章進(jìn)行分類匯總,以此推斷大部分選民是支持“共和黨”還是“民主黨”。此外，一些專業(yè)應(yīng)用的軟件系統(tǒng)也相繼問世，例如Attensity是一個(gè)針對客戶體驗(yàn)管理(CEM)的軟件系統(tǒng)，它通過從來自社會媒體(如Facebook,Twitter)、論壇、客戶調(diào)查意見、電子郵件等的非結(jié)構(gòu)化的文本數(shù)據(jù)中抽取事實(shí)、關(guān)系和情感信息，支持對顧客數(shù)據(jù)的多渠道分析。其產(chǎn)品已被空中客車、花旗銀行、惠普、蓋克等知名企業(yè)和美國聯(lián)邦調(diào)查局、國家安全局等政府機(jī)構(gòu)采用。類似的軟件還有Clarabridge和Lexalytics等。

三、金融文本的感知與挖掘

相對于信息檢索和情報(bào)領(lǐng)域而言，以文本挖掘分析作為工具的金融研究還是一個(gè)極其新穎的事情，不過正引起越來越多學(xué)者的興趣。他們利用網(wǎng)上新聞、財(cái)務(wù)報(bào)告和論壇博客等作為文本數(shù)據(jù)來源，通過感知與挖掘技術(shù)，應(yīng)用計(jì)算機(jī)大規(guī)模地自動對這些文本進(jìn)行分析處理，從而獲取市場、企業(yè)和投資者的有關(guān)信息。

1.市場狀況的感知

金融市場本質(zhì)上是信息驅(qū)動的，各個(gè)投資者根據(jù)自己的信息收集、加工和理解并獨(dú)立決策，最終形成金融資產(chǎn)的市場價(jià)格。而新聞是投資者最為關(guān)注的信息來源，其對市場的影響也是傳統(tǒng)金融實(shí)證研究中比較關(guān)注的問題?；谖谋厩楦蟹治黾夹g(shù)則可對金融新聞進(jìn)行大批量的分析處理，實(shí)時(shí)把握主流的觀點(diǎn)傾向、評估新聞事件的影響度，進(jìn)而推測金融市場走勢，分析獲取超額收益的可能性。例如，2001年，Desh根據(jù)領(lǐng)域?qū)＜姨峁┑?00個(gè)帶有情感極性的關(guān)鍵字，采集蘇黎世Olsen & Associates的HFDF93數(shù)據(jù)，以其中的全球金融、政治和經(jīng)濟(jì)狀況的新聞標(biāo)題作為對象，通過關(guān)鍵詞的統(tǒng)計(jì)來感知匯率市場狀況，以此預(yù)測盤中貨幣的匯率變動。

2.投資者情緒的感知

投資者情緒的研究是行為金融研究中的一個(gè)重要領(lǐng)域，而主要的投資者情緒度量方法是調(diào)查法和代理變量法。即通過問卷調(diào)查的方式來直接了解投資者情緒或者通過相關(guān)代理金融變量作為投資者情緒的間接表示。它們具有成本高、周期長、時(shí)間滯后、誤差大等缺陷。2004年，Werner和Murray基于消息板塊中的投資者討論信息，基于文本情感分析技術(shù)感知投資者對未來市場的情緒，證實(shí)股票市場的收益率同留言情緒的好壞存在顯著相關(guān)。2007年，Das等也將收集的投資者網(wǎng)上留言信息通過文本感知技術(shù)將其分為看牛、看熊和中性三類，并進(jìn)而將一段時(shí)期內(nèi)的這些分類留言進(jìn)行統(tǒng)計(jì)綜合，編制出投資者情緒指數(shù)，從而為及時(shí)、準(zhǔn)確、自動地感知投資者情緒提供了新的思路和工具。

3.上市企業(yè)經(jīng)營情況的感知

上市企業(yè)的經(jīng)營狀況是投資者決策的重要依據(jù)，然而一些研究表明，企業(yè)管理者出于各種壓力和利益的緣故，在不違背相關(guān)法律制度的前提下，傾向于對其工作業(yè)績的進(jìn)行夸大或粉飾。由于信息不對稱，投資者很難了解企業(yè)的真實(shí)經(jīng)營情況以及管理層的真實(shí)經(jīng)營能力和意圖。文本情感分析技術(shù)則為我們提供了新的工具，可一定程度地降低這種信息不對稱。例如，財(cái)務(wù)報(bào)告是反映企業(yè)財(cái)務(wù)狀況和經(jīng)營成果的書面文件，國際或區(qū)域會計(jì)準(zhǔn)則都對財(cái)務(wù)報(bào)告有專門的獨(dú)立準(zhǔn)則。一般包括資產(chǎn)負(fù)債表、利潤表、現(xiàn)金流量表、所有者權(quán)益變動表、附表及會計(jì)報(bào)表附注和財(cái)務(wù)情況說明書。美國還要求提供MD&A(Management’s Discussion and Analysis，管理當(dāng)局討論與分析)，英國也要求提供OFR(Operating and Financial Review，經(jīng)營與財(cái)務(wù)評述)，以披露高層管理人員對公司的經(jīng)營目標(biāo)和實(shí)現(xiàn)這些目標(biāo)的戰(zhàn)略，以及成功應(yīng)用這些戰(zhàn)略的可能性，并對經(jīng)營管理中用來衡量業(yè)績的關(guān)鍵指標(biāo)進(jìn)行討論和分析。Mark等(2010)通過創(chuàng)建預(yù)測公司破產(chǎn)和財(cái)務(wù)欺詐兩類事件的詞條目錄，以美國上市企業(yè)的10-k報(bào)表(即年度報(bào)表)中的MD&A(管理者評論)為文本數(shù)據(jù)來源，分析文本隱含的情感語氣，以此推測管理層的真實(shí)心理，進(jìn)而構(gòu)建上市企業(yè)的破產(chǎn)與欺詐事件的預(yù)測模型。其結(jié)果表明其對兩類事件的辨別精度最高分別可達(dá)到80%和75.4%。Angela等(2008)對1998至2003年間的企業(yè)盈余公告進(jìn)行分析，通過文本分析軟件感知經(jīng)理人員的樂觀和悲觀語調(diào)，證實(shí)經(jīng)理人員的語調(diào)透露了其后續(xù)經(jīng)營業(yè)績好壞的信息。國內(nèi)學(xué)者韓春(2008)也使用文本挖掘技術(shù)對上市公司年報(bào)進(jìn)行分析，并結(jié)合上市公司財(cái)務(wù)評價(jià)指標(biāo)體系和聚類的方法，給出了一種綜合分析與評價(jià)上市公司財(cái)務(wù)狀況和經(jīng)營狀況的方法。

4.企業(yè)關(guān)系的感知

各種各樣的新聞報(bào)道往往涉及到企業(yè)的方方面面，而對一家企業(yè)的新聞報(bào)道往往又會提到其它企業(yè)，這些企業(yè)之間極有可能存在某種關(guān)系，比如伙伴關(guān)系、競爭關(guān)系或從屬關(guān)系等。例如，Bernstein等(2002)使用一個(gè)叫ClearForest的商業(yè)文本挖掘分析系統(tǒng)，從Yahoo!Business News板塊新聞中獲取企業(yè)實(shí)體，構(gòu)建網(wǎng)絡(luò)關(guān)系，計(jì)算其聯(lián)系緊密程度。而Ma,Sheng和Pant(2009)也注意到這個(gè)事實(shí)，通過文本感知挖掘技術(shù)，構(gòu)建了公司之間的關(guān)聯(lián)網(wǎng)絡(luò)圖，并應(yīng)用社會網(wǎng)絡(luò)分析技術(shù)描述各個(gè)企業(yè)之間的聯(lián)系強(qiáng)度，以此來推測公司間的盈利關(guān)系。通過對87340對樣本公司的實(shí)證，其精度可達(dá)80%。

四、前景與挑戰(zhàn)

隨著IT技術(shù)，特別是網(wǎng)絡(luò)技術(shù)的發(fā)展，文本數(shù)據(jù)正以爆炸式速度在增長、傳播和積累。金融文本數(shù)據(jù)自然不例外，純粹依賴人工閱讀以支持定性分析研究的方式，在洶涌而來、堆積如山的文本數(shù)據(jù)面前相形見絀，效率低下。依賴于文本感知與挖掘分析技術(shù)來充分利用這些數(shù)據(jù)必然受到金融業(yè)者和學(xué)者的高度重視。然而其困難也同樣存在，目前面臨的主要挑戰(zhàn)包括：(1)大規(guī)模金融文本的實(shí)時(shí)采集、存儲與搜索；(2)大規(guī)模金融文本的特征提取、量化與計(jì)算；(3)針對特定應(yīng)用目的的金融主題詞典以及語料庫的構(gòu)建；(4)基于文本量化的金融模型的開發(fā)與應(yīng)用。

盡管目前很多技術(shù)還只是萌芽，效果還不是很理想，但隨著文本感知與挖掘技術(shù)的進(jìn)一步發(fā)展，其準(zhǔn)確度和精度亦將不斷改善，各種應(yīng)用也將層出不窮，其研究與應(yīng)用前景是相當(dāng)廣闊的。

[參考文獻(xiàn)]

[1]Bernstein, A., Clearwater, S., Hill, S., and Provost, F.Discovering Knowledge from Relational Data Extracted from Business News.Proc.of the KDD 2002 Workshop on Multi-Relational Data Mining,Edmonton, Alberta, Canada, 2002.

[2]Davis, Angela K., Piger, Jeremy M.and Sedor, Lisa M., Beyond the Numbers: Managers’ Use of Optimistic and Pessimistic Tone in Earnings Press Releases (December 3, 2007).AAA 2008 Financial Accounting and Reporting Section (FARS)Paper.Available at SSRN: http://ssrn.com/abstract=875399.

[3]Desh Peramunetilleke, Raymond K.Wong.Currency exchange rate forecasting from news headlines.In:Proc.of the 13th Australasian database conference,2002, (5):131-139.

[4]Kim S.M, Hovy E.Crystal: Analyzing predictive opinions on the Web.In:Proc.of the Joint Conf.on Empirical Methods in Natural Language Processing and Computational Natural Language Learning (EMNLP-CoNLL).Morristown: ACL,2007.1056-1064.

[5]Ma, Z., Sheng, O., and Pant, G.(2009)Discovering company Revenue Relations from News: A Network Approach, Decision Support Systems, Vol.47, pp: 408-414.

[6]Sanjiv R.Das, Mike Y.Chen.Yahoo! for Amazon: Sentiment Extraction from Small Talk on the Web.Management science,2007,53(9):1375-1388.

[7]Turney Peter, Thumbs Up or Thumbs Down? Semantic Orientation Applied to Unsupervised Classification of Reviews.In: Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics.2002,417-424.

[8]T’sou Benjamin, Kwong Olivia, Wong Wei-Lung, Lai Tom.2005, Sentiment and Content Analysis of Chinese News Coverage, International Journal of Computer Processing of Oriental Languages, 18: 171-183.

[9]Werner Antweiler,Murray A.Frank.Is all that talk just noise? The information content of internet stock message boards.The journal of finance,2004,3,1259-1294.

[10]姚天昉，聶青陽，李建超，李林琳，婁德成，陳珂，付宇.一個(gè)用于漢語汽車評論的意見挖掘系統(tǒng)[A].曹右琦，孫茂松.中文信息處理前沿進(jìn)展-中國中文信息學(xué)會二十五周年學(xué)術(shù)會議論文集[C].北京：清華大學(xué)出版社，2006:260-281.

[11]韓春,田大鋼.對股票市場信息的文本挖掘[J].中國高新技術(shù)企業(yè),2008(23):6-8.