改進的TF—IDF算法在作品抄襲判定中的應用

吉志薇

摘 ? 要： TF-IDF算法在文本相似性的度量中有著廣泛地應用，但也存在著明顯的缺陷。本文運用一種綜合考慮詞頻、逆向文本頻率、類間信息熵和類內信息熵四個方面的改進的TF-IDF算法計算了郭敬明的《夢里花落知多少》和莊羽的《圈里圈外》的相似性，從定量的角度判定了前者的確抄襲了后者。

關鍵詞： TF-IDF算法 ? ?文本相似度 ? ?夢里花落知多少 ? ?圈里圈外

0.引言

目前在國內外，文學作品、學術著作的抄襲行為廣泛存在，這種現(xiàn)象不僅侵犯了原作者的著作權，也助長了不良的學術風氣。因此，加強對作品抄襲的判定研究有著巨大的價值。作品抄襲的判定研究是建立在對數(shù)字文本的分析處理基礎上的。數(shù)字文本可分為自然語言文本（比如小說、論文等）和形式語言文本（例如數(shù)據(jù)文件、計算機程序代碼等）。形式語言文本具有嚴格的形式化語法、清晰的語義表達、容易分析處理，所以形式化的語言文本的抄襲判定研究已經取得了豐碩的成果。而自然語言文本，由于沒有形式化語法約束、語義具有歧義性的缺陷，較難進行抄襲判定。直到1991年用于查詢重復基金申請書的軟件Word Check出現(xiàn)及應用，自然語言文本的抄襲判定研究才有了較大的進展。①

判定作品抄襲的研究思路是：將作品看作一系列標記（token）的集合，這些標記可以是字符、詞、句、段落和章節(jié)等。運用某種算法從作品A和B中得到各自的標記集合a和b，通過比較a和b的關系來確定作品A和B的相似度。目前常用的判定作品抄襲的技術有數(shù)字指紋、詞頻統(tǒng)計、圖像匹配以及諸如MDR②、RKR-GST（Running-Karp-Rabin-Greedy-String-Tiling）③的字符串匹配等方法。綜合考慮精度和速度等因素，效果較好的是數(shù)字指紋和詞頻統(tǒng)計。

在詞頻統(tǒng)計技術中，一般采用向量空間模型（VSM）來表示，該模型廣泛應用于信息檢索等領域。用向量空間模型表示文本，首先要對文本進行預處理（主要包括中文分詞和去停用詞），然后進行特征項選擇和權重計算。它的基本思想是將每個文本（Document）看作由一組相互獨立的特征項Ti（T1，T2，…，Tn）構成的集合，表示為Document=D（T1，T2，…，Tn），然后根據(jù)每個特征項在文本中的重要性，分別賦予他們一定的權重Wi（W1，W2，W3…Wn），這樣就構成了一個以特征項Ti為橫坐標，權重Wi為其對應坐標的N維向量空間模型。

對權重的計算有多種不同的方法，主要有布爾函數(shù)、頻度函數(shù)、開根號函數(shù)、對數(shù)函數(shù)、熵函數(shù)及TF-IDF函數(shù)等。特征項的權重取值，在很大程度上會影響文本分類算法的整體性能。其中，TF-IDF因其算法相對簡單，并有較高的準確率和召回率，一直受到相關研究人員和眾多領域的青睞。④

1.TF-IDF及其改進算法

1.1TF-IDF算法

TF-IDF最早由G.salton在1973年提出⑤。TF（termfrequency）是指關鍵詞詞頻，即一篇文章中關鍵詞出現(xiàn)的頻率;IDF（inversedocumentfrequency）是指逆向文本頻率，即關鍵詞在不同文檔中的分布情況。它的基本思路是：一個詞在一個文本中出現(xiàn)的頻率越高，說明它區(qū)分該文本的能力越強（TF）;一個詞在不同文本中出現(xiàn)的范圍越廣，說明它區(qū)分文本的能力越低（IDF）。經過salton的多次論證，信息檢索領域廣泛地使用TF-IDF算法計算權重，其經典計算公式為：

w■=tf■×idf■=tf■×log■

w■表示特征項ti在文本Dj中的權重，tf■表示特征項ti在文本Dj中出現(xiàn)的頻度，n■表示訓練集中出現(xiàn)特征項ti的文檔數(shù)，N表示訓練集中總的文檔數(shù)。

1.2TF-IDF改進算法

TF-IDF算法考慮了特征項在總的文本集中的分布，卻沒有考慮它在類內和類間的分布情況。IDF的主要思想是：如果包含特征項t的文本數(shù)越少，也就是n越小，IDF越大，則說明特征項t的文本分類能力越強。如果某一類Ci中包含m個t，而其他類包含k個t，則所有包含t的文本數(shù)為n=m+k。假定k的值固定且較小，根據(jù)定義，當m的值比較大的時候，n也比較大，則IDF就比較小，但是這并不能說明特征項t的文本分類能力就一定不強。因為如果類別Ci中頻繁出現(xiàn)t而其他類中很少出現(xiàn)t，那么t就應該能夠很好地代表這個類Ci的特征，我們應該賦予這樣的特征項較高的權重。正是由于IDF函數(shù)存在這樣的不足，張玉芳等⑥提出了相應的改進意見。設總的文本數(shù)為N，包含特征項t的文本數(shù)為n，其中Ci類文本中包含t的文本數(shù)為m，其他類文本中包含t的文本數(shù)為k，則t在Ci類中的IDF值為：

IDF=log（■×N）=log（■×N）

通過相關數(shù)學論證推導可得，■的值隨著m的增大而增大，隨著k的減小而增大。正好能夠體現(xiàn)改進的思想，可以較好地增加那些在一類文本中頻繁出現(xiàn)而在其他類文本中較少出現(xiàn)的詞條的權重。

張玉芳等主要考慮了特征項的類間分布而沒有涉及類內分布的情況。對此，張保富等⑦提出“同樣是集中分布于某一類別的不同特征項，類內分布相對均勻的特征項的權重應該比分布不均勻的要高。因為如果一個特征項只在某個類別的一兩篇文本中大量出現(xiàn)，而在類的其他文本中出現(xiàn)得很少，那么不排除這一兩篇文本是該類中特例的情況，因此這樣的特征項不具備代表性，其權重應該相對較低?！本C合類間類內分布，張保富等提出的權重計算公式為：

W■（d）=■×a（H■）×H■ ?（1）

其中■為TF-IDF的歸一化計算;a（H■）表示的是經過一定修改的類間信息熵因子，a（H■）=1-■，H■為特征項的類間信息熵，max（H■）為特征項類間信息熵的最大值，根據(jù)熵最大原理可得max （H■）=logk（k表示類別數(shù)），即包含特征項t的所有文本均勻地分布在每一個類別中，概率分布P■=1/k時，類間信息分布熵取最大值。系數(shù)l（l>0）為了避免max（H■）=0（k=1）和a（H■）=0（H■=max（H■））兩種情況的出現(xiàn)。觀察公式可得，a（H■）越小，則H■越大，符合包含某一特征項的文本在各類分布越均勻，其類間分布熵越大，則此特征項對文本分類的貢獻越小的理論。Hic表示的是特征項的類內信息熵，也符合特征項在文本的某一個類中的各個文本分布越均勻，其類內的分布熵就越大，則對該類的分類貢獻就越大的理論。這種方法避免了那些對文本分類沒有貢獻的特征項被賦予較大權值的缺陷，能更有效地計算文本特征項的權重。實驗結果證明該方法提高了文本分類的精確度和召回率，是一種比較有效的文本特征項加權方法。

2.背景介紹

郭敬明（http：//baike.baidu.com/view/4386.htm）出生于1983年。莊羽（http：//baike.baidu.com/view/769116.htm）出生于1979年。2002年8月14日，莊羽以“許愿的豬”為筆名將小說《圈里圈外》發(fā)表在天涯社區(qū)舞文弄墨版。2003年2月，《圈里圈外》由中國文聯(lián)出版社出版，作品署名“莊羽”。《圈里圈外》以主人公初曉與現(xiàn)任男友高源及前任男友張小北的感情經歷為主線，在描寫初曉與高源之間的愛情生活及矛盾沖突的同時，描寫了初曉與張小北之間的感情糾葛，同時還描寫了初曉的朋友李穹與張小北的婚姻生活以及張小北與情人張萌萌的婚外情，高源與張萌萌的兩性關系及合作拍戲等。2003年11月，春風文藝出版社出版了郭敬明的《夢里花落知多少》。該書版權頁有“郭敬明著、春風文藝出版社出版、2003年11月第1版、2003年11月第1次印刷”等字樣?！秹衾锘渲嗌佟分魅斯謲古c現(xiàn)任男友陸敘及前任男友顧小北的感情經歷為主線，在描寫林嵐與陸敘的愛情生活及矛盾沖突的同時，交替描寫了林嵐與顧小北的感情糾葛，顧小北與現(xiàn)任女友姚姍姍的感情經歷，林嵐、聞婧、微微及火柴之間的友情以及她們和李茉莉的沖突等。⑧

2003年12月，莊羽向北京市一中院起訴，稱郭敬明所著《夢里花落知多少》一書剽竊了其《圈里圈外》。隨后，北京市一中院作出一審判決，認定《夢里花落知多少》中剽竊了《圈里圈外》中具有獨創(chuàng)性的人物關系的內容，造成《夢里花落知多少》和《圈里圈外》整體上構成實質性相似。郭敬明不滿上訴。2006年5月22日，北京市高級人民法院作出終審判決，駁回了郭敬明的上訴要求，判決郭敬明與出版方賠償莊羽經濟損失、精神撫慰金、停止出版和銷售《夢里花落知多少》以及公開道歉。（參考http：//baike.baidu.com/view/46062.htm#sub6294546）

考慮到《夢里花落知多少》和《圈里圈外》兩部作品的題材和內容，本文共選擇了兩人比較有代表性的八部作品：郭敬明的《夢里花落知多少》、《夏至未至1995-2005》、《悲傷逆流成河》、《小時代1》分別發(fā)表于2003年、2005年、2007年和2008年;莊羽的《圈里圈外》、《遍地姻緣》、《此去經年》、《半張臉》分別發(fā)表于2003年、2005年、2008年和2009年。

3.相關實驗

3.1文本預處理

（1）中文分詞

分詞技術是文本分類的基礎。簡單地說，就是用分詞算法把文本切分成字、詞和短語。目前常用的分詞方法⑨⑩有：

A.基于詞表的分詞方法

又稱為基于字符串匹配的分詞方法。這是一種機械分詞方法，它依據(jù)一個分詞詞表及長詞優(yōu)先（即盡可能地用最長的詞來匹配句中的漢字串，從而使得切出來的詞盡可能長，詞的數(shù)量盡可能少）的原則來進行分詞。具體步驟是計算機按照一定的策略將待分析的漢字串與一個“充分大的”機器詞典中的詞條進行匹配，若在詞典中找到某個字符串，則匹配成功（識別出一個詞）。

B.基于統(tǒng)計的分詞方法

又稱為最大概率法。從形式上看，詞是穩(wěn)定的字的組合。相鄰的字同現(xiàn)的次數(shù)越多，就越有可能構成一個詞，因此字與字相鄰共現(xiàn)的概率能夠較好地反映成詞的可信度。這種分詞方法的具體步驟是首先切分出與詞表匹配的所有可能的詞，然后運用統(tǒng)計語言模型和決策算法決定最優(yōu)切分結果。主要的語言統(tǒng)計模型和決策算法有：互信息、N元文法模型、最大熵模型等。

C.基于理解的分詞方法

又稱為人工智能法。這種分詞方法是通過讓計算機模擬人對句子的理解，達到識別詞的效果。人工智能是對信息進行智能化處理的一種模式，主要有兩種處理方式：（1）基于心理學的符號處理方法。即希望模擬人腦的功能，構造推理網絡，經過符號轉換，從而可以進行解釋性處理，像專家系統(tǒng)。（2）基于生理學的模擬方法。即模擬人腦的神經系統(tǒng)機構的運作機制來實現(xiàn)一定的功能，像神經網絡系統(tǒng)。以上兩種思路也是近年來人工智能領域研究的熱點問題，應用到分詞方法上，產生了專家系統(tǒng)分詞法和神經網絡分詞法。？輥？輯？訛

（2）去停用詞

去停用詞就是按照停用詞表中的詞語將語料中對文本內容識別意義不大但出現(xiàn)頻率很高的詞、符號、標點及亂碼等去掉。在對文本分詞后，還要對其進行詞性標記。？輥？輰？訛通常一個句子可以由名詞、動詞、形容詞、代詞、副詞、介詞、冠詞、連詞等組成，其中最能表達文本意義的是名詞和動詞，但是其他詞性像副詞、連詞等的出現(xiàn)頻率也很高，如“很、的、而且”等詞幾乎出現(xiàn)在任何一篇中文文本中，但是他們對這個文本所表達的意思幾乎沒有任何貢獻，這類停用詞就需要被過濾掉。

3.2特征項選擇與權值計算

對整個文本集中的每一篇文本的詞項進行TF-IDF值計算，并將文本中各個詞項的TF-IDF值表示為一個向量，以此進行文本的相似度計算。這個文本向量是高維而且極度稀疏的，這一方面會導致分類算法的代價過高，另一方面也會影響文本類別信息的提取。根據(jù)信息論，IDF的值實際上是一個特定條件下詞項概率分布的交叉熵，而TF則是用來增加詞項的權重，以便更好地描述文本中詞項的信息特征。？輥？輱？訛因此，我們可以從每一篇文本中挑選若干重要詞項來表示文本。這樣就可以既保證文本特征的提取，又最大可能地減少文本特征向量表示的維度。比較常用的降維方法有文檔頻率、互信息、信息增益、期望交叉熵、卡方統(tǒng)計等？輥？輲？訛？輥？輳？訛本文將張保富等提出的改進的TF-IDF權重計算方法應用于特征項選擇中。具體做法是：利用公式1計算每一篇文本中的權值，然后對其進行降序排序，從高到低選擇權值比較大的2561個詞語作為特征項。

3.3文本相似度計算

由于特征項代表了一部作品中最重要的信息，因此文本的相似度就可以由特征項向量間的相似度來描述。

用VSM表示D1和D2兩個文本向量：

D1=D1（w11，w12，…w1n）

D2=D2（w21，w22，…w2n）

如果使用N維空間中兩個向量直接的距離來表示文本間的相似程度，設Sim（D1，D2）表示這種相似程度。一般使用向量間的內積，或兩向量夾角的余弦值來表示相似系數(shù)Sim（D1，D2）。

（1）向量間的內積公式：

Sim（D1，D2）=∑■■w■×w■

（2）向量夾角的余弦公式：

Sim（D1，D2）=cosθ=■

本次實驗采用了向量夾角的余弦公式來計算文本相似度。

4.結果與分析

（1）通過計算得到郭敬明作品之間的相似度如表1：

表1：郭敬明作品間的相似度

注：表中所有數(shù)據(jù)均四舍五入到小數(shù)點后兩位

觀察表1，我們可以發(fā)現(xiàn)郭敬明四部作品彼此之間的相似度差異比較大，只有《夏至未至1995-2005》與《小時代1》的寫作風格比較接近，相似度高達0.95，這說明其寫作風格變化比較大。深陷抄襲風波的《夢里花落知多少》與其他三部的相似度處于中間狀態(tài)。雖然它與《悲傷逆流成河》的相似度只有0.54，但并不能說明《夢里花落知多少》一書的寫作風格偏離郭敬明的創(chuàng)作風格。因為從表中可以看到《悲傷逆流成河》與其他作品的相似度也偏低，說明《悲傷逆流成河》一書的言語風格在郭敬明的作品中是比較獨特和另類的。正如部分讀者說的：“《悲傷逆流成河》不同于郭敬明其他作品，幽默和悲傷摻雜，其整體基調都是悲傷的?！蔽膶W作品中，作者一般用形容詞來表示人物的情感，可見這部作品和其他三部作品在形容詞的使用上差異較大。而在用計量方法研究郭敬明和莊羽的言語風格差異時，我分別統(tǒng)計了郭敬明和莊羽的代表作《夏至未至1995-2005》和《圈里圈外》的詞頻，發(fā)現(xiàn)形容詞在他們作品中的分布差異是比較明顯的。因此，與郭敬明其他作品相比，《悲傷逆流成河》一書并不具有代表性。

（2）通過計算得到莊羽作品之間的相似度如表2：

表2：莊羽作品間的相似度

注：表中所有數(shù)據(jù)均四舍五入到小數(shù)點后兩位

觀察表2可知，莊羽四部作品之間的相似性非常高，說明其寫作風格比較穩(wěn)定。這或許與她一直以北京為背景，以描述男女殘酷愛情為主要內容有關。其中《半張臉》與其他三部作品的相似度偏低，說明《半張臉》的寫作風格比較獨特和另類。對此，曾有讀者在豆瓣上評論“在莊羽的《半張臉》中，熟悉的京味臺詞不見了。”因此，與莊羽其他作品相比，《半張臉》不具有典型性。

（3）通過計算得到郭敬明和莊羽作品（去掉不具代表性的《悲傷逆流成河》和不具典型性的《半張臉》）之間的相似度如表3：

表3：郭敬明作品與莊羽作品之間的相似度

注：表中所有數(shù)據(jù)均四舍五入到小數(shù)點后兩位

觀察表3，我們看到郭敬明的《夢里花落知多少》和莊羽的《圈里圈外》、《遍地姻緣》、《此去經年》有著非常高的相似度。對比之下，《小時代1》和《夏至未至1995-2005》與莊羽作品的相似度就比較低。

綜合比較表1、表2和表3，可以發(fā)現(xiàn)，《夢里花落知多少》與莊羽的寫作風格非常接近，確實存在著抄襲的現(xiàn)象。

5.結語

TF-IDF作為一種簡單、直觀、處理速度快的文本特征選擇和加權方法，在文本相似度的計算中有著廣泛應用。本文利用結合信息熵的改進TF-IDF算法計算了《夢里花落知多少》和《圈里圈外》的相似度，發(fā)現(xiàn)二者的相似性非常高，確實存在抄襲現(xiàn)象?？梢姡怂惴ㄔ谂卸ㄗ髌烦u中是可行的，同時我們也發(fā)現(xiàn)了不少問題，在今后的研究中，我們還需在以下幾個方面繼續(xù)改進和努力：

（1）標注體系和工具對于統(tǒng)計結果的影響，語言風格在字、詞、句等語言結構和語法、語義、語用層面的全面描寫和計算是今后應該深入研究的課題。

（2）TF-IDF及其改進算法在識別同一作者的不同寫作風格、判斷某一作者作品的先后順序、推測文本的來源、判定文本年代、辨別文本真?zhèn)蔚阮I域的應用也值得我們進行更廣泛、更深入地研究。

（3）正如曾毅平等評價計量方法在漢語風格學中的應用“定性的方法適合于對作品氣氛格調的整體把握，對言語特征的統(tǒng)計則適合于對風格的美質說明?！?？輥？輴？訛一樣，TF-IDF及其改進算法也有一定的局限性，在具體應用時，我們要將內省體驗式的無形分析與有標記的數(shù)量分析相結合，建立一個科學的語言風格學體系。？輥？輵？訛

注釋：

①史彥軍，滕弘飛，金博.抄襲論文識別研究及進展[J].大連理工大學學報.2005，45（1）：50-57.

②MONOSTORI K，ZASLAVSKY A，SCHMIDT H.Document overlap detection system for distributed digital libraries[A].Proceedings of the ACM Digital Libraries 2000 [C].San Antonio，ACM Press，2000.226-227.

③WISE MJ. YAP3，Improved detection of similarities in computer programs and other texts[A].Proceedings of the SIGCSE96[C].Philadelphia，ACM Press，1996.130-134.

④施聰鶯，徐朝軍，楊曉江，TFIDF算法研究綜述[J].計算機應用.2009，29：167-170.

⑤Salton G，Clement T Y.On the Construction of Effective Vocabularies for Information Retrieval[C]//Proc. of 1973 Meeting on Programming Languages and Information Retrieval. New York，USA：ACM Press，1973.

⑥張玉芳，彭時名，呂佳.基于文本分類TFIDF方法的改進與應用[J].計算機工程，2006，32（19）：76-78.

⑦張保富，施化吉，馬素琴.基于TFIDF文本特征加權方法的改進研究[J].計算機應用與軟件，2011，28（2）：17-20.

⑧莊羽訴郭敬明侵犯著作權案北京市高級人民法院民事判決書（節(jié)選）

⑨何國斌，趙晶璐.漢語文本自動分詞算法的研究[J].計算機工程與應用，2010，46（3）：125-130.

⑩奉國和，鄭偉.國內中文自動分詞技術研究綜述[J].圖書情報工作，2011，55（2）：41-45.

？輥？輯？訛尹峰，林亞平.神徑網絡專家系統(tǒng)集成式漢語自動分詞技術[J].軟件世界，1996，（12）：89-93.

？輥？輰？訛本文應用了中科院計算所漢語詞法分析系統(tǒng)ICTCLAS進行中文分詞和詞性標注，同時運用了南京師范大學李斌的超大字符集詞頻統(tǒng)計軟件進行詞頻統(tǒng)計。

？輥？輱？訛黃承慧，印鑒，侯昉.一種結合詞項語義信息和TF-IDF方法的文本相似度量方法[J].計算機學報.2011，34（5）：856-864.

？輥？輲？訛王珍，維尼拉·木沙江.基于改進TF-IDF的文本特征選擇方法[J].現(xiàn)代計算機.2009，7：34-36.

？輥？輳？訛羅欣，夏德麟，晏蒲柳.基于詞頻差異的特征選取及改進的TF-IDF公式[J].計算機應用，2005，25（9）：2031-2033.

？輥？輴？訛曾毅平，朱曉文.計算方法在漢語風格學研究中的應用[J].福建師范大學學報：哲學社會科學版，2006（1）：14-17.

？輥？輵？訛丁金國.語言風格分析中的定性與定量[A].修辭學論文集（第四集）[C].福州：福建人民出版社，1987.

參考文獻：

[1]史彥軍，滕弘飛，金博.抄襲論文識別研究及進展[J].大連理工大學學報.2005，45（1）：50-57.

[2]MONOSTORI K，ZASLAVSKY A，SCHMIDT H.Document overlap detection system for distributed digital libraries[A].Proceedings of the ACM Digital Libraries 2000[C].San Antonio，ACM Press，2000.226-227.

[3]WISE MJ.YAP3， Improved detection of similarities in computer programs and other texts[A].Proceedings of the SIGCSE96[C].Philadelphia，ACM Press，1996.130-134.

[4]施聰鶯，徐朝軍，楊曉江，TFIDF算法研究綜述[J].計算機應用.2009，29：167-170.

[5]Salton G，Clement T Y.On the Construction of Effective Vocabularies for Information Retrieval[C]//Proc.of 1973 Meeting on Programming Languages and Information Retrieval.New York，USA：ACM Press，1973.

[6]張玉芳，彭時名，呂佳.基于文本分類TFIDF方法的改進與應用[J].計算機工程，2006，32（19）：76-78.

[7]張保富，施化吉，馬素琴.基于TFIDF文本特征加權方法的改進研究[J].計算機應用與軟件，2011，28（2）：17-20.

[8]何國斌，趙晶璐.漢語文本自動分詞算法的研究[J].計算機工程與應用，2010，46（3）：125-130.

[9]奉國和，鄭偉.國內中文自動分詞技術研究綜述[J].圖書情報工作，2011，55（2）：41-45.

[10]尹峰，林亞平.神徑網絡專家系統(tǒng)集成式漢語自動分詞技術[J].軟件世界，1996，（12）：89-93.

[11]黃承慧，印鑒，侯昉.一種結合詞項語義信息和TF-IDF方法的文本相似度量方法[J].計算機學報.2011，34（5）：856-864.

[12]王珍，維尼拉·木沙江.基于改進TF-IDF的文本特征選擇方法[J].現(xiàn)代計算機.2009，7：34-36.

[13]羅欣，夏德麟，晏蒲柳.基于詞頻差異的特征選取及改進的TF-IDF公式[J].計算機應用，2005，25（9）：2031-2033.

[14]曾毅平，朱曉文.計算方法在漢語風格學研究中的應用[J].福建師范大學學報：哲學社會科學版，2006（1）：14-17.

[15]丁金國.語言風格分析中的定性與定量[A].修辭學論文集（第四集）[C].福州：福建人民出版社，1987.