一種基于改進(jìn)的TF-IDF和支持向量機(jī)的中文文本分類研究

郭太勇

（北京郵電大學(xué)網(wǎng)絡(luò)空間安全學(xué)院，北京 100876）

一種基于改進(jìn)的TF-IDF和支持向量機(jī)的中文文本分類研究

郭太勇

（北京郵電大學(xué)網(wǎng)絡(luò)空間安全學(xué)院，北京 100876）

TF-IDF是一種應(yīng)用在文本分類中常用的權(quán)值計算方法，傳統(tǒng)的TD-IDF單純考慮特征詞頻率以及包含特征詞的文本數(shù)量，并沒有很好的考慮特征詞在文本中的重要程度以及類內(nèi)分布均勻情況和類間分布離散的問題，可能會導(dǎo)致文本分類結(jié)果的偏差。本文引入卡方統(tǒng)計量CHI和特征詞在文本中的位置作為修正因子并結(jié)合傳統(tǒng)TF-IDF權(quán)值計算公式，很好的解決了特征詞在類間分布以及關(guān)鍵詞重要程度不足的問題，并應(yīng)用支持向量機(jī)構(gòu)建分類器，進(jìn)行文本分類的實(shí)驗(yàn)驗(yàn)證。改進(jìn)后的TF-IDF計算公式與傳統(tǒng)TF-IDF相比，在查準(zhǔn)率、查全率、F1測試值上都有一定程度的提升。

文本分類；TF-IDF；卡方統(tǒng)計量；支持向量機(jī)

0 引言

文本分類技術(shù)是信息檢測和數(shù)據(jù)挖掘技術(shù)的基礎(chǔ)，能夠幫助用戶從海量數(shù)據(jù)中獲得自己需要的有用內(nèi)容。它能夠按照預(yù)先定義的文本主題類別,為文本集合中的每個文本確定一個類別，對文本進(jìn)行準(zhǔn)確、高效的分類，是許多數(shù)據(jù)管理任務(wù)的重要組成部分。目前文本分類技術(shù)已經(jīng)廣泛應(yīng)用在搜索引擎、機(jī)器學(xué)習(xí)、信息過濾、數(shù)字圖書館、分類新聞組等領(lǐng)域。常見的文本分類算法有傳統(tǒng)的增強(qiáng)學(xué)習(xí)算法、K-近鄰算法[1]、樸素貝葉斯算法[2]、決策樹學(xué)習(xí)算法、支持向量機(jī)[3]和神經(jīng)網(wǎng)絡(luò)算法等。

TF-IDF權(quán)重方法是文本分類領(lǐng)域中應(yīng)用最為廣泛的一種特征權(quán)值方法，由Salton在1988年提出，在此基礎(chǔ)上，國內(nèi)外學(xué)者進(jìn)行了大量的改進(jìn)工作，主要的改進(jìn)集中在數(shù)據(jù)集偏斜、文本類內(nèi)類間分布情況。其中，F(xiàn)orman[4]將概率統(tǒng)計方法度量運(yùn)用于類別分布，并對IDF采用Bi-Nor-mal Separation計算方法。張玉芳[5]等提高了頻繁在某個類中頻繁出現(xiàn)的特征詞權(quán)重并結(jié)合遺傳算法進(jìn)行分類。臺德藝[6]等針對特征詞在類內(nèi)均勻出現(xiàn)和單一類別頻繁出現(xiàn)的情況提出了TF-IIDF-DIC算法。張瑾[7]引入了特征詞位置權(quán)值和詞跨度權(quán)值對TF-IDF進(jìn)行改進(jìn)。

B.C.How等提出了CTD（category term descriptor）來減輕數(shù)據(jù)集偏斜對分類效果的影響。但是這些改進(jìn)集中在對TF、IDF和類內(nèi)區(qū)分能力的改進(jìn)，并沒有很好的解決特征詞在類間分布的問題，而且存在著特征詞權(quán)值波動，關(guān)鍵詞區(qū)分能力不足等問題。

本文綜合考慮特征詞在類間的分布情況和特征詞在標(biāo)題中出現(xiàn)的情況，將卡方統(tǒng)計量CHI和特征詞在文本中的位置引入TF-IDF權(quán)值計算公式中進(jìn)行修正，使得不同的特征詞具有適合的特征權(quán)重，較好的解決了特征詞在類間分布的問題，并有效地提高了關(guān)鍵詞的類別區(qū)分度。

1 基于改進(jìn)TF-IDF的文本分類算法

1.1 傳統(tǒng)的TF-IDF

Step1：詞頻TF的計算

詞頻用TF表示，即特征詞在文檔中的出現(xiàn)的次數(shù)。一般來數(shù)在文檔中出現(xiàn)頻率高的特征詞有較大的權(quán)重，文檔中出現(xiàn)頻率低的特征詞有較小的權(quán)重。在文本di中特征詞tj的權(quán)重為wij，TF公式如下：

其中mj為特征詞tj在文本di中的頻數(shù)，Mi為文本中詞的總數(shù)。

Step2：逆文檔頻率IDF的計算

逆文檔頻率用IDF表示，一般認(rèn)為含有的某個特征詞的文檔篇數(shù)越多對應(yīng)的分類能力越差。因?yàn)橐恍┙樵~虛詞出現(xiàn)概率較大，但是其對分類影響不大，還有的詞在多個類別中出現(xiàn)，就不能代表某個單一的特定類別，它也對分類貢獻(xiàn)度不大。IDF公式如下：

其中N表示訓(xùn)練集中的文本總數(shù)，nj表示包含特征詞tj的文本數(shù)。

TF方法對高頻的特征詞具有比較好的識別性，但是有的高頻詞是對分類沒有幫助的常用詞，有的特征詞是低頻的能夠很好地代表文檔類別卻很有可能被忽略掉。IDF方法使得在大多數(shù)文檔中出現(xiàn)的特征詞的重要性降低，而能夠增強(qiáng)出現(xiàn)次數(shù)較少的特征詞的重要性。

Step3：對TF-IDF歸一化處理

文本集合中的文檔長度不一，為了避免TF-IDF偏向于長文本的狀況出現(xiàn)，將TF-IDF作歸一化標(biāo)準(zhǔn)處理，公式如下：

N代表在文本di中特征詞的個數(shù)，nj表示包含特征詞tj的文本數(shù)。

1.2 改進(jìn)的TF-IDF算法

傳統(tǒng)的TF-IDF主要考慮DF、IDF以及數(shù)據(jù)歸一化，但是對于特征詞在類別內(nèi)部和類別之間的分布情況沒有進(jìn)行有效處理。舉個例子來說，含有特征詞t的C類文檔總數(shù)為h，特征詞在其他類別的文檔總數(shù)為k,則特征詞在文本集中出現(xiàn)的總次數(shù)為h+k，當(dāng)h很大，k較小時，理論上t應(yīng)該能很好的代表C類文本，但是由傳統(tǒng)的TF-IDF公式可得，h越大，特征詞的IDF越小，則該特征項(xiàng)權(quán)值較小，說明區(qū)分能力很弱，顯然這與實(shí)際情況是不符的。

本文基于以上缺陷，考慮了特征詞在類間的分布情況，將卡方統(tǒng)計量CHI引入TF-IDF進(jìn)行修正。同時考慮到特征詞在文本中的位置也會對分類結(jié)果產(chǎn)生明顯的影響，標(biāo)題和文檔關(guān)鍵位置的特征詞應(yīng)當(dāng)具有更好的類別區(qū)分能力，本文考慮了特征詞在標(biāo)題中出現(xiàn)的情況，引入一個位置調(diào)節(jié)因子λ，引入的CHI和位置因子具體定義如下：

（1）卡方統(tǒng)計量CHI

特征選擇方法能夠降低文本向量空間的維度，簡化文本了文本模型，使得分類的效率和精度都有所提高。常用的特征選擇方法[8]有文檔頻率（DF）、信息增益（IG）、互信息（MI）和卡方統(tǒng)計量（CHI）等。

卡方統(tǒng)計量用來表示特征t和類別c之間的相關(guān)程度。特征詞的卡方統(tǒng)計量越大，該特征詞與類別的相關(guān)性越高，對類別的代表能力更強(qiáng)，特征詞應(yīng)當(dāng)具有更高的權(quán)重。

卡方統(tǒng)計量公式如下：

其中N為訓(xùn)練集中文檔的總數(shù)，ABCD如下表1所示：

表1 類別特征列聯(lián)表Tab.1 Class feature table

（2）特征詞位置因子λ

特征詞在同一篇文檔中的不同位置出現(xiàn)時，該特征詞的重要性也是不一樣的。在標(biāo)題中出現(xiàn)的特征詞很有可能直接區(qū)分出本文檔所屬的類別，此類的特征詞對文本具有很好的區(qū)分度，應(yīng)當(dāng)具有更高權(quán)重。本論文將針對標(biāo)題中出現(xiàn)的特證詞引入一個位置因子λ，λ是一個由大量實(shí)驗(yàn)得出的經(jīng)驗(yàn)系數(shù)，本文規(guī)定在標(biāo)題中出現(xiàn)的特征詞的λ數(shù)值為3。

（3）TF-IDF修正公式歸一化

實(shí)驗(yàn)訓(xùn)練集和測試集中的文檔長度不一，為了避免TF-IDF偏向于長文本的狀況出現(xiàn)，將TF-IDF作歸一化標(biāo)準(zhǔn)處理，同時為了避免特征詞權(quán)重過于不均衡，還將特征詞的CHI進(jìn)行了對數(shù)化處理：logCHI。

所以，改進(jìn)后的TF-IDF計算過程如下：

Step1：計算TF

Step2：計算IDF

Step3：計算卡方統(tǒng)計量CHI

Step4：標(biāo)題特征詞位置因子λ引入

Step5：對修正后的TF-IDF進(jìn)行歸一化處理

綜合以上考慮并結(jié)合原有的文檔頻率TF和逆文檔頻率IDF，本文改進(jìn)后的TF-IDF特征權(quán)重公式為：

1.3 文本分類算法

通過上面對TF-IDF算法的改進(jìn)，并使用SVM進(jìn)行了文本分類，本文改進(jìn)后的分類算法的具體實(shí)現(xiàn)流程為：

1）使用中文分詞系統(tǒng)對文本進(jìn)行預(yù)處理，并去除停用詞等；

2）通過對文本特征項(xiàng)進(jìn)行特征選擇，并使用改進(jìn)的TF-IDF權(quán)值計算公式計算特征項(xiàng)權(quán)值，將文本表示為特征向量的形式；

3）使用SVM分類器對訓(xùn)練集中的已知類別文本進(jìn)行學(xué)習(xí)；

4）使用學(xué)習(xí)后的SVM分類器對測試集合文本進(jìn)行分類。

其中中文分詞系統(tǒng)采用jieba分詞系統(tǒng)[9]，jieba分詞支持三種分詞的模式：精確模式、全模式和搜索引擎模式。其中精確模式能夠?qū)⒕渥幼罹_的切分開來，最適合做文本分類。結(jié)巴分詞支持多種語言組件，本文使用的版本是Python組件。

本文使用支持向量機(jī)（SVM）進(jìn)行文本分類實(shí)驗(yàn)，采用的是一套由臺灣大學(xué)林智仁（Chih-Jen Lin）教授在2001年開發(fā)的支持向量機(jī)的庫LibSVM[10]，能夠方便的進(jìn)行文本分類，而且LibSVM程序是開源的，容易做各種擴(kuò)展，并且程序較小，輸入?yún)?shù)少，使用靈活。

SVM分類結(jié)果的好壞與核函數(shù)的選擇有很大關(guān)系，目前主要有線性核函數(shù)、多項(xiàng)式核函數(shù)和徑向基核函數(shù)，本文采用的是徑向基核函數(shù)[11]Radial Basis Function）。

2 文本分類仿真實(shí)驗(yàn)

實(shí)驗(yàn)數(shù)據(jù)來源于搜狗實(shí)驗(yàn)室[12]文本分類語料庫，選取了軍事、體育、旅游、財經(jīng)、IT、房產(chǎn)、教育、娛樂八個類別各300篇文章共2400篇文檔組成訓(xùn)練集，然后選取以上八個類別各120篇共960篇文檔組成測試集， 訓(xùn)練文本集合測試文本集互不重合。

2.1 評價標(biāo)準(zhǔn)

對于優(yōu)化后的TF-IDF算法性能究竟如何，需要進(jìn)行實(shí)驗(yàn)來驗(yàn)證文本分類系統(tǒng)的性能。對于分類結(jié)果，國際上用通用的評估指標(biāo)[13]，分別是查準(zhǔn)率（Precision）、查全率（Recall）和F1測試值3項(xiàng)。本文采用以上三項(xiàng)指標(biāo)對改進(jìn)后的TF-IDF算法進(jìn)行評估。

表2 分類器判別列聯(lián)表Tab.2 Classifier discriminant contingency table

由表2可知，它們對應(yīng)的公式如下：

2.2 實(shí)驗(yàn)過程

文本分類主要步驟如下：

（1）對測試集和訓(xùn)練集的文本進(jìn)行中文分詞(jieba)處理，并去除停用詞；

（2）使用卡方統(tǒng)計量進(jìn)行特征選擇后，利用改進(jìn)后的TF-IDF計算特征權(quán)值，形成文本特征向量；

（3）將處理后測試集中的文本輸入svm分類器進(jìn)行訓(xùn)練；

（4）將訓(xùn)練集中的文本輸入訓(xùn)練后的svm分類器進(jìn)行預(yù)測。

3 實(shí)驗(yàn)結(jié)果分析

對數(shù)據(jù)集文本進(jìn)行TF-IDF權(quán)值計算后，部分特征詞的TF-IDF改進(jìn)前后對比如下表3所示：

表3 改進(jìn)前后TF-IDF對比Tab.3 Improvement before and after TF-IDF contrast

由上表可以看出改進(jìn)后的TF-IDF中“民族”“聯(lián)賽”“足協(xié)”等的權(quán)值變化較大，更能反映出類別的代表能力，“超市”“會計”等的權(quán)值變化較小，由此可以看出特征詞的權(quán)值經(jīng)過改進(jìn)后都有不同的變化，具有了更好的類別代表能力。

使用svm對處理后訓(xùn)練集的文本進(jìn)行學(xué)習(xí)，并使用測試集進(jìn)行測試后的實(shí)驗(yàn)結(jié)果如下表4和5所示，其中A為實(shí)際為該類且分類器判別為該類，B為實(shí)際為其他類但分類器判別為該類，C實(shí)際為該類但分類器判別為其他類文檔個數(shù)。

表4 傳統(tǒng)的TF-IDF文本分類結(jié)果Tab.4 Traditional TF-IDF text classification results

表5 改進(jìn)后的文本TF-IDF分類結(jié)果Tab.5 Improved TF-IDF text classification results

由表4和5可得，傳統(tǒng)的TF-IDF的平均查準(zhǔn)率、查全率和測試值分別為83.56%、83.74%、83.56% ，改進(jìn)后的TF-IDF的平均查準(zhǔn)率、查全率和測試值分別為85.76%、87.09%、86.40%，相比較而言，改進(jìn)后的算法分類效果均好于原算法。

為了更直觀的觀察兩種算法結(jié)果，查準(zhǔn)率、查全率和測試值的折線圖對比如下：

圖1 兩種方法查準(zhǔn)率對比圖Fig.1 Two methods of precision comparison chart

圖2 兩種方法查全率對比圖對比Fig.2 Two methods of Recall comparison chart

圖3 兩種方法F1值對比圖對比Fig.3 Two methods of F1-Measuremacro average value comparison chart

從圖1、2、3可以看出，改進(jìn)后TF-IDF算法在八個類別的查準(zhǔn)率、查全率、F1值上比傳統(tǒng)的TF-IDF有3%左右的提升，證明改進(jìn)后的TF-IDF算法在文本分類上的表現(xiàn)均好于傳統(tǒng)TF-IDF。

4 結(jié)語

本文著重研究點(diǎn)在TF-IDF算法的改進(jìn)，并針對傳統(tǒng)TF-IDF的不足，提出將特征選擇函數(shù)卡方統(tǒng)計量(CHI)和特征詞在文本中的位置因子引入TF-IDF，改進(jìn)后的TF-IDF使得特征詞有了更合適的權(quán)重，能夠更準(zhǔn)確地表示特征詞對于類別的區(qū)分度，使得整體的分類效果有一定的提升。

但是特征詞的權(quán)重受很多因素影響，卡方統(tǒng)計量主要考慮特征詞在文本中出現(xiàn)與否，比較偏向低頻詞，特征詞在文中不同的位置都應(yīng)有不同的權(quán)重，本文著重考慮在標(biāo)題中出現(xiàn)的，部分特征詞的多義性，特征詞在類內(nèi)出現(xiàn)的均勻與否以及在類間的分布情況都應(yīng)該被賦予不同的權(quán)重，以上這些情況都是下一階段重點(diǎn)研究的方向。

[1] 奉國和, 吳敬學(xué). KNN分類算法改進(jìn)研究進(jìn)展[J]. 圖書情報工作, 2012, (21): 97-100+118. FENG G H, WU J L.KNN, improved classification algorithm research progress of[J]. library and information service, 2012, (21): 97-100+118. (in Chinese)

[2] 鐘磊. 基于貝葉斯分類器的中文文本分類[J]. 電子技術(shù)與軟件工程, 2016, (22): 156. ZHONG L. Chinese text classification based on Bias classifier[J]. electronic technology and software engineering, 2016, (22): 156. (in Chinese)

[3] 李希鵬. 基于混合核函數(shù)支持向量機(jī)的文本分類研究[D].中國海洋大學(xué), 2012. LI X P. Research on text classification based on the hybrid kernel function support vector machine[D]. Ocean University of China, 2012. (in Chinese). FORMANG.BNS feature scaling: an improved representation over TF-IDF for SVM text classification[C]//Proceedings of the 17th ACM Conference on Information and Knowledge Management. USA, California: ACM, 2008: 263-270.

[4] 張玉芳, 彭時名, 呂佳. 基于文本分類TFIDF方法的改進(jìn)與應(yīng)用[J]. 計算機(jī)工程, 2006, (19): 76-78. ZHANG YF, PENG S M, LV J. Improvement and application of TFIDF method based on text categorization[J]. Computer Engineering, 2006, (19): 76-78. (in Chinese).

[5] 臺德藝, 王俊.文本分類特征權(quán)重改進(jìn)算法[J]. 計算機(jī)工程, 2010, (09): 197-199+202.

[6] TAI D Y, WANG J. Text classification feature weight algorithm[J]. Computer Engineering, 2010, (09): 197-199+ 202. (in Chinese).張瑾. 基于改進(jìn)TF-IDF算法的情報關(guān)鍵詞提取方法[J]. 情報雜志, 2014, (04): 153-155. ZHANG J. Methods[J]. Journal of information, information extraction of keywords based on improved TF-IDF algorithm 2014, (04): 153-155. (in Chinese).

[7] 楊杰明. 文本分類中文本表示模型和特征選擇算法研究[D]. 吉林大學(xué), 2013. YANG J M. Research on text representation model and feature selection algorithm in text categorization[D]. Jilin University, 2013. (in Chinese). jieba中文分詞系統(tǒng)[EB/OL]. https://github.com/fxsjy/jieba/.

[8] jieba Chinese word segmentation system https://github.com/ fxsjy/jieba/. [EB/OL]. (in Chinese)

[9] LIBSVM分類器[EB/OL]. http://www.csie.ntu.edu.tw/～cjlin/ libsvm/.

[10] LIBSVM classifier http://www.csie.ntu.edu.tw/～cjlin/libsvm/. [EB/OL]. (in Chinese).

[11] 黃翠玉. 文本自動分類研究——基于徑向基函數(shù)[J]. 情報科學(xué), 2013, (05): 67-71. HUANG C Y. Research on Automatic Text Categorization Based on radial basis function [J]. information science, 2013, (05): 67-71. (in Chinese)

[12] 搜狗實(shí)驗(yàn)室文本分類語料庫[EB/OL]. http://www.sogou. com/labs/resource/list_yuliao.php. Sogou laboratory text classification corpus [EB/OL]. Http://www.sogou.com/labs/ resource/list_yuliao.php. (in Chinese)

[13] 王靜. 基于機(jī)器學(xué)習(xí)的文本分類算法研究與應(yīng)用[D].電子科技大學(xué), 2015. Wang J. Research and application of text classification algorithm based on machine learning[D]. Electronic Science and Technology University, 2015. (in Chinese)

A Method Based on TF-IDF and Improved Support Vector Machine Research on Chinese Text Categorization

GUO Tai-yong
(School of CyberSpace Security, Beijing University of Posts and Telecommunications, Beijing 100876, China)

TF-IDF is a commonly used weight in text classification method, the traditional TD-IDF only consider the frequency characteristics of words and characteristic words contain the number of texts, and no distribution of discrete problems and uniform distribution considering the feature words good degree of importance in the text and in class, may lead to biased text the classification results. This paper introduces chi-square test CHI and statistic feature words in the text position as a correction factor and a formula for combining traditional TF-IDF weights and solves the problem of feature words in distribution between categories and keywords of degree, and the application of support vector machine classifier construction, experimental verification for text classification. The improved TF-IDF formula is compared with the traditional TF-IDF, have a certain degree of improvement in precision and recall, F1-Measuremacro average value.

Text Categorization; TF-IDF; Chi-Square statistics; Support Vector Machine

TP181

ADOI：10.3969/j.issn.1003-6970.2016.12.030

郭太勇(1988-)，男，碩士，網(wǎng)絡(luò)安全。

本文著錄格式：郭太勇. 一種基于改進(jìn)的TF-IDF和支持向量機(jī)的中文文本分類研究[J]. 軟件，2016，37（12）：141-145