基于TF-IDF與word2vec的臺詞文本分類研究

但宇豪，黃繼風，楊 琳，高 海

（1.上海師范大學信息與機電工程學院，上海201418；2.上海計算機軟件技術開發(fā)中心，上海201112；3.上海高創(chuàng)電腦技術工程有限公司，上海200030）

1 相關研究

文本分類就是構造分類方法，并使用該方法將待分類文本分到預定類別中的某一類.假設待分類文本集合D 中有j個待分類文本，D={d1'd2'…'dj}，預定類別集合C 中有m 個待分類別，C={C1'C2'…'Cm}.分類器為D中的每個文本文件從C中選取一個可能性最大的分類作為其類別.

在文本分類問題中，常用的特征提取方法包括：詞頻-逆文本頻率（TF-IDF）、信息增益、χ2統(tǒng)計、互信息以及one-hot編碼等方法.由于與其他方法相比，詞頻-逆文本頻率（TF-IDF）算法分類效果較好，其還具有實現(xiàn)便捷且易于改進的優(yōu)點，本研究將其選作文本的特征提取方法.

考慮到待分類的健康節(jié)目臺詞文本包含一些長度較短的文本，為解決特征稀疏問題，需對這些文本進行特征擴展.胡朝舉等［1］使用Latent Dirichlet Allocation（LDA）模型提取文本主題，并將其作為擴展信息加入文本特征，實現(xiàn)特征擴展.但健康節(jié)目臺詞文本數(shù)據(jù)的語義信息較為分散，且部分樣本數(shù)據(jù)較為稀疏，因此LDA模型并不能很好地表達其特征.趙旭等［2］和蘇小康［3］通過引入外部語料庫的語義信息進行特征擴展.其中，蘇小康［3］所使用的維基百科中文語料庫中包含大量醫(yī)學及生活方面的語料內(nèi)容，與健康節(jié)目臺詞文本的主題一致.薛煒明等［4］采用word2vec 模型進行語義擴展，該方法將詞語映射到“緊湊”的向量空間中，不僅同時適用于長文本與短文本，還有助于緩解文本特征向量的稀疏性問題.

本文作者提出運用改進的詞頻-逆文本頻率（TF-IDF）算法及word2vec模型進行文本文件表示，并采用維基百科中文語料庫引入擴展的語義信息，實現(xiàn)對健康節(jié)目臺詞文本的有效分類.

2 相關算法及模型

文中所提到的詞語ti是某文本文件dj中的第i個詞，特征詞wi是語料庫中所有詞語ti所組成的并集中的第i個詞.特征詞wi之間互不相同，與某特征詞wi所對應的相同詞語可能在語料庫中多次出現(xiàn).

2.1 word2vec模型

word2vec 模型是現(xiàn)階段自然語言處理領域中用于生成詞向量的首選模型.MIKOLOV 等［5］簡化神經(jīng)網(wǎng)絡語言模型（NNLM）［6］結構后，提出了更高效的word2vec模型.該模型將詞語映射到一個實數(shù)向量空間，每個詞向量的長度為100～200維，克服了由詞袋模型生成的向量過長而造成的稀疏問題.此外，使用word2vec模型產(chǎn)生的詞向量不僅蘊含詞語本身的信息，其在向量空間中的位置還蘊含了相關詞語間的語義關系信息.詞偏移技術可通過對詞向量做相加減的方式實現(xiàn)對其語義的加減操作.由于采用word2vec 生成的兩個詞向量在向量空間中的距離越相近，所代表的詞語在語義上就越相似，可以通過計算余弦相似度或歐幾里得距離的方式計算兩個詞語的語義相似程度.本文作者采用Continuous Bagof-Words（CBOW）模型，將維基百科中文語料庫放入模型訓練，擴充模型的語義信息，從而獲得特定語義環(huán)境下各詞語的詞向量.

2.2 詞頻-逆文本頻率（TF-IDF）算法

TF-IDF 算法是一種統(tǒng)計方法，常被用來確定文本特征詞權重，已被廣泛用于文本分類領域.TF 代表詞頻，表示某特征詞在某文本文件中的出現(xiàn)次數(shù)，其定義為：

其中，nw是特征詞w在文本文件中的出現(xiàn)次數(shù)；N為該文本文件中特征詞的數(shù)量；TF為衡量特征詞在文本中重要程度的指標.

IDF代表逆向文件概率，其定義為：

其中，D 是所有文本文件的總數(shù)；Q 是包含特征詞的文本文件數(shù)量；IDF為衡量特征詞在所有文本文件中重要程度的指標.

將式（1），（2）相乘，可得文本特征詞權重

2.3 word2vec均值模型

word2vec均值模型是一種文本文件表示方法，用以表征文本文件內(nèi)容.word2vec均值模型將某文本文件中每一個詞語所對應的詞向量求和平均后，以此來表征文本文件內(nèi)容.假設詞t 的詞向量為fwtv(t)，則

其中，Vec(d)表示用以表征文本文件d的向量；n為d中所包含的詞語數(shù)量.

2.4 支持向量機（SVM）分類器

SVM 分類器是線性分類器中的一種，具有簡單高效的優(yōu)點.SVM 分類器將線性不可分的樣本通過核函數(shù)映射到高維空間，并最小化損失函數(shù)，找到最優(yōu)的分割平面，完成對樣本的分類.采用scikitlearn算法實現(xiàn)SVM分類器功能，采用高斯核作為核函數(shù)，采用hinge loss［7］作為損失函數(shù).

3 改進算法

TF-IDF 算法是常用的確定特征詞權重的方法，然而，對于監(jiān)督學習下的文本分類問題，已標記的語料庫中包含特征詞的重要程度信息，TF-IDF 算法并沒有將這些信息考慮在內(nèi)，因此，需要對原TFIDF算法進行改進.

3.1 含有信息熵的TF-IDF（TF-IDFE）算法

“信息熵”是量化衡量信息量的指標，用以衡量各特征詞的重要性，其表達式如下：

其中，pci是特征詞wi在屬于c 類的語料中出現(xiàn)的概率，可通過特征詞wi在某類語料中的出現(xiàn)次數(shù)c(wci)與其在所有類別語料中出現(xiàn)的總次數(shù)c(wi)的比值表示：

采用歸一化的方法得到特征詞wi的正則化信息熵項

其中，Emax=max(E(wi))；Emin=min(E(wi)).帶有信息熵的TF-IDF算法計算公式為：

3.2 含有信息熵及修正因子的TF-IDF（TF-IDFRE）算法

考慮到使用式（6）計算詞語信息熵時，算法傾向于“忽略”對樣本數(shù)較小的類別重要的特征詞，因此引入一個修正因子，平衡各類別中特征詞的重要性.引入的修正因子的表達式如下：

其中，c(wc)表示c 類樣本中的總詞語數(shù)；λ 是可調(diào)系數(shù).將此修正因子乘以原信息熵公式E(wi)可得修正后的信息熵公式：

將式（11）代入式（7），并在計算式（8）和（9）后將得到的向量再次置于SVM分類器訓練.

3.3 算法流程圖

從臺詞文本的分類角度考慮，根據(jù)健康節(jié)目內(nèi)容主題相關的人體器官部位對采集到的臺詞文本進行分類.所提出的方法先對維基百科中文語料庫、訓練集數(shù)據(jù)及測試集數(shù)據(jù)進行預處理，然后運用維基百科中文語料庫生成詞向量模型CBOW，并使用改進的TF-IDF 算法確定訓練集及測試集中的特征詞權重，通過相乘調(diào)整各詞向量在word2vec均值模型中所占有的權重，采用SVM分類器訓練數(shù)據(jù)，達到分類目的.算法流程圖如圖1所示.

圖1 算法流程圖

4 實驗及結果分析

4.1 模型性能評價指標

評價分類模型性能的通用指標為準確率（Precision）、召回率（Recall）及F值（F-Measure）.

準確率為被正確分類的樣本數(shù)（TP）與總樣本數(shù)的比值，其計算公式為：

其中，F(xiàn)P為實際不屬于該類卻被錯誤分入該類的樣本數(shù).

召回率為被正確分類的樣本數(shù)與實際屬于該類的樣本總數(shù)的比值，其計算公式為：

其中，F(xiàn)N為實際屬于該類卻未被正確分類的樣本數(shù).

F值是一種綜合考慮了上述兩種評價指標的混合評價指標，其計算公式為：

4.2 實驗設置

實驗部分所使用的計算機操作系統(tǒng)為Mac OS 10.14.6，處理器為Intel Core i7，內(nèi)存16 GB，編程環(huán)境為Python 3.7.3.

實驗所采用的數(shù)據(jù)集由網(wǎng)絡爬蟲軟件收集，對視頻進行錄音，并采用線上開源的語音轉(zhuǎn)換工具將錄音轉(zhuǎn)換為臺詞文本保存在本地.

實驗數(shù)據(jù)集共包含4 635期健康節(jié)目的臺詞文本，原始健康節(jié)目視頻的時長為5～50 min，轉(zhuǎn)換后，每個文本文件包含80～5 000 bit的臺詞文本.由于采用SVM 分類器的分類方法屬于監(jiān)督學習，通過人工標記的方法對采集得到的健康節(jié)目視頻所對應的臺詞文本進行標注.選取了5 個常見人體部位作為分類類別，并將不屬于這5個類別及包含多個類別的樣本作為“其他”類標記，如表1所示.

表1 分類名稱及樣本數(shù)量

數(shù)據(jù)預處理步驟如下：

（1）采用gensim 工具的wikicorpus 庫從原始格式為XML 的維基百科中文語料庫中提取語料文本，采用opencc軟件將語料庫中的繁體字轉(zhuǎn)換為簡體字.

（2）采用jieba 工具的“精確模式”對數(shù)據(jù)集及維基百科中文語料庫進行分詞，并去除其中的標點符號與停用詞.（3）利用維基百科中文語料庫訓練word2vec下的CBOW模型，詞向量維度設置為200.（4）按照4 ∶1的比例將數(shù)據(jù)集劃分為訓練集與測試集.

4.3 模型性能評估

模型性能評估部分展示了使用word2vec的均值、TF-IDF、TF-IDFE及TF-IDFRE算法的分類結果.表2展示了四個模型的平均結果，表3～6分別展示了各分類器在各類別上的詳細結果.

表2 采用各方法分類后的平均結果

從表2 可看出：使用TF-IDF 算法與均值算法相比，準確率提高了2.7%；采用TF-IDFE算法，準確率提升5%；采用TF-IDFRE算法，相比使用TF-IDF與均值算法，準確率分別提高了4.6%及7.3%.

表3 均值算法分類的實驗結果

觀察表3 可發(fā)現(xiàn)，在使用均值算法分類的情況下，C5類的準確率及召回率都遠低于其他類別，這是由于在沒有進行加權操作的情況下，樣本數(shù)小的類易被分類器“忽略”.

表4 TF-IDF算法分類的結果

通過對比表3，4可以發(fā)現(xiàn)，引入TF-IDF算法進行加權后，C5類的分類準確率提高了11.9%，召回率提高了3.7%，這表明加權操作對于抑制數(shù)據(jù)不平衡造成的不良影響有一定抑制效果.

表5 TF-IDFE算法分類的結果

通過對比表4，5可以發(fā)現(xiàn)，使用TF-IDFE算法與使用原始的TF-IDF算法相比，C5類的分類準確率提升了6%，召回率提升了4.9%.雖然兩項指標都有一定提升，但召回率為32.6%，依然較低，這說明具有小樣本數(shù)量的類別依然易被分類器“忽略”.

表6 TF-IDFRE算法分類的結果(λ=3)

比較表5，6 可以發(fā)現(xiàn)，與加入修正因子前比較，C5類的召回率提升了34.1%，總召回率提升了7.7%.這說明通過TF-IDFRE算法加權的word2vec 均值模型，可有效緩解各類別之間樣本數(shù)量及樣本間詞數(shù)的不平衡對分類準確率及召回率的不良影響.

實驗表明，TF-IDFRE算法的各項指標都優(yōu)于其他算法，可實現(xiàn)對健康節(jié)目臺詞文本的有效分類.

4.4 參數(shù)調(diào)節(jié)

通過改變λ 的取值，探究其與準確率之間的關系，如圖2 所示.隨著λ 取值的增大，平均準確率呈現(xiàn)先上升后下降的趨勢.當λ=3時，平均準確率為88.5%，達到最好.

圖2 取值與準確率關系圖

5 結 論

本文作者探索了健康節(jié)目臺詞文本的分類問題，在采用TF-IDF加權算法的word2vec均值模型上進行優(yōu)化，通過引入信息熵，提出了采用TF-IDFE加權算法的word2vec 均值模型，提高了分類準確性.在此基礎上加入修正因子，提出采用TF-IDFRE加權算法的word2vec均值模型，緩解各類別間樣本數(shù)量及樣本間詞數(shù)的不平衡對分類準確率及召回率所造成的不良影響.實驗表明，所提出的算法能實現(xiàn)對健康節(jié)目臺詞文本的有效分類.