利用深度置信網(wǎng)絡(luò)的中文短信分類

王貴新 鄭孝宗 張浩然 張小川

摘 要： 為了提高垃圾短信的過濾效果，通過對中文短信內(nèi)容和結(jié)構(gòu)特點(diǎn)分析，提出了一種充分利用word2vec工具將短信內(nèi)容轉(zhuǎn)化為固定長度向量的特征提取算法。同時(shí)設(shè)計(jì)了深度置信網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)和分類，實(shí)驗(yàn)表明其推廣性能比已有報(bào)道結(jié)果提高了5%左右。

關(guān)鍵詞： 深度置信網(wǎng)絡(luò)； 深度學(xué)習(xí)； 受限波爾茲曼機(jī)； 短信

中圖分類號(hào)： TN911?34； TP391 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2016）09?0037?04

Abstract： To improve the filtering effect of spam SMS， a feature extraction algorithm is proposed to convert SMS content into fixed length vector with word2vec tool by the analysis of Chinese SMS content and structure characteristics. The deep belief nets （DBN） were designed to learn and classify. The experimental results show that the generalization performance is increased by about 5% in comparison with the reported results.

Keywords： deep belief net； deep learning； restricted Boltzmann machine； SMS

0 引 言

每年移動(dòng)運(yùn)營商和國家都花費(fèi)了大量的人力和物力進(jìn)行垃圾短信治理，但公眾還是不滿意治理效果。目前移動(dòng)運(yùn)營商主要采用軟件過濾加人工干預(yù)的治理方式[1?3]。軟件過濾的算法原理主要有3類：有監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)和半監(jiān)督學(xué)習(xí)。單純的有監(jiān)督學(xué)習(xí)[4?10]和無監(jiān)督學(xué)習(xí)[11?12]在垃圾短信過濾過程中的效果還是值得肯定的[4?10]，但這些學(xué)習(xí)和過濾算法目前已經(jīng)不能適應(yīng)于市場和機(jī)器學(xué)習(xí)環(huán)境，特別是深度學(xué)習(xí)算法理論的完善和應(yīng)用發(fā)展為機(jī)器學(xué)習(xí)提供了廣闊空間[13]。

由于沒有公開的短信素材可以得到，利用以前所做項(xiàng)目收集的大約有300萬條短信作為實(shí)驗(yàn)樣本，該樣本沒有主、被叫號(hào)碼、短信時(shí)間等涉及個(gè)人隱私的信息。本文首先提出充分利用word2vec工具，將短信內(nèi)容轉(zhuǎn)化為固定長度向量的特征提取算法；然后設(shè)計(jì)了適合短信過濾的深度置信網(wǎng)絡(luò)對樣本進(jìn)行學(xué)習(xí)和分類。實(shí)驗(yàn)效果表明本文的方法是可行的，這為漢字內(nèi)容分類提供了一種途徑。

1 短信內(nèi)容向量化

按照有關(guān)規(guī)定，需要把短信內(nèi)容分為： 敏感政治信息、黃色信息、商業(yè)廣告信息、違法犯罪信息、詐騙信息、正常信息等6大類（本文分別用zp，ss，sy，sh，sp，qt字母組合表示類名）。分類結(jié)果除了正常信息外，其余信息需要過濾和提交不同部門處理。將短信表示成為向量的過程主要需要三個(gè)步驟：短信預(yù)處理，短信分詞，向量化。

1.1 預(yù)處理

預(yù)處理主要包括非正規(guī)字詞替換（不妨稱為短信內(nèi)容的正規(guī)化過程）。比如：“公$$司*開發(fā)@PIAO，酒折優(yōu)惠，歡迎撥打：I39XXXXXXXX”。短信需要根據(jù)系統(tǒng)的諧音庫、拼音庫、繁體庫等標(biāo)準(zhǔn)進(jìn)行內(nèi)容轉(zhuǎn)換。同時(shí)剔除內(nèi)容里面不相關(guān)的符號(hào)。結(jié)果這條短信就是“公司開發(fā)票，9折優(yōu)惠，歡迎撥打：139XXXXXXXX”。

假設(shè)所有的短信集合記為[S，]記正規(guī)化過程對應(yīng)的函數(shù)為[f1，]經(jīng)過正規(guī)化處理的短信集合記為[G，]上面的過程可表達(dá)為：[?s∈S，f1（s）∈G。]

1.2 分詞

本文采用中國科學(xué)院計(jì)算技術(shù)研究所ICTCLAS系統(tǒng)（網(wǎng)址：ictclas.nlpir.org）分詞。在分詞后，如果內(nèi)容包含有數(shù)字，需要按照下面要求處理：

價(jià)格數(shù)字、電話或聯(lián)系號(hào)碼數(shù)字、商品數(shù)字、日期時(shí)間數(shù)字、其他數(shù)字等數(shù)字內(nèi)容分別用AA，BB，CC，DD，NN替換。比如：“公司開發(fā)票，9折優(yōu)惠，歡迎撥打：139XXXXXXXX”，分詞的結(jié)果應(yīng)該是：“公司 開 發(fā)票 AA折 優(yōu)惠 歡迎 撥打 BB”。

1.3 向量化

谷歌推出了將詞語轉(zhuǎn)換成詞向量的工具word2vec （https：//code.google.com/p/word2vec/）。工具的主要原理是Bengio模型[14]的一個(gè)改進(jìn)和應(yīng)用，Bengio模型主要理論是：設(shè)句子[S]依次由一系列關(guān)鍵詞[w1，w2，…，wt]組成， [wi]向量化的過程如圖1所示。

短信內(nèi)容向量化算法過程描述如下：

（1） 每類按照一定比例取出大約21 280個(gè)訓(xùn)練樣本。然后將每個(gè)短信正規(guī)化。

（2） 按照1.2節(jié)中的方法把正規(guī)化的短信進(jìn)行分詞（每個(gè)詞語之間空格分隔），并形成如下的7個(gè)文本文件：rubbish.txt，所有樣本的分詞文件；zp.txt，ss.txt，sy.txt，sh.txt，sp.txt，qt.txt分別是敏感政治信息、黃色信息、商業(yè)廣告信息、違法犯罪信息、詐騙信息、正常信息等6大類訓(xùn)練樣本對應(yīng)的分詞文件。

（3） 對rubbish.txt，zp.txt，ss.txt，sy.txt，sh.txt，sp.txt，qt.txt，分別執(zhí)行word2vec指令（格式：word2vec ?train 分詞文件名 ?output 向量化結(jié)果文件名 ?cbow 0 ?size 5 ?window 10 ?negative 0 ?hs 1 ?sample 1e?3 ?threads 2 ?binary 0），分別得到向量化結(jié)果文件rubbish.out，zp.out，ss.out，sy.out，sh.out，sp.out，qt.out。