基于神經(jīng)網(wǎng)絡(luò)算法的新聞分類研究

宋文浩

（諸城市實(shí)驗(yàn)中學(xué)，山東濰坊，261000）

1 概述

神經(jīng)網(wǎng)絡(luò)的研究在機(jī)器學(xué)習(xí)中具有重要的意義。人工神經(jīng)網(wǎng)絡(luò)以其特有的優(yōu)越性，成為研究的熱點(diǎn)。神經(jīng)網(wǎng)絡(luò)的特點(diǎn)可以從三個(gè)方面來(lái)介紹：第一，人工神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)能力。對(duì)于圖像識(shí)別問(wèn)題，只需要將圖片及其對(duì)應(yīng)類別輸入神經(jīng)網(wǎng)絡(luò)，不需要構(gòu)造復(fù)雜的組合特征，神經(jīng)網(wǎng)絡(luò)可以通過(guò)強(qiáng)大的自學(xué)習(xí)能力捕捉特征之間的關(guān)聯(lián)，實(shí)現(xiàn)圖像識(shí)別功能。第二，人工神經(jīng)網(wǎng)絡(luò)的聯(lián)想存儲(chǔ)功能。第三，人工神經(jīng)網(wǎng)絡(luò)的高速優(yōu)化能力。對(duì)于機(jī)器學(xué)習(xí)問(wèn)題來(lái)說(shuō)，復(fù)雜度越高的問(wèn)題，尋找優(yōu)化解的計(jì)算量往往會(huì)越大。而設(shè)計(jì)好的反饋型人工神經(jīng)網(wǎng)絡(luò)，則能夠充分利用計(jì)算機(jī)高速運(yùn)算的能力，能夠大大縮短尋找優(yōu)化解的時(shí)間。

娛樂(lè)文章按體裁能分成七類：資訊熱點(diǎn)，電影電視劇報(bào)道評(píng)論，人物深扒，組圖盤(pán)點(diǎn)，明星寫(xiě)真，行業(yè)報(bào)道，機(jī)場(chǎng)圖。本文根據(jù)娛樂(lè)文章的文本信息構(gòu)建神經(jīng)網(wǎng)絡(luò)，將文章進(jìn)行多分類。

■1.1 數(shù)據(jù)集特征

娛樂(lè)新聞數(shù)據(jù)集包含了7個(gè)特征：

名詞 涵義 解釋資訊熱點(diǎn)普通資訊/即時(shí)熱點(diǎn)/回應(yīng)/聲明/快訊/突發(fā)/明星偷拍/明星評(píng)論1.重大娛樂(lè)事件，比如明星的生老病死等，先發(fā)簡(jiǎn)短的快訊；2.核心當(dāng)事人的發(fā)聲；3.常規(guī)的娛樂(lè)資訊、微博上的明星吃喝拉撒等日常；4.針對(duì)明星本人、明星事件或行為發(fā)表的觀點(diǎn)評(píng)論；5.娛樂(lè)狗仔偷拍的明星男女密會(huì)、私下行程等。1.電影前期宣傳及上映后的影視評(píng)論類；2.電視劇內(nèi)容宣傳評(píng)論，演員角色分析等3.綜藝欄目的宣傳介紹，嘉賓言行評(píng)論、看點(diǎn)指南等；4.音樂(lè)劇、音樂(lè)制作人、歌手唱片評(píng)論等內(nèi)容。人物深扒 人物深扒/人物專訪電影電視劇報(bào)道評(píng)論電影/電視/綜藝劇情分析報(bào)道/音樂(lè)評(píng)論1.深挖人物生平、不為人知的故事,與他人的關(guān)系類；2.聚焦影視劇作品或人物上，進(jìn)行單獨(dú)一對(duì)一的訪談?lì)?；組圖盤(pán)點(diǎn) 以圖片為主 根據(jù)一個(gè)線索進(jìn)行同類主題延伸，盤(pán)點(diǎn)類似的人、事、作品明星寫(xiě)真 明星寫(xiě)真/街拍 明星的宣傳硬照、高品質(zhì)的圖片行業(yè)報(bào)道 行業(yè)報(bào)道或分析對(duì)產(chǎn)業(yè)現(xiàn)狀分析、幕后揭秘、未來(lái)預(yù)測(cè)、公司相關(guān)且?guī)в忻黠@的行業(yè)觀察和前沿報(bào)道的內(nèi)容，側(cè)重于數(shù)據(jù)分析和圖標(biāo)展現(xiàn)機(jī)場(chǎng)圖 明星現(xiàn)身機(jī)場(chǎng) 明星現(xiàn)身機(jī)場(chǎng)的照片等

■1.2 數(shù)據(jù)集預(yù)處理

通常，在工程實(shí)踐中，拿到的實(shí)際數(shù)據(jù)往往存在以下問(wèn)題：數(shù)據(jù)缺失、數(shù)據(jù)重復(fù)、數(shù)據(jù)冗余等。這就要求我們?cè)趯?shù)據(jù)喂入模型開(kāi)始訓(xùn)練之前，針對(duì)現(xiàn)有數(shù)據(jù)存在的問(wèn)題進(jìn)行特定的處理，即數(shù)據(jù)預(yù)處理。數(shù)據(jù)預(yù)處理要具有針對(duì)性，對(duì)于不同類型的數(shù)據(jù)以及不同類型的數(shù)據(jù)問(wèn)題，采取的預(yù)處理方式也不同。我們的娛樂(lè)新聞數(shù)據(jù)集的預(yù)處理一共包含分詞，去停用詞和計(jì)算TF-IDF三個(gè)步驟。對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行整體分析，抽取出正文和標(biāo)簽部分作為輸入。對(duì)測(cè)試數(shù)據(jù)做相同處理，抽取出測(cè)試數(shù)據(jù)的真實(shí)標(biāo)簽和正文內(nèi)容。

1.2.1 去停用詞

停用詞包括標(biāo)點(diǎn)、數(shù)字、單字等對(duì)于分析文本內(nèi)容貢獻(xiàn)很小的詞語(yǔ)以及其它一些無(wú)意義的詞。這些詞（如“你我他”）往往無(wú)法表示文本的特征，對(duì)于模型的訓(xùn)練幫助不大，應(yīng)當(dāng)從文本中清除掉。本文用到的是哈工大的停用詞表。將文章中的詞與停用詞表中的詞作比較，如果在表中出現(xiàn)該詞，就將其刪除，如果沒(méi)有出現(xiàn)，就跳過(guò)。

1.2.2 分詞

文本分詞是文檔處理中的一個(gè)必不可少的操作，因?yàn)楹罄m(xù)的操作需要用文檔中的詞來(lái)表征這篇文檔的內(nèi)容。本文中對(duì)文本進(jìn)行分詞步驟如下：

（1）構(gòu)造詞典

（2）分詞操作

目前主要用來(lái)構(gòu)造詞典的方法是字典樹(shù)。分詞主要采用的有正/反/雙向最大匹配以及語(yǔ)言模型和最短路徑等算法。

我們使用的是結(jié)巴分詞程序包。

1.2.3 tf-idf指標(biāo)

tf-idf(term frequency-inverse document frequency)又稱之逆文檔頻率，是一種統(tǒng)計(jì)學(xué)上對(duì)詞出現(xiàn)的頻繁程度的一種量化指標(biāo)。用于衡量一個(gè)單詞在一篇文章中或者在一個(gè)大型的語(yǔ)料庫(kù)中的重要程度，詞語(yǔ)的重要性和詞語(yǔ)在一篇文檔中出現(xiàn)的次數(shù)有著正相關(guān)關(guān)系，但和整個(gè)語(yǔ)料庫(kù)中該次出現(xiàn)的頻率有著負(fù)相關(guān)關(guān)系。通俗地說(shuō)，就是一個(gè)詞在某篇文章中出現(xiàn)的次數(shù)越高，而在這一堆文章中的其他文章中出現(xiàn)越少，它就更能表征這篇文章的內(nèi)容。

詞頻（TF）指的是一個(gè)給定的詞語(yǔ)在某篇文章中出現(xiàn)的次數(shù)，為了防止文章過(guò)長(zhǎng)導(dǎo)致頻率偏向長(zhǎng)文章，這個(gè)出現(xiàn)的次數(shù)一般會(huì)采用某種算法進(jìn)行歸一化操作（通常采用該次出現(xiàn)的頻數(shù)/該篇文檔的總詞數(shù)）。TF（W）=在某一類中詞條W出現(xiàn)的次數(shù)除以該類中所有的詞條數(shù)目。

IDF的計(jì)算方法是由語(yǔ)料庫(kù)中文檔的總數(shù)除上出現(xiàn)該詞語(yǔ)的文檔數(shù)，將結(jié)果再取對(duì)數(shù)。IDF=log(語(yǔ)料庫(kù)的文檔總數(shù)除以包含詞條w的文檔數(shù)+1)，分母之所以要加1，是為了避免分母為0 IDF=log(語(yǔ)料庫(kù)的文檔總數(shù)包含詞條w的文檔數(shù)+1),分母之所以要加1，是為了避免分母為0。

最終輸入模型的即每篇文章的TF-IDF值。

■1.3 數(shù)據(jù)集劃分

為了模型的訓(xùn)練與模型的性能檢驗(yàn)，我們需要把數(shù)據(jù)集分為訓(xùn)練集和測(cè)試集兩部分。數(shù)據(jù)集共包含9000+訓(xùn)練數(shù)據(jù)，2000+測(cè)試數(shù)據(jù)。

2 構(gòu)建神經(jīng)網(wǎng)絡(luò)模型

■2.1 構(gòu)建神經(jīng)網(wǎng)絡(luò)模型

2.1.1 基本原理

神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)：一個(gè)經(jīng)典的神經(jīng)網(wǎng)絡(luò)包含三個(gè)層次。紅色的是輸入層，綠色的是輸出層，紫色的是中間層（也叫隱藏層）。輸入層有3個(gè)輸入單元，隱藏層有4個(gè)單元，輸出層有2個(gè)單元。如圖1所示。

圖1

神經(jīng)元結(jié)構(gòu)如圖2所示。

一個(gè)神經(jīng)元一般由輸入z和輸出a兩個(gè)函數(shù)組成。每個(gè)神經(jīng)元和其他的每個(gè)神經(jīng)元都具有一個(gè)連接權(quán)重，它們各自的權(quán)重通常是一些隨機(jī)值。對(duì)于一個(gè)神經(jīng)元，將所有對(duì)應(yīng)的權(quán)重和上一層的輸出a相乘，然后，把這些值相加。然后運(yùn)用激活函數(shù)對(duì)這個(gè)值進(jìn)行非線性變換，這個(gè)激活函數(shù)的輸出成為這個(gè)神經(jīng)元的最后的輸出。Z=n0＊w0+n1w1+n2w2+b.激活函數(shù)常用sigmoid函數(shù)：sigmoid函數(shù)的輸出介于0～1之間，它是人工神經(jīng)網(wǎng)絡(luò)中比較常用的一種激活函數(shù)。

圖2

神經(jīng)網(wǎng)絡(luò)（感知機(jī)）算法：訓(xùn)練的目的是求出最適權(quán)重（即W）與最適b。為描述預(yù)測(cè)模型的準(zhǔn)確度，在此引入了損失函數(shù)。求最優(yōu)解的的過(guò)程就是求損失函數(shù)最小的過(guò)程。公式如下：

2.1.2 前向傳播算法

神經(jīng)網(wǎng)絡(luò)的前向傳播算法，在神經(jīng)網(wǎng)絡(luò)中，下一層的輸入是通過(guò)上一層結(jié)點(diǎn)進(jìn)行卷積運(yùn)算（加權(quán)運(yùn)算），并且加上bias偏置項(xiàng)，最后再通過(guò)一個(gè)非線性函數(shù)進(jìn)行非線性變換而得到。這里的非線性函數(shù)也就是激活函數(shù)，常見(jiàn)的激活函數(shù)包括ReLu， sigmoid等。這里得到的結(jié)果就是本層結(jié)點(diǎn)的輸出，也是下一層的輸入。重復(fù)以上過(guò)程，進(jìn)行一層層的運(yùn)算，直到網(wǎng)絡(luò)最后一層，得到輸出層結(jié)果。

不管維度多高，前向傳播每層進(jìn)行的計(jì)算過(guò)程都可以用如下公式表示：

上述公式中，l表示網(wǎng)絡(luò)層數(shù)，＊表示向量運(yùn)算，W為權(quán)重，b為偏置，σ表示激活函數(shù)。本文采取ReLu作為激活函數(shù)。

2.1.3 反向傳播算法

網(wǎng)絡(luò)初始訓(xùn)練時(shí)采用的隨機(jī)初始權(quán)重得到的輸出結(jié)果和實(shí)際值之間肯定存在很大的偏差，因此，需要更新網(wǎng)絡(luò)中每一層的權(quán)重值，優(yōu)化網(wǎng)絡(luò)的預(yù)測(cè)準(zhǔn)確率，此時(shí)需要使用反向傳播算法。

假設(shè)前向傳播算法計(jì)算得到的輸出值為yk，yk表示輸出層輸出的對(duì)第k個(gè)結(jié)果的預(yù)測(cè)，而第k個(gè)結(jié)果的真實(shí)值記為tk，定義損失函數(shù)如下：

反向傳播算法也就是采用梯度下降的方法對(duì)參數(shù)W和偏置b進(jìn)行迭代優(yōu)化，再梯度下降過(guò)程中需要計(jì)算誤差函數(shù)分別對(duì)網(wǎng)絡(luò)中每一層的參數(shù)W和b的偏導(dǎo)數(shù)。從而找到梯度下降最快的方向（即損失函數(shù)下降最快的方向），從而優(yōu)化算法模型。

神經(jīng)網(wǎng)絡(luò)是根據(jù)網(wǎng)絡(luò)深度進(jìn)行劃分，工作原理主要包括前向傳播和反向傳播。通常的神經(jīng)網(wǎng)絡(luò)包括輸入層，隱藏層，和輸出層。隱藏層的深度往往遠(yuǎn)遠(yuǎn)大于1。我們通過(guò)輸入特征，進(jìn)行前向傳播，然后計(jì)算出輸出誤差（真實(shí)值和計(jì)算值之間的誤差）。反向傳播算法的目的即通過(guò)得到的輸出誤差，不斷的迭代，從而更新網(wǎng)絡(luò)的權(quán)重，不斷的減小訓(xùn)練誤差，達(dá)到最小化模型誤差的目的。從而提高網(wǎng)絡(luò)預(yù)測(cè)的準(zhǔn)確率和泛化能力。

2.1.4 過(guò)擬合問(wèn)題

過(guò)擬合，就是擬合函數(shù)需要顧忌每一個(gè)點(diǎn)，對(duì)訓(xùn)練模型的一些噪音或者離群點(diǎn)也做出了擬合，最終形成的擬合函數(shù)對(duì)測(cè)試集數(shù)據(jù)擬合的有所欠缺，導(dǎo)致預(yù)測(cè)結(jié)果波動(dòng)很大?？梢院苊黠@地看到，模型在訓(xùn)練集上效果很好，但是在測(cè)試集上效果很差。這會(huì)導(dǎo)致模型泛化能力弱，達(dá)不到預(yù)期的結(jié)果。針對(duì)神經(jīng)網(wǎng)絡(luò)的過(guò)擬合問(wèn)題，通常采用隨機(jī)失活部分神經(jīng)元（dropout）的方法進(jìn)行解決。即，簡(jiǎn)化了神經(jīng)網(wǎng)絡(luò)的模型，避免模型過(guò)于復(fù)雜而導(dǎo)致過(guò)擬合問(wèn)題。本文中的模型也采用了dropout方法來(lái)降低過(guò)擬合。

■2.2 模型的特點(diǎn)分析

構(gòu)建了結(jié)構(gòu)為：64個(gè)神經(jīng)元的Dense層->0.2Dropout層->7個(gè)神經(jīng)元的Dense層的神經(jīng)網(wǎng)絡(luò)，采用SGD算法，設(shè)置了10個(gè)epoch，batch size為128。在訓(xùn)練集上達(dá)到80.89%的準(zhǔn)確率，在測(cè)試集上達(dá)到了73.27%的準(zhǔn)確率，如圖3所示。

圖3

3 結(jié)語(yǔ)

本項(xiàng)目根據(jù)具體的娛樂(lè)新聞分類數(shù)據(jù)，在該數(shù)據(jù)上探索了神經(jīng)網(wǎng)絡(luò)算法。構(gòu)建了結(jié)構(gòu)為：64個(gè)神經(jīng)元的Dense層->0.2Dropout層->7個(gè)神經(jīng)元的Dense層的神經(jīng)網(wǎng)絡(luò)，采用SGD算法，設(shè)置了10個(gè)epoch，batch size為128。在訓(xùn)練集上達(dá)到80.89%的準(zhǔn)確率，在測(cè)試集上達(dá)到了73.27%的準(zhǔn)確率。表現(xiàn)出了神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法的優(yōu)異性。