基于語義分析的文本相似檢索模型研究

黃麗娟

（北海職業(yè)學(xué)院電子信息工程系 廣西壯族自治區(qū)北海市 536100）

1 研究內(nèi)容及研究方法

研究內(nèi)容：深度神經(jīng)網(wǎng)絡(luò)的損失函數(shù)對模型訓(xùn)練的過度擬合有顯著影響。為了使情感二元分類模型更有效地擬合預(yù)測誤差樣本，本文借鑒了合頁損失函數(shù)和三元損失函數(shù)的思想，優(yōu)化了BILSTM 和CNN 模型中的交叉熵損失函數(shù)，設(shè)計了BO-BI-LSTM 和BO-CNN 模型。

研究方法：優(yōu)化損失函數(shù)，損失函數(shù)進行優(yōu)化用交叉熵損失函數(shù)。公式如下所示：

其中ytrue 是實際輸出，ypred 是期望值。選擇閾值M 并引入單位階躍函數(shù)θ(χ)：所以，考慮新的損失函數(shù)：

如果正樣本的輸出大于M，則不更新模型，反之則更新；負樣本小于1-M，則不更新模型，反之則更新。得出結(jié)論：如果負樣本的輸出小于1-M，則不更新模型。據(jù)此，基于新的損失函數(shù)Lnew的基礎(chǔ)上，對BI-LSTM 模型和CNN 模型的損失函數(shù)進行了優(yōu)化，設(shè)計了BO-BI-LSTM 和BO-CNN 模型。

2 主要研究結(jié)果

2.1 實驗裝置

2.1.1 實行環(huán)境

環(huán)境配置：操作系統(tǒng)：Windows 10（64 位）；

CPU：Intel? Core(TM) i5-8250u,1.8GHz；

內(nèi)存：8G；

硬盤：2T；

編程語言：Java11.02；

深層神經(jīng)網(wǎng)絡(luò)框架：keras2.0；

詞矢量訓(xùn)練工具：word2vec；

分詞工具：Jieba。

2.1.2 英語知識庫

包含5 萬條劇評數(shù)據(jù)，其中正評數(shù)據(jù)2.5 萬條，負評數(shù)據(jù)2.5萬條。中文知識庫：包括產(chǎn)品評論數(shù)據(jù)信息，如圖2-1所示，包括六個方面的評論數(shù)據(jù)，其中文字數(shù)據(jù)2 萬多條，其中正評數(shù)據(jù)1 萬多條，負評數(shù)據(jù)1 萬多條。

2.1.3 文本預(yù)處理

文本預(yù)處理包括文本分割、去死字、詞頻統(tǒng)計、文本矢量化等操作。本實驗選用word2vec 框架來構(gòu)造詞矢量。

2.1.4 超級參數(shù)配置

圖1

圖2

圖3

在神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練過程中，超級參數(shù)要進行調(diào)整，模型的超級參數(shù)配置如下：Batchsize：批量訓(xùn)練樣本數(shù)；Hiddendam：隱藏層節(jié)點；Embeddingdam：詞矢量維數(shù)；Filters：過濾器尺寸；Kernelsize：卷積核數(shù)；Maxfeatures：最大特征數(shù)；Epoch：模型迭代。

2.2 BO-BI-LSTM和BO-CNN模型的結(jié)果分析

2.2.1 優(yōu)化參數(shù)

設(shè)計了四組參數(shù)優(yōu)化實驗。

（1）閾值M 的選擇；選取閾值M 分別為0.5 到1.0，依次遞增0.1。精度先增大后減小。當M=0.6 時，均為最大值。當M 值由0.5 變?yōu)?.6 時，兩個模型的精度變化最大；丟失率先減小后增大。當M=0.6 時，兩者均為最小值?；谏鲜鰧嶒灲Y(jié)果，兩種模型的閾值M 為0.6。

（2）損失函數(shù)對模型的影響：使用Binary-Optimize 損失函數(shù)后的BO-BI-LSTM 模型的精度最高。使用標準交叉熵損失函數(shù)的BI-LSTM 模型精度高于其他函數(shù)。基于以上實驗結(jié)果證明了本文優(yōu)化損失函數(shù)的有效性。

（3）詞矢量維數(shù)選擇：當字向量維數(shù)為100 時，BO-BI-LSTM模型的精度最高，丟失率最低。當BO-CNN 模型的詞矢量維數(shù)為50 維時，精度最高，丟失率最小。

（4）Dropout 選擇：本實驗將Dropout 值從0.1 增加到0.5，當Dropout 設(shè)為0.2 時，BO-BI-LSTM 模型的精度最高，丟失率最低，耗時最少。當Dropout為0.2時，CNN-BO模型的精度最高，耗時最少。當Dropout 為0.3 時，丟失率最低。

通過對上述參數(shù)優(yōu)化實驗的分析和討論，得出本模型的超級參數(shù)選擇。

2.2.2 結(jié)果分析

為了驗證兩個模型的有效性，在中英文兩種知識庫和基準模型上進行了實驗。

2.2.2.1 精度分析

從圖1 得實驗結(jié)果：

（1）不同知識庫的實驗結(jié)果存在一定差異。中文中BI-LSTM和BO-BI-LSTM 模型的精度分別比英文高5.98%和5.70%；中文中CNN 和CNN-BO 模型的精度分別比英文高0.36%和0.12%。

（2）從圖2-6 可以看出，BO-CNN 模型在中英文知識庫中的精度最高；BO-BI-LSTM 模型在中英文知識庫中的精度分別比BILSTM 模型高1.41%和1.13%；BO-CNN 模型在中英文知識庫中的精度分別比CNN 模型高0.52%和0.28%。

（3）訓(xùn)練集中的四個模型的精度隨著迭代次數(shù)的增加而增加，最終趨于穩(wěn)定。然而，在測試集中，隨著迭代次數(shù)的增加，精度的變化趨勢相對平緩且波動較大，特別是在BI-LSTM 和CNN 模型中。本研究結(jié)果表明，BO-BI-LSTM 和BO-CNN 模型能夠更有效地擬合錯誤的預(yù)測樣本，有助于防止過度擬合現(xiàn)象，提高情感傾向分析任務(wù)的精度。

2.2.2.2 丟失率分析

從圖2 得實驗結(jié)果：

（1）四種模型的丟失率隨迭代次數(shù)的增加而降低，經(jīng)過10 次迭代后趨于平穩(wěn)。但是，每個模型在測試集中的丟失率變化很大，BI-LSTM 和CNN 模型在測試集中波動較大，總體丟失率呈上升趨勢；BO-BI-LSTM 和CNN-BO 模型在測試集中隨著迭代次數(shù)的增加而緩慢下降，最終趨于平穩(wěn)。

（2）可以看出，在英語知識庫中，每個模型的丟失率在第二次迭代后都有很大的變化，經(jīng)過10 次迭代后，BO-BI-LSTM 和BO-CNN 模型的丟失率分別比BI-LSTM 和CNN 模型低。分析結(jié)果表明，優(yōu)化后的損失函數(shù)使模型在多次迭代后具有更好的泛化能力和更低的丟失率。

2.2.2.3 時間性能分析

從圖3 中可以看出，當正樣本的預(yù)測值大于M，或負樣本的預(yù)測值小于1-M 時，BO-BI-LSTM 和BO-CNN 模型不更新，而將重點放在預(yù)測不準確的樣本上，以減少時間消耗。

3 此項研究的科學(xué)意義和應(yīng)用前景；學(xué)術(shù)界的反映和引用

3.1 科學(xué)意義

情感檢索分析在主題推理、輿情監(jiān)控、評論分析和決策等領(lǐng)域得到了廣泛的應(yīng)用，具有很高的商業(yè)和社會價值。情感分析還應(yīng)用于其他自然語言處理任務(wù)，如機器翻譯，以判斷輸入文本的情感，選擇更準確的情感表達進行翻譯，提高系統(tǒng)的準確性。有利于各行各業(yè)的蓬勃發(fā)展。為人工智能領(lǐng)域的研究提供了堅實的基礎(chǔ)，為全球智能化建設(shè)提供了強有力的理論和實踐支持。

3.2 應(yīng)用前景

隨著人工智能的飛速發(fā)展，基于語義的文本情感檢索模型得到了越來越廣泛的應(yīng)用，主要表現(xiàn)在以下幾個方面。

（1）金融行業(yè)應(yīng)用：金融交易和金融分析決策，進行后臺風險防控和監(jiān)管。

（2）政府行業(yè)應(yīng)用：信息全程跟蹤分析，形成對形勢影響范圍、公眾反應(yīng)、負面影響和理論內(nèi)容等的分析報告。

（3）客戶服務(wù)行業(yè)應(yīng)用：解決簡單重復(fù)的工作，支持業(yè)務(wù)類別的自動分類和語義處理，提供了更加智能化的高效的新人工智能體驗。

（4）商業(yè)應(yīng)用：為生產(chǎn)者和消費者提供網(wǎng)絡(luò)評價報告。

3.3 學(xué)術(shù)界的反映和引用

情感檢索模型的研究一直是學(xué)術(shù)界和工業(yè)界研究的熱點。目前，國內(nèi)外在該領(lǐng)域的探索性的研究較多。例如，斯坦福大學(xué)的基于智能概念的信息檢索引擎；利用醫(yī)學(xué)語料庫和雙語詞典建立概念網(wǎng)絡(luò)；中國科學(xué)院生成概念空間，實現(xiàn)基于概念空間的擴展檢索；北京郵電大學(xué)手工創(chuàng)建了一個語義網(wǎng)絡(luò)；中國科學(xué)技術(shù)大學(xué)和中國科學(xué)院計算技術(shù)研究所聯(lián)合研究開發(fā)的基于概念語義空間的聯(lián)想檢索系統(tǒng)；微軟新一代人工智能開放最新的人工智能技術(shù)和知識庫，如微軟機器閱讀理解，微軟研究院社交媒體對話語料庫、18K 數(shù)學(xué)文本測試集等。微軟亞洲研究院的語義分析知識庫。

4 完成情況及存在問題

4.1 完成情況

（1）總結(jié)了相關(guān)理論。

（2）對BI-LSTM 和CNN 模型的交叉熵損失函數(shù)進行了優(yōu)化，提出了BO-BI-LSTM 和BO-CNN 模型。通過中英文知識庫參數(shù)優(yōu)化實驗和對比分析實驗，驗證了BO-BI-LSTM 和BO-CNN 模型在一定程度上提高了情感分析的精度，大大降低了丟失率，防止了過度擬合現(xiàn)象。

4.2 存在問題

在實驗過程中，我們?nèi)匀话l(fā)現(xiàn)了一些問題和許多不足：

（1）在文本預(yù)處理技術(shù)可以增加短語矢量或句子矢量的表達。

（2）本文采用正負兩種情緒分類方法來比較，情緒強度的不足。后期可以對細粒度問題進行深入研究。

（3）提出的兩個模型的性能有了很大的提高，但由于時間的限制，只對一些參數(shù)進行了優(yōu)化實驗，今后可對其他參數(shù)進一步優(yōu)化，提高模型的性能。