基于CNN-BLSTM 的化妝品違法違規(guī)行為分類模型

胡康，何思宇，左敏，葛偉

（1.中國食品藥品檢定研究院 信息中心,北京 102629;2.北京工商大學(xué) 農(nóng)產(chǎn)品質(zhì)量安全追溯技術(shù)及應(yīng)用國家工程實(shí)驗(yàn)室,北京 100048）

為了規(guī)范化妝品生產(chǎn)經(jīng)營活動(dòng)，加強(qiáng)對(duì)化妝品市場的監(jiān)督管理工作，使得化妝品質(zhì)量和消費(fèi)者健康都能得到有效保障，促進(jìn)化妝品產(chǎn)業(yè)的健康蓬勃發(fā)展，化妝品安全監(jiān)管部門在日常工作中會(huì)采取預(yù)防、保護(hù)、監(jiān)管等一系列保障措施，防止化妝品相關(guān)安全事故發(fā)生，保障人民群眾的安全與權(quán)益。根據(jù)近幾年國家化妝品監(jiān)督抽檢結(jié)果發(fā)現(xiàn)，染發(fā)類化妝品不合格率偏高，這為化妝品安全監(jiān)管帶來了新的難題和挑戰(zhàn)。為進(jìn)一步保障公眾用妝安全，加強(qiáng)化妝品安全風(fēng)險(xiǎn)評(píng)估，化妝品安全監(jiān)管亟需對(duì)違法違規(guī)行為進(jìn)行自動(dòng)識(shí)別及分類。因此，研究利用智能化手段輔助相關(guān)監(jiān)管部門監(jiān)督管理化妝品市場，以確?；瘖y品安全得到有效監(jiān)管具有重大意義。本研究建立了針對(duì)化妝品安全領(lǐng)域的文本語義分類模型，能夠有效提高監(jiān)管部門監(jiān)管效率及質(zhì)量。

文本分類是自然語言處理（natural language processing,NLP）的一個(gè)重要且實(shí)用的研究方向。在深度學(xué)習(xí)興起之前，傳統(tǒng)機(jī)器學(xué)習(xí)方法被應(yīng)用在文本分類領(lǐng)域，如樸素貝葉斯模型[1]與SVM(support vector machines) 模型[2]。然而傳統(tǒng)機(jī)器學(xué)習(xí)模型依賴人工語料標(biāo)注，不僅耗費(fèi)大量人力物力，而且文本特征提取結(jié)果也不盡如人意。

近年來隨著深度學(xué)習(xí)、云計(jì)算、人工智能等技術(shù)的發(fā)展，深度神經(jīng)網(wǎng)絡(luò)在各個(gè)領(lǐng)域?qū)崿F(xiàn)應(yīng)用并取得了較好的成果[3-5]。在NLP 領(lǐng)域，基于大規(guī)模語料的情況下，多層次的網(wǎng)絡(luò)模型實(shí)現(xiàn)了自動(dòng)挖掘文本特征信息，深度神經(jīng)網(wǎng)絡(luò)成為了NLP 領(lǐng)域的關(guān)鍵技術(shù)之一，其在文本語義分類任務(wù)中也取得了良好的效果。

針對(duì)文本語義分類問題，目前深度神經(jīng)網(wǎng)絡(luò)表現(xiàn)出更好的分類性能[6]，因此本文采用基于深度神經(jīng)網(wǎng)絡(luò)的方法構(gòu)建分類模型。

1 相關(guān)工作

深度學(xué)習(xí)方法通過數(shù)據(jù)來自動(dòng)學(xué)習(xí)文本特征，替代了傳統(tǒng)人工選取特征的過程，將特征選取轉(zhuǎn)化為通用的學(xué)習(xí)過程，避免了傳統(tǒng)人工選取特征存在的主觀性和偶然性。Kim[7]提出將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于文本分類任務(wù)，降低了文本特征提取的難度，提升了分類精度，但 CNN 僅能學(xué)習(xí)文本的局部特征，無法考慮詞的上下文含義。Mikolov 等[8]將文本分類應(yīng)用于循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN），其實(shí)驗(yàn)證明了RNN 網(wǎng)絡(luò)能夠在文本分類中取得良好的分類效果，并且表現(xiàn)出充分學(xué)習(xí)文本上下文信息的能力；Socher等[9-10]分別在2012 年和2013 年發(fā)表了他們?cè)赗NN 方面開展的相關(guān)工作，從詞開始通過樹形結(jié)構(gòu)逐步合成各短語，乃至整句語義，該方法被證實(shí)在構(gòu)建句子級(jí)語義時(shí)較為有效。但隨著輸入的增多，RNN 存在梯度消失和梯度爆炸問題。Hochreiter 等[11]利用門機(jī)制克服傳統(tǒng)RNN 模型缺點(diǎn)，建立長短時(shí)記憶網(wǎng)絡(luò)（long short-term memory,LSTM）模型；Liu 等[12]將LSTM 應(yīng)用到文本分類中；Alkhodair 等[13]訓(xùn)練了一個(gè)LSTM 模型，對(duì)謠言文本進(jìn)行分類。

值得注意的是，近年來注意力機(jī)制在NLP 領(lǐng)域取得了廣泛的應(yīng)用。Bahdanau 等[14]做出了最早的嘗試，將attention 機(jī)制與RNN 結(jié)合應(yīng)用于機(jī)器翻譯任務(wù)；Yin 等[15]介紹了CNN 和attention 的3 種結(jié)合方式；Zhou 等[16]將attention 機(jī)制與雙向長短時(shí)記憶網(wǎng)絡(luò)（bidirectional long short-term memory,BLSTM）結(jié)合應(yīng)用在文本分類中，以獲取句子中最重要的語義信息，然而對(duì)于內(nèi)部位置語義等重要信息仍然沒有進(jìn)行很好的學(xué)習(xí)和處理。

此外，在文本語義分類中，關(guān)于字符級(jí)和詞語級(jí)兩種嵌入粒度是否對(duì)分類效果有影響，不少研究者對(duì)此進(jìn)行了研究。目前，常見的詞語級(jí)別文本表示方法有布爾模型（Boolean model）、向量空間模型（vector space model，VSM）[17]、嵌入向量模型。嵌入向量模型的目的是將高維詞向量嵌入到低維空間，降低文本特征的稀疏性，減少訓(xùn)練資源浪費(fèi)，并且能夠考慮詞的上下文信息來進(jìn)行計(jì)算。常用的嵌入向量模型主要有Word2vec 模型[18]和Glove 模型[19]。Kim 等[20]提出了一種通過字符級(jí)CNN 提取文本語義信息的模型，劉龍飛等[21]證明了字符級(jí)特征表示在中文文本處理中的優(yōu)越性。

本文針對(duì)化妝品安全監(jiān)管領(lǐng)域，建立了一種基于融合位置感知注意力機(jī)制的BLSTM 網(wǎng)絡(luò)與CNN 網(wǎng)絡(luò)的字詞雙維度語義分類模型，使用中文字向量和詞向量分別作為雙路模型的輸入，采用CNN 模型訓(xùn)練字向量，在引入位置注意力機(jī)制的BLSTM 網(wǎng)絡(luò)模型中訓(xùn)練詞向量，最后結(jié)合雙路網(wǎng)絡(luò)的特征提取結(jié)果對(duì)文本進(jìn)行分類。該模型充分利用BLSTM 的特性，從詞向量級(jí)別挖掘化妝品抽樣檢查建議（下文稱檢查建議）文本的語義特征，并結(jié)合使用位置注意力機(jī)制進(jìn)行Attention Value的計(jì)算，使化妝品安全領(lǐng)域的領(lǐng)域詞匯在整個(gè)檢查建議的語義表達(dá)中能夠起到?jīng)Q定性作用。同時(shí)，CNN 網(wǎng)絡(luò)能夠從字向量級(jí)別對(duì)文本語義進(jìn)行進(jìn)一步挖掘，避免了由于文本語義特征提取不全面而損失文本分類精度的情況發(fā)生，有效提高了文本語義分類效果。

2 字詞雙維度識(shí)別模型

為進(jìn)一步提高文本語義分類準(zhǔn)確性，本文提出一種字詞雙維度模型，能夠從字、詞級(jí)別提取檢查建議中提到的違法違規(guī)行為語義特征，進(jìn)一步豐富文本重要語義特征輸入，結(jié)合兩種級(jí)別的特征向量，得到最終的分類結(jié)果。CNN-BLSTM模型結(jié)構(gòu)如圖1 所示。

圖1 CNN-BLSTM 模型結(jié)構(gòu)Fig.1 CNN-BLSTM model structure

模型在化妝品安全檢查建議語料的字和詞維度上使用字嵌入和詞嵌入，分別生成字向量和詞向量，其中字向量作為CNN 網(wǎng)絡(luò)輸入，詞向量作為BLSTM 網(wǎng)絡(luò)輸入。

在圖1 中，其左半部分為CNN 網(wǎng)絡(luò)模型。字向量通過輸入層輸入，經(jīng)由CNN 網(wǎng)絡(luò)的卷積層、池化層和全連接層計(jì)算，最后得到字符級(jí)別文本特征表示。在圖1 的右半部分網(wǎng)絡(luò)模型中，首先模型通過結(jié)合領(lǐng)域詞庫判斷領(lǐng)域關(guān)鍵詞語義角色和位置，生成基于位置感知的注意力。經(jīng)過詞嵌入生成詞向量輸入BLSTM 模型，將詞向量參與中間隱藏層的計(jì)算，之后模型輸出隱藏層向量并在注意力機(jī)制的影響下得到文本語義特征。在得到字詞雙維度文本特征輸出后，將兩路輸出通過連接層進(jìn)行連接，最后通過SoftMax 層進(jìn)行分類，得到最終分類結(jié)果。

2.1 文本向量化

1）語料存在問題

化妝品違法違規(guī)行為檢查建議語料存在因人為填寫而不可避免地產(chǎn)生口語化及表達(dá)差異化問題，屬于非結(jié)構(gòu)化、非標(biāo)準(zhǔn)化語料。且檢查建議中包括化妝品安全領(lǐng)域?qū)I(yè)詞匯、化妝品安全相關(guān)法律法規(guī)名稱等，具有較強(qiáng)的領(lǐng)域性。語料結(jié)構(gòu)性弱、領(lǐng)域性強(qiáng)，因此向量化難度較大。

2）語料處理思路

針對(duì)語料結(jié)構(gòu)性弱問題，本文采用兩種不同的向量作為輸入，其中一個(gè)輸入通過獲取文本字符級(jí)別向量，能夠有效避免因?yàn)榉墙Y(jié)構(gòu)化、非標(biāo)準(zhǔn)化帶來的文本語料特征提取困難。再結(jié)合詞向量級(jí)別特征提取，避免重要文本語義特征丟失，豐富文本語義特征表示。在生成字向量前，需要將數(shù)據(jù)集中所有字符進(jìn)行提取，構(gòu)成字符庫，并按照字符出現(xiàn)頻率進(jìn)行排序，以便下一步字向量的生成。

針對(duì)語料領(lǐng)域性強(qiáng)問題，本文首先進(jìn)了語料擴(kuò)充，即在一個(gè)公共語料庫的基礎(chǔ)上，增加化妝品領(lǐng)域相關(guān)的百度百科語料，并網(wǎng)絡(luò)爬蟲得到領(lǐng)域詞匯、新聞等語料，訓(xùn)練詞向量模型。在每隔一段時(shí)間積累了一定的檢察建議語料時(shí)，利用增量訓(xùn)練的方式更新詞向量模型，使其能適應(yīng)最新語料的語義關(guān)系，及時(shí)更新詞匯的向量表示，得到更好的文本向量，提高文本向量化水平，為算法的性能提升打下基礎(chǔ)。

3）語料向量化

將檢查建議文本分別按詞語級(jí)別和字符級(jí)別進(jìn)行分詞處理后，需要進(jìn)一步將其向量化表示以作為神經(jīng)網(wǎng)絡(luò)輸入，用于后續(xù)訓(xùn)練分類模型。本研究使用word2vec 進(jìn)行文本向量化，提取文本語義特征。

2.2 CNN-PA-BLSTM 模型闡述

2.2.1 CNN 網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)作為一個(gè)多層前饋神經(jīng)網(wǎng)絡(luò)，通常在全連接層前面包含卷積層和池化層，卷積層和池化層的個(gè)數(shù)可能是一個(gè)或多個(gè)。每個(gè)卷積層由一組神經(jīng)元組成，每個(gè)神經(jīng)元都可學(xué)習(xí)權(quán)重和偏差，卷積運(yùn)算旨在提取輸入的不同特征，多層的網(wǎng)絡(luò)能夠從大量樣本中通過提取、迭代特征，自動(dòng)學(xué)習(xí)獲得復(fù)雜、高維、非線性映射的文本特征。

1）輸入層

在文本分類任務(wù)中，將文本進(jìn)行向量化，作為CNN 模型的輸入。

2）卷積層

卷積層是由一系列卷積單元（也稱卷積核，filter）組成，通過反向傳播算法訓(xùn)練得到每個(gè)卷積單元的參數(shù)。卷積層能夠提取輸入的不同局部特征，原因是每個(gè)神經(jīng)元的輸入并非與前一層全連接，而是與其局部接收域相連，因此提取到的是該局部的特征。針對(duì)化妝品檢查建議數(shù)據(jù)集特點(diǎn)，本文共設(shè)置了幾種不同尺寸的卷積核，并且確定了適合的滑動(dòng)步長（stride），以保證提取出的語義特征更全面。另外，為避免特征矩陣中間區(qū)域與邊緣區(qū)域提取次數(shù)不同的問題，本研究采取在邊緣區(qū)域填充空值的操作來避免邊緣區(qū)域特征提取少，還能夠使得卷積輸出與輸入維度一致，提高程序可維護(hù)性和泛化性。

假設(shè)卷積層輸入維度Win=lin×din，其中l(wèi)in為輸入的長度，din為輸入的寬度。那么，輸出維度的計(jì)算如下：

由式(1)～(3)可知，Wout=Win。

3）池化層

卷積層輸出的特征維度通常較高，會(huì)造成較大運(yùn)算壓力，解決這一問題的方法是通過池化層對(duì)卷積層輸出進(jìn)行特征壓縮。本文選擇使用最大池化作為池化方式，最大池化即在過濾器滑動(dòng)到一個(gè)區(qū)域時(shí)，選擇使用區(qū)域內(nèi)最大值作為該區(qū)域表示。過濾器大小為2×2，滑動(dòng)步長設(shè)置為2。原特征矩陣經(jīng)過最大池化處理后被壓縮為原來大小的四分之一，因此池化操作能夠在盡可能保持最顯著特征的前提下有效提高計(jì)算效率。

4）全連接層

全連接層接收經(jīng)過卷積和池化操作后得到的一系列局部特征，將其通過權(quán)值矩陣重新整合成為完整的特征信息。

2.2.2 BLSTM 網(wǎng)絡(luò)

LSTM 使用輸入門、遺忘門和輸出門機(jī)制，解決了傳統(tǒng)RNN 模型在輸入序列信息過長時(shí)產(chǎn)生的梯度消失和梯度爆炸問題，圖2 給出了LSTM的一個(gè)神經(jīng)元結(jié)構(gòu)。

圖2 LSTM 神經(jīng)單元結(jié)構(gòu)Fig.2 LSTM neural unit structure

忽略其內(nèi)部細(xì)節(jié)，每個(gè)神經(jīng)元都有3 個(gè)輸入與3 個(gè)輸出，Xt是該時(shí)刻新加入的信息，at?1與Ct?1是上文信息的表示。對(duì)于經(jīng)過一個(gè)LSTM 神經(jīng)單元處理后，Ct攜帶的信息經(jīng)過輸出門限會(huì)含有更多當(dāng)前時(shí)刻的信息，因此得到的at相對(duì)于Ct可以說是具有短期記憶的，而相對(duì)來說Ct則是具有長期記憶的，將它們統(tǒng)稱為長短時(shí)記憶網(wǎng)絡(luò)。式(4)～(9)為LSTM 的計(jì)算過程：

式中：i表示輸入門；f表示遺忘門；o表示輸出門；

前向傳播隱藏層計(jì)算公式為

后向傳播隱藏層計(jì)算公式為

兩層輸出合并得到輸出，可表示為

式中：W1、W2、W3分別表示輸入層到隱藏層、隱藏層神經(jīng)元間和隱藏層到輸出層的權(quán)重矩陣；bf、bb、by分別表示各層計(jì)算時(shí)的偏差向量。

為了突出領(lǐng)域關(guān)鍵詞在句中的作用，本文將位置注意力機(jī)制引入BLSTM 網(wǎng)絡(luò)中，對(duì)其輸出進(jìn)行微調(diào)。

2.2.3 attention 機(jī)制

注意力機(jī)制最早應(yīng)用在視覺圖像領(lǐng)域，用來模擬人類視覺聚焦，在重要信息點(diǎn)加注更多注意力，而相對(duì)忽略不重要信息的機(jī)制。隨著深度學(xué)習(xí)的發(fā)展，自然語言處理領(lǐng)域也越來越多地進(jìn)行W表示對(duì)應(yīng)權(quán)重；b表示相應(yīng)偏置。

BLSTM 本質(zhì)上是由前向LSTM 與后向LSTM組合而成，通過兩層相反方向的數(shù)據(jù)流對(duì)數(shù)據(jù)進(jìn)行處理，從而對(duì)文本歷史信息和未來信息進(jìn)行兼顧。BLSTM 結(jié)構(gòu)如圖3 所示。它的兩個(gè)并行神經(jīng)元分別從前向和后向兩個(gè)方向處理輸入序列信息，最終將兩層輸出進(jìn)行拼接，作為BLSTM 隱藏層的輸出。了基于注意力機(jī)制的網(wǎng)絡(luò)模型應(yīng)用實(shí)現(xiàn)。

圖3 BLSTM 結(jié)構(gòu)Fig.3 BLSTM structure

在文本分類任務(wù)中，最終分類結(jié)果會(huì)受到文本中的每個(gè)詞所帶來的不同影響，而對(duì)關(guān)鍵詞加大關(guān)注力度能夠在文本語義表示上更充分發(fā)揮關(guān)鍵詞作用。同時(shí)，上下文信息能夠在一定程度上增強(qiáng)字詞的語義表示。因此，針對(duì)本文中化妝品抽樣檢查建議的語義分類問題，應(yīng)考慮到化妝品安全領(lǐng)域關(guān)鍵詞及其臨近詞對(duì)于文本語義表示有著不可忽視的作用。因此本文根據(jù)領(lǐng)域詞庫定位關(guān)鍵詞位置，讓模型學(xué)習(xí)到更多的位置信息，在模型中引入基于位置的注意力機(jī)制，具體結(jié)構(gòu)圖4。

圖4 位置注意力機(jī)制Fig.4 Positional attention mechanism

本文假設(shè)領(lǐng)域關(guān)鍵詞的影響力在隱層維度特定距離上是遵循高斯分布的。首先，定義影響的基礎(chǔ)矩陣為K，其每一列表示與特定距離對(duì)應(yīng)的影響基礎(chǔ)矢量。K的定義為

式中：K(i,u)代表第i維中關(guān)鍵詞距離為u的相應(yīng)影響；N代表符合G(u)值的期望和標(biāo)準(zhǔn)差 σ的正態(tài)分布。G(u)是高斯核函數(shù)，用來模擬基于位置感知的影響傳播，其定義為

當(dāng)u=0時(shí)，即表示當(dāng)前詞是一個(gè)化妝品領(lǐng)域關(guān)鍵詞，此時(shí)其得到的傳播影響力為最大，并且隨著距離的增加，傳播影響力會(huì)逐漸減小。

計(jì)算某位置上的詞語的位置感知影響力向量，需要結(jié)合所有關(guān)鍵詞的累積影響，并利用影響力基礎(chǔ)矩陣K，得到特定位置下關(guān)鍵詞的影響力向量：

式中：pj代表了詞語在j位置上的累積影響力向量；cj代表一個(gè)距離計(jì)數(shù)向量，具體可表述為對(duì)于在j位置詞語，距離為u的所有關(guān)鍵詞計(jì)數(shù)。cj(u)的計(jì)算公式為

式中：Q為一條化妝品抽樣檢測文本中所包含的全部關(guān)鍵詞集合，q∈Q；pos(w)為關(guān)鍵詞w在句中位置的集合；[·]是指標(biāo)功能，當(dāng)滿足條件時(shí)取值為1，不滿足時(shí)則取值為0。

對(duì)于化妝品在檢查建議中詞語處于j位置時(shí)的注意力計(jì)算方法為

式中：hj是j位置詞語的隱層向量；pj是累積的位置感知影響力向量；a(·)用于在基于隱層向量和位置感知影響力向量的影響下測量詞的重要性。a(·)的具體形式為

式中：m為一句化妝品檢查建議中詞向量個(gè)數(shù)；WH、Wp代表hj、pj的權(quán)重矩陣；b1代表第一層參數(shù)的偏置向量；?(·)=max(0,x)為ReLU 函數(shù)；v是全局向量；b2代表第二層參數(shù)的偏置向量。最終的Attention Value 根據(jù)各位置詞語的權(quán)重，加權(quán)計(jì)算句中所有隱層向量所得，其中l(wèi)en為句子長度：

2.2.4 連接輸出層

語料經(jīng)CNN 與BLSTM 雙路神經(jīng)網(wǎng)絡(luò)處理輸出后，在連接層合并文本特征信息，然后輸入分類器進(jìn)行分類。本文選擇使用SoftMax 作為損失函數(shù)，輸出分類結(jié)果。此外，本文設(shè)置一定概率的Dropout 來避免過擬合問題的發(fā)生，即在模型訓(xùn)練過程中對(duì)隱含層的部分權(quán)重或輸出進(jìn)行隨機(jī)歸零操作，從而使得各節(jié)點(diǎn)間的相互依賴程度降低，提高模型泛化性。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 實(shí)驗(yàn)準(zhǔn)備

本文數(shù)據(jù)集來自化妝品監(jiān)管部門針對(duì)化妝品安全相關(guān)違法違規(guī)行為的抽樣數(shù)據(jù)集，為監(jiān)管部門每次對(duì)化妝品售賣商家實(shí)行監(jiān)管檢查后，根據(jù)檢查結(jié)果所填寫的違法違規(guī)行為及改正建議。抽樣檢測數(shù)據(jù)集共包含10 000 條數(shù)據(jù)，主要分為無問題、功效問題、與產(chǎn)品描述不一致、不良反應(yīng)、味道不好、不是正品、包裝問題、物流問題、價(jià)格問題、容量不合理十大類檢查建議，結(jié)果由5 折交叉驗(yàn)證得到。

將數(shù)據(jù)集按照8∶2 的比例劃分為訓(xùn)練集和測試集用于模型的訓(xùn)練及驗(yàn)證。對(duì)于實(shí)驗(yàn)使用的相關(guān)指標(biāo)部分，本文采用了準(zhǔn)確率、召回率和F1值作為實(shí)驗(yàn)結(jié)果的評(píng)判標(biāo)準(zhǔn)。

準(zhǔn)確率計(jì)算公式為

召回率的計(jì)算公式為

式中：TP代表一個(gè)模型在實(shí)際預(yù)測中將正類預(yù)測為正類的數(shù)量；FP代表其在實(shí)際預(yù)測中將正類預(yù)測為負(fù)類的數(shù)量。

因?yàn)闇?zhǔn)確率和召回率往往在其中一個(gè)取得較高值時(shí)，另一個(gè)就會(huì)相對(duì)較低，即當(dāng)P高時(shí)R往往相對(duì)較低，當(dāng)R高時(shí)P往往相對(duì)較低。所以為了更均衡地對(duì)模型的綜合性能進(jìn)行評(píng)價(jià)，一般使用F1-Score(F1分?jǐn)?shù))作為評(píng)價(jià)標(biāo)準(zhǔn)：

在實(shí)驗(yàn)的參數(shù)設(shè)置方面，CNN 使用的是12 層768 維的隱藏層，BLSTM 模型使用128 維的隱層維度。

3.2 實(shí)驗(yàn)結(jié)果分析

表1 的實(shí)驗(yàn)結(jié)果顯示，在化妝品安全抽樣檢測語料中，常規(guī)的CNN 網(wǎng)絡(luò)模型的精確度表現(xiàn)良好，但是在召回率上表現(xiàn)稍次，因此本文在CNN的基礎(chǔ)上，對(duì)CNN 模型引入了注意力機(jī)制，其精確度、召回率和F1都得到了一定的提升。由第3 個(gè)模型和第1 個(gè)模型實(shí)驗(yàn)結(jié)果對(duì)比可以看出，對(duì)于句子整體的語義而言，CNN 模型對(duì)比BLSTM模型來說學(xué)習(xí)機(jī)制依然有所欠缺。并且在BLSTM中加入注意力機(jī)制后，其精確度、召回率和F1值都得到了較大程度的提升。在一系列的實(shí)驗(yàn)中，本文提出的CNN-BLSTM 模型在精確度、召回率和F1值都取得了最優(yōu)表現(xiàn)，且與前幾種常用模型相比，實(shí)驗(yàn)結(jié)果提升非常明顯。

表1 實(shí)驗(yàn)結(jié)果對(duì)比Table 1 Comparison of the experimental results

4 結(jié)束語

本文根據(jù)化妝品安全監(jiān)管部門的現(xiàn)實(shí)需要，提出了面向化妝品安全的字詞雙維度違法違規(guī)行為語義分類模型。模型使用字、詞兩個(gè)嵌入級(jí)別的特征表示，并結(jié)合位置感知注意力機(jī)制，以實(shí)現(xiàn)自動(dòng)判別抽樣檢測數(shù)據(jù)中的違法違規(guī)行為。實(shí)驗(yàn)表明，本文模型表現(xiàn)出了良好的特征提取和分類性能，相較于實(shí)驗(yàn)中幾種常用的神經(jīng)網(wǎng)絡(luò)模型取得了更好的結(jié)果。

未來的工作將繼續(xù)優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)、尋找更優(yōu)的參數(shù)設(shè)置和提升模型訓(xùn)練效率，以期實(shí)現(xiàn)對(duì)現(xiàn)有模型的進(jìn)一步優(yōu)化與改進(jìn)。