融合圖卷積神經(jīng)網(wǎng)絡(luò)和BiGRU-TextCNN的罪名預(yù)測模型*

江操 安德智 馬雪潔

甘肅政法大學(xué) 甘肅 蘭州 730000

引言

隨著人工智能的發(fā)展和司法信息化體系的構(gòu)建，將人工智能引入到司法領(lǐng)域成為近年來研究熱點。自2013年以來，中國司法部門通過互聯(lián)網(wǎng)向公眾開放了一系列裁判文件，以期通過社會的力量獲得輔助法律判決預(yù)測的新方法。法律判決預(yù)測一般包括多類子任務(wù):罪名預(yù)測、法條預(yù)測和刑期預(yù)測等[1]。本文主要關(guān)注于罪名預(yù)測任務(wù)，以刑事案件為研究對象，主要目標(biāo)是基于刑事法律文書中的案情描述和事實部分，使模型能夠準(zhǔn)確預(yù)測案件所涉及的罪名。具有較大的應(yīng)用價值[2]。

本文提出了一種融合了圖卷積神經(jīng)網(wǎng)絡(luò)[3]和BiGRUTextCNN的罪名預(yù)測系統(tǒng)模型。本文利用訓(xùn)練好的詞向量將文本序列化后輸入到BiGRU-CNN模型中，提取到案情描述的特征，依此進行分類得到對測試集樣本的各標(biāo)簽的分數(shù)。再將文本數(shù)據(jù)轉(zhuǎn)化成結(jié)構(gòu)化數(shù)據(jù)輸入到GCN模型中，同樣對測試集樣本各標(biāo)簽進行評分，最后將二者的分數(shù)相加，取最高分作為最后的預(yù)測結(jié)果。

1 相關(guān)工作

1.1 數(shù)據(jù)預(yù)處理

對于BiGRU-CNN模型預(yù)測部分，需要對數(shù)據(jù)進行分詞、去除停用詞、構(gòu)建詞典、文本序列化。完成以上操作后即可輸入到BiGRU-CNN模型中，而GCN模型只能處理結(jié)構(gòu)化數(shù)據(jù)，因此對于案情描述文本需要將其轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)，把每一條案情描述轉(zhuǎn)變成圖數(shù)據(jù)的鄰接矩陣的形式，首先對分詞去停用詞后的案情描述進行詞頻統(tǒng)計如表1。

表1 部分詞頻統(tǒng)計表

選取出現(xiàn)最多的前一千個詞，并根據(jù)這一千個詞排列順序，對分詞去停用詞后的案情描述進行替換，將每一條文字描述替換成相應(yīng)的數(shù)字序列，流程如圖1。

圖1 文本轉(zhuǎn)換流程圖

這些序列中的每一個數(shù)字視為圖結(jié)構(gòu)中的點。本文需要依據(jù)數(shù)字序列構(gòu)建包含文本結(jié)構(gòu)信息的鄰接矩陣。為了建立點與點之間的聯(lián)系，本文將數(shù)字序列中相鄰的兩個點設(shè)為相關(guān)聯(lián)，同時每個點也與自身相關(guān)聯(lián)，以此為規(guī)則生成鄰接矩陣中的坐標(biāo)。同時考慮到在中文文本中每個詞匯都是有相應(yīng)的詞性的，若是不區(qū)分詞性將所有節(jié)點默認為一類將失去部分文本信息，因此本文依據(jù)中文詞匯中的名詞、代詞、動詞、形容詞、數(shù)詞、量詞、區(qū)別詞、副詞、介詞、連詞、冠詞、助詞這十二種詞性，將這一千個詞代表的點分為了十二類。本文依據(jù)上述方式將文本數(shù)據(jù)轉(zhuǎn)化成了圖卷積神經(jīng)網(wǎng)絡(luò)可以處理的圖數(shù)據(jù)。

1.2 圖卷積神經(jīng)網(wǎng)絡(luò)

圖數(shù)據(jù)的每個結(jié)點都受到其鄰居節(jié)點的影響，圖卷積神經(jīng)網(wǎng)絡(luò)就是利用鄰居結(jié)點的信息來推導(dǎo)該結(jié)點的信息，從而得到圖數(shù)據(jù)的特征。這一過程中又需要用到兩個理論工具拉普拉斯矩陣與傅立葉變換。為了得到數(shù)據(jù)的圖域卷積，需要先對圖和卷積核做傅立葉變換后相乘，再傅立葉反變換回來，這樣就得到了圖域卷積。因此得到了圖卷積的計算公式如式1。

其中， 為鄰接矩陣與單位矩陣的和， 為 的度矩陣，H是每一層的特征，W是權(quán)重矩陣，再經(jīng)過非線性激活函數(shù)σ就得到了圖卷積提取的圖數(shù)據(jù)特征。

1.3 BiGRU

GRU是LSTM網(wǎng)絡(luò)的一種效果很好的變體，它繼承了LSTM模型和RNN模型的特性，一定程度上解決了RNN的梯度問題，同時解決了梯度反傳過程由于逐步縮減而產(chǎn)生的梯度消失問題，能夠?qū)W習(xí)長期的規(guī)律。而BiGRU 是由兩個反向的GRU 組成的神經(jīng)網(wǎng)絡(luò)模型，BiGRU能夠提供額外的上下文特征信息，有助于捕捉時間序列里長期的依賴關(guān)系。在GRU模型中只有兩個門：分別是更新門和重置門。具體結(jié)構(gòu)如下圖2所示：

圖2 GRU結(jié)構(gòu)單元

計算過程如式2、3、4、5。

而雙向GRU（BiGRU）BiGRU是由單向的、方向相反的、輸出由這兩個 GRU 的狀態(tài)共同決定的 GRU組成的神經(jīng)網(wǎng)絡(luò)模型，這種形式能獲取某一時刻前、后兩個方向的數(shù)據(jù)信息并加以利用，使得預(yù)測值更加接近真實值。

1.4 Text-CNN

卷積神經(jīng)網(wǎng)絡(luò)是一類包含卷積計算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)（Feedforward Neural Networks），是深度學(xué)習(xí)的代表算法之一。卷積神經(jīng)網(wǎng)絡(luò)具有表征學(xué)習(xí)能力，能夠按其階層結(jié)構(gòu)對輸入信息進行平移不變分類，因此也被稱為“平移不變?nèi)斯ど窠?jīng)網(wǎng)絡(luò)”。圖像上的CNN模型主要是依靠輸入圖片的平移不變性，利用卷積核提取圖片特征，而在文本上CNN模型種卷積核提取的是相鄰兩個或多個個單詞向量的特征，與傳統(tǒng)的CNN卷積核相比Text-CNN的卷積核不是正方形的，寬度跟詞向量維度相等。文本分類模型text-CNN與傳統(tǒng)CNN網(wǎng)絡(luò)相比網(wǎng)絡(luò)結(jié)構(gòu)上沒有任何變化。

2 模型架構(gòu)

本文使用BiGRU-TextCNN模型和GCN模型分別完成對數(shù)據(jù)的預(yù)測，再將二者的結(jié)果匯總成最后的預(yù)測結(jié)果。這里是兩個模型分別進行訓(xùn)練預(yù)測的過程如圖3，首先將文本數(shù)據(jù)傳入到BiGRU-TextCNN模型中得到預(yù)測的分數(shù)，再將文本數(shù)據(jù)處理成圖數(shù)據(jù)放入GCN模型中得到該模型的預(yù)測分數(shù)，最后將2個預(yù)測的分數(shù)相加，選取最大的作為最后的預(yù)測結(jié)果。

圖3 模型結(jié)構(gòu)圖

2.1 BiGRU-TextCNN模型預(yù)測

這一部分使用了 BiGRU-TextCNN模型對數(shù)據(jù)集進行特征提取訓(xùn)練和預(yù)測，首先將數(shù)據(jù)分詞去停用詞，再經(jīng)過詞嵌入層獲得文本的向量表示，這時就可以輸入到BiGRU中進行特征提取，再將提取出來的時序特征傳入下層的Text-CNN模型中再次提取特征，最后經(jīng)過全連接層得到一個包含了預(yù)測結(jié)果的向量。

2.2 GCN模型預(yù)測

這一部分使用了GCN模型對數(shù)據(jù)集進行特征提取訓(xùn)練和預(yù)測。因為GCN只能處理非歐式數(shù)據(jù)，所以需要根據(jù)前文所述的方法將文本轉(zhuǎn)化成圖數(shù)據(jù)的形式。數(shù)據(jù)處理完成后將其輸入到GCN模型中，本文使用的模型有三個圖卷積層，將三組特征相拼接組合成了最后的特征，輸入到池化層中，本文使用的是基于自注意力的池化機制的思想，是通過圖卷積從圖中自適應(yīng)地學(xué)習(xí)每個節(jié)點的重要性。最后一樣經(jīng)過全連接層得到一個包含了預(yù)測結(jié)果的向量。

2.2 特征融合

特征融合是模式識別領(lǐng)域的一種重要方法，主要應(yīng)用于計算機視覺中的圖像識別上，特點是實現(xiàn)多特征的優(yōu)勢互補增加結(jié)果的準(zhǔn)確性，特征融合的方式有兩種分別是早融合和晚融合。

本文采用的是晚融合的特征融合方法，即通過GCN模型和BiGRU-Text-CNN模型分別預(yù)測出兩個包含結(jié)果的向量大小為128×10，將這兩個向量按40%和60%的比重對應(yīng)相加得到融合二者的新的預(yù)測向量，經(jīng)過激活函數(shù)后得到最后的預(yù)測結(jié)果。

3 實驗驗證與分析

3.1 數(shù)據(jù)集介紹

本次實驗使用了法研杯2018的數(shù)據(jù)集，該數(shù)據(jù)包含了20多萬條各種罪名文本，每一條數(shù)據(jù)由8個部分組成，包括事實描述、被告、罰款、罪名、相關(guān)法條、是否死刑、是否無期、有期徒刑刑期。本文主要使用了事實描述和罪名部分，選取了數(shù)據(jù)集中出現(xiàn)最多的十種犯罪罪名，包括盜竊、搶劫、故意傷害、非法持有或私藏槍支彈藥、詐騙、危險駕駛、制造販賣傳播淫穢物品、交通肇事、受賄、組織強迫引誘容留介紹賣淫，數(shù)據(jù)集結(jié)果如下表2。

表2 數(shù)據(jù)集組成

3.2 模型評價標(biāo)準(zhǔn)

本文采用了宏平均來評價模型首先分別計算各自分類的Precision和Recall如式6、7、8，得到各自的F1值，然后取平均值得到Macro-F1，其中TP表示將正類預(yù)測為正類的個數(shù)，F(xiàn)N表示將正類預(yù)測為負類的個數(shù)，F(xiàn)P表示將負類預(yù)測為正類的個數(shù)，TN表示將負類預(yù)測為負類的個數(shù)。

3.3 實驗結(jié)果分析

實驗是對2018年法研杯數(shù)據(jù)集進行訓(xùn)練和測試，按照數(shù)據(jù)集中文本個數(shù)的80%進行訓(xùn)練和20%進行測試的規(guī)則進行數(shù)據(jù)劃分，分別對Text-CNN模型、RNN模型、LSTM模型、RNNAttention模型，BiGRU模型、BiGRU-Text-CNN模型和本文使用的GCN-BiGRU-Text-CNN模型進行了實驗，實驗結(jié)果如下表3。

表3 各算法實驗結(jié)果

從實驗結(jié)果來看，Text-CNN模型的效果要優(yōu)于RNN模型，但是融合了注意力機制后RNN-Attention模型要比RNN模型強一些。BiGRU模型繼承了LSTM模型和RNN模型的特性，一定程度上解決了RNN的梯度問題。BiGRU-TextCNN模型融合了CNN和BiGRU的特點有了更好的結(jié)果，本文使用的模型在此基礎(chǔ)上還另外融合了GCN模型，在最后的實驗數(shù)據(jù)上有一定的提升，證明的本文提出的方法的可行性。

4 結(jié)束語

本研究由甘肅省教育廳創(chuàng)新基金項目（2022CYZC-57）資助。本文使用的融合圖卷積神經(jīng)網(wǎng)絡(luò)和BiGRU-CNN的模型，較以往的方法F1有所提升，往后對二者進行特征融合達到更好的結(jié)果是我們未來的研究方向。