基于python中文分詞的卷宗信息邏輯研究

◆裴炳森 張新宇 邢欣濤 王銘杰

基于python中文分詞的卷宗信息邏輯研究

◆裴炳森 張新宇 邢欣濤 王銘杰

（中國人民公安大學(xué)信息網(wǎng)絡(luò)安全學(xué)院 北京 102623）

詢問/訊問筆錄是公安工作目前使用較多的文本材料，然而在實際調(diào)研和實習(xí)中發(fā)現(xiàn)卷宗有錄入筆誤和不合邏輯等問題。卷宗送交至檢察院時往往被駁回數(shù)次修改，除了送檢程序等問題外，由于一些主客觀因素，導(dǎo)致筆錄信息需要經(jīng)常性的反復(fù)查驗，輕則增加了工作量，嚴(yán)重則造成案卷信息錯誤。本文基于python中文分詞的Jieba組件對筆錄內(nèi)容進(jìn)行文本分析，提取時間、地點、事件等關(guān)鍵詞，并與標(biāo)準(zhǔn)庫進(jìn)行比對，提示并糾正錯誤并生成流程圖，有效減少了民警工作量，對一線執(zhí)法有較好的實際作用。

筆錄卷宗；文本分析；Jieba組件；一線執(zhí)法

在文本分析方面，國外對英文文本提取信息的研究較為成熟，例如STALKER、WHISK、SRV等系統(tǒng)，對英文文本信息提取效率較高。與英文文本信息提取技術(shù)相比，由于漢語語法復(fù)雜，中文文本分析技術(shù)相對滯后。但是近年來中文互聯(lián)網(wǎng)文本數(shù)據(jù)指數(shù)上升，針對其的文本分析也漸漸發(fā)展并應(yīng)用。文獻(xiàn)[1-2]利用python研究了中文文本分析以及構(gòu)建了可視化平臺，文獻(xiàn)[4-5]使用Python中的結(jié)巴工具進(jìn)行了分詞研究和技術(shù)實現(xiàn)。

隨著文本分析在各個領(lǐng)域逐漸應(yīng)用，如文獻(xiàn)[6]在教育領(lǐng)域進(jìn)行了文本情感分析探索，文獻(xiàn)[7]將文本分析服務(wù)于疫情防控。然而在公安工作的應(yīng)用較少。隨著數(shù)據(jù)警務(wù)的發(fā)展，應(yīng)該充分利用公安筆錄這一數(shù)據(jù)以更好的打擊辦案。為使公安工作更加高效準(zhǔn)確，結(jié)合實際調(diào)研發(fā)現(xiàn)公安工作卷宗筆錄仍需人工多次反復(fù)審核。受主客觀不同因素影響，會有“犯罪發(fā)生時長”錄入錯誤，“距離”與“時間”不匹配等信息錯誤問題，例如某兩地之間相距20公里，駕車大概20~30分鐘，而筆錄中卻出現(xiàn)5min的現(xiàn)象。本文針對現(xiàn)存問題首先設(shè)立自己的標(biāo)準(zhǔn)比對條件，著眼于訊問/詢問筆錄中的關(guān)鍵詞，基于python環(huán)境的Jieba工具進(jìn)行中文分詞和關(guān)鍵詞提取，通過事先爬取的知識庫與筆錄信息進(jìn)行比對，智能檢測，最后根據(jù)筆錄內(nèi)容生成流程圖，自動提示錯誤信息，以達(dá)到避免重復(fù)核查的目的。

1 卷宗信息分析原理

1.1 中文分詞和關(guān)鍵詞提取

本文基于python的Jieba組件利用隱馬爾卡夫模型（HMM），TF-IDf和TextRank算法，構(gòu)建VSM向量空間模型，實時計算并智能核對，是針對案件信息的大膽嘗試。對于地理位置信息，首先依據(jù)圖1所示的 Viterbi 算法，通過訓(xùn)練出隱馬爾科夫（HMM）相關(guān)的模型，然后進(jìn)行求解，得到最優(yōu)的狀態(tài)序列，最后通過深度學(xué)習(xí)輸出分詞結(jié)果。同時融合基于頻率的TF-IDF算法和基于排序的TextRank算法綜合運(yùn)用提取關(guān)鍵詞，構(gòu)建VSM向量空間模型。Jieba庫提供了三種模式的分詞方式，針對筆錄的特征，本文主要采用精確模式進(jìn)行分詞，如下所示為“從南城縣家園小區(qū)110號樓出來，通過駕車至天天市場在李翠花家盜竊得到的手機(jī)”的分析源碼。

import jieba.analyse

#導(dǎo)入自定義詞典

jieba.load_userdict（"./dic.txt"）

#精確模式

text="從南城縣家園小區(qū)110號樓出來，通過駕車至天天市場在李翠花家盜竊得到的手機(jī)"

seg_list = jieba.cut（text， cut_all = False）

print（u"分詞結(jié)果："）

print（"，".join（seg_list））

#獲取關(guān)鍵詞

tags = jieba.analyse.extract_tags（text，topK=5）

print（u"關(guān)鍵詞："）

print（" ".join（tags））

圖1 Viterbi 算法處理流程

1.2 知識庫搭建

公安工作筆錄分析需要極其豐富的知識庫，在對地理位置分析中通過Python爬蟲工具首先向“高德地圖”發(fā)送Request，申請”Web服務(wù)API”密鑰，拼接HTTP請求URL；然后正常獲取到Response后接收HTTP請求返回的數(shù)據(jù)響應(yīng)體，轉(zhuǎn)化為Json格式。如下為解析數(shù)據(jù)部分源碼。利用網(wǎng)絡(luò)爬蟲將整個目標(biāo)數(shù)據(jù)獲取后轉(zhuǎn)化為文本信息，形成一個可進(jìn)行比對的信息庫，并進(jìn)一步對數(shù)據(jù)進(jìn)行挖掘處理，為數(shù)據(jù)提供最為基本的支撐[9]。如圖2、圖3所示為獲取的縣級行政區(qū)域點狀圖和詳細(xì)信息。將含有更詳細(xì)的地名信息、距離信息、往返時間信息的知識庫應(yīng)用于筆錄處理。知識庫的構(gòu)建對于筆錄錯誤信息有重要的參考作用，在依據(jù)地理位置和時間信息做出分析時，要考慮客觀實際因素于案情實際狀況。后續(xù)再根據(jù)實際工作需要和以往的筆錄信息構(gòu)建出“交通工具庫”、“作案類型庫”、“作案工具庫”等知識庫便于進(jìn)一步文本分析。

def get_json（url）：

# 讀取數(shù)據(jù)

uh = urllib.request.urlopen（url）

data = uh.read（）.decode（）

# 解析數(shù)據(jù)

try：

json_data = json.loads（data）

except：

json_data = None

if not json_data or 'status' not in json_data or json_data['status'] != 0：

print（'json數(shù)據(jù)獲取失敗'）

else：

#輸出Json數(shù)據(jù)

print（json.dumps（json_data， indent=4， ensure_ascii=False））

return json_data

圖2 點狀圖

圖3 縣級行政區(qū)域信息

1.3 被訊問人行動流程可視化

在生成流程圖時，引入wordcloud和matplotlib庫、安裝Graphviz[10]賦予關(guān)鍵詞相應(yīng)的節(jié)點屬性、連接線屬性等屬性信息。根據(jù)提取到的地理、時間信息等關(guān)鍵詞，由地理信息知識庫分析兩者距離，通過時間智能校對檢測。后續(xù)需要對交通工具、作案手段等關(guān)鍵詞同時提取并分析。根據(jù)筆錄內(nèi)容生成被詢問/訊問人活動流程可視化報告，將有助于理清案件線索，檢查是否出現(xiàn)不匹配問題，并且?guī)椭笃诩m錯。如圖4所示為可視化處理流程。

圖4 可視化處理流程

1.4 卷宗智能比對

根據(jù)實際案件要素與筆錄中的錄入信息進(jìn)行比對，發(fā)現(xiàn)錯誤并且提示。并由關(guān)鍵要素（時間，事件，地點，交通工具）生成流程圖。例如：計算A地到B地的距離，依據(jù)程序依賴的知識庫，統(tǒng)計不同交通工具時間范圍，與筆錄中獲取的作案工具關(guān)鍵詞和時間關(guān)鍵詞進(jìn)行比對，若不在合理范圍內(nèi)，提示錯誤信息，并提示合理的時間范圍。最后完成中文分詞，作案信息提取，錯誤信息提示，并生成流程圖。如圖5所示為智能比對流程。

圖5 處理流程

2 實驗

2.1 數(shù)據(jù)源

結(jié)合實際調(diào)研與實習(xí)經(jīng)驗，數(shù)據(jù)源以模擬的公安工作筆錄進(jìn)行訓(xùn)練，數(shù)據(jù)都經(jīng)過處理不涉及任何公安秘密。本文以強(qiáng)奸、盜竊為作案類型，汽車為作案交通工具以及構(gòu)造的地理位置為模型進(jìn)行分析。

2.2 實驗環(huán)境

實驗環(huán)境為Windows10操作系統(tǒng)、4G運(yùn)行內(nèi)存、Python環(huán)境。導(dǎo)入Jieba、tkinter、python_docx-0.8.10-py2.py3-none-any.whl、wordcloud、matplotlib等庫并安裝Graphviz。

Python提供IDE工具，Jieba作為第三方中文分詞庫，tkinter庫用于程序窗口化，docx庫引入文本文件，wordcloud、matplotlib和Graphviz用于生成流程圖并且展示。

2.3 實驗方法

首先加載程序打開需要的分析筆錄，根據(jù)應(yīng)用的知識庫，使用Jieba工具進(jìn)行分詞，完成了分詞檢測后提取作案信息。根據(jù)知識庫比對完成了錯誤信息提示，最后根據(jù)筆錄信息生成了流程圖得到了智能分析結(jié)果。根據(jù)比對信息，一線民警能夠快速知曉被訊問/詢問人言語間的邏輯漏洞，使案件進(jìn)展相對較為清晰，從而做出正確的預(yù)測和判斷，同時避免了人為錄入錯誤，減小了工作量。

2.4 實驗結(jié)果

對筆錄進(jìn)行Jieba分詞檢測后如圖6所示。其中根據(jù)分詞結(jié)果提取到的作案信息和錯誤信息如表1和表2所示。最后生成的流程圖如圖7所示。

圖6 筆錄分詞結(jié)果

圖7 流程圖生成

表1 作案信息

表2 錯誤信息

3 結(jié)語

本文基于Python中文分詞的Jieba工具對公安工作筆錄進(jìn)行了分析，結(jié)合部分加載的知識庫，經(jīng)過實驗驗證，有效完成了分詞，作案信息提取，錯誤信息提示，并生成流程圖等功能。公安工作是一項嚴(yán)謹(jǐn)且工作量巨大的任務(wù)，該項目提供了筆錄智慧分析的設(shè)想和雛形。為更好全面應(yīng)用于公安實戰(zhàn)，還需要用大量的數(shù)據(jù)進(jìn)行訓(xùn)練。同時出于公安工作的特殊性，完備知識庫的建立應(yīng)該基于公安內(nèi)網(wǎng)PGIS[11]的信息以及實時或定期的數(shù)據(jù)更新。

[1]宋永生，黃蓉美，王軍.基于Python的數(shù)據(jù)分析與可視化平臺研究[J].現(xiàn)代信息科技，2019，3（21）：7-9.

[2]祝永志，荊靜.基于Python語言的中文分詞技術(shù)的研究[J].通信技術(shù)，2019，52（07）：1612-1619.

[3]李澤，古超，龍政.基于Python的文本分析方法研究[J].電腦編程技巧與維護(hù)，2018（04）：25-26+51.

[4]曾小芹.基于Python的中文結(jié)巴分詞技術(shù)實現(xiàn)[J].信息與電腦（理論版），2019，31（18）：38-39+42.

[5]徐博龍.應(yīng)用Jieba和Wordcloud庫的詞云設(shè)計與優(yōu)化[J].福建電腦，2019，35（06）：25-28.

[6]歐陽元新，王樂天，李想，蒲菊華，熊璋.教育領(lǐng)域反饋文本情感分析方法及應(yīng)用研究[J].計算機(jī)教育，2020（06）：80-84.

[7]李燕萍，陳文.后疫情時代我國人力資源服務(wù)業(yè)發(fā)展轉(zhuǎn)型：基于疫情防控常態(tài)化下人力資源服務(wù)政策文本分析[J].中國人力資源開發(fā)，2020，37（10）：18-32.

[8]謝春艷.基于python的Flickr地理標(biāo)簽照片信息的爬蟲[J].電腦與信息技術(shù)，2019，27（06）：39-41.

[9]繆治，任敏敏.基于網(wǎng)絡(luò)爬蟲的地理空間信息采集方法[J].電腦知識與技術(shù)，2019，15（18）：9-10.

[10]張偉欣. 基于Graphviz的ProM模式提取插件圖形系統(tǒng)的設(shè)計與實現(xiàn)[D].哈爾濱工業(yè)大學(xué)，2015.

[11]田野，楊帆，胡磊，易民盛.大數(shù)據(jù)環(huán)境下警用地理信息系統(tǒng)運(yùn)維方案的研究[J].科學(xué)技術(shù)創(chuàng)新，2019（30）：69-71.