公安大數(shù)據(jù)分析的算法體系及適用方法

楊 杰, 翟春婕

(1.江蘇省公安廳， 江蘇南京 210024; 2.南京森林警察學(xué)院信息技術(shù)學(xué)院, 江蘇南京 210023)

0 引言

隨著網(wǎng)絡(luò)和信息技術(shù)的高速發(fā)展，各行業(yè)生成數(shù)據(jù)的總量和增速都在加速提升，運(yùn)用大數(shù)據(jù)技術(shù)整合集成數(shù)據(jù)資源，分析挖掘數(shù)據(jù)內(nèi)在規(guī)律特征，服務(wù)和促進(jìn)產(chǎn)業(yè)發(fā)展，已在很多行業(yè)領(lǐng)域得到廣泛應(yīng)用。在這樣的大背景下，公安行業(yè)的大數(shù)據(jù)分析應(yīng)用也是需求井噴、高速發(fā)展。近年各種分析模型及建模大賽層出不窮，涌現(xiàn)了一系列實(shí)戰(zhàn)性、實(shí)用性均較強(qiáng)的數(shù)據(jù)分析模型，在服務(wù)公安工作升級(jí)發(fā)展中發(fā)揮了很好的作用。隨著公安數(shù)據(jù)分析應(yīng)用的持續(xù)深入，數(shù)據(jù)分析模型底層所用算法不斷豐富，但各類算法在具體業(yè)務(wù)場景和建模過程中如何進(jìn)行針對(duì)性選擇、適用性如何評(píng)估、輸出結(jié)果如何解釋、如何在確保結(jié)果準(zhǔn)確性的同時(shí)又易于民警理解和執(zhí)行，上述相關(guān)問題已成為公安行業(yè)開展數(shù)據(jù)建模分析迫切需要研究解決的一項(xiàng)關(guān)鍵性、基礎(chǔ)性問題。

當(dāng)前，圍繞大數(shù)據(jù)分析已經(jīng)開發(fā)實(shí)現(xiàn)了多種算法[1-2]，但不同類型的算法具有不同的數(shù)學(xué)特性、技術(shù)特點(diǎn)，其所能計(jì)算的數(shù)據(jù)類型、所能適用的業(yè)務(wù)場景存在很大差別。李志杰等[3]基于內(nèi)存中直接進(jìn)行數(shù)據(jù)實(shí)時(shí)流式計(jì)算的模式，分別介紹了線性模型、非線性模型、非傳統(tǒng)等不同類型在線學(xué)習(xí)的經(jīng)典算法和最新算法，并給出了典型應(yīng)用場景。海沫等[4]詳細(xì)分析了分布式環(huán)境下基于密度、基于劃分、基于特征向量等不同類型聚類算法的實(shí)現(xiàn)方法，并結(jié)合應(yīng)用分析評(píng)估了優(yōu)缺點(diǎn)。林海倫等[5]介紹了開放網(wǎng)絡(luò)的知識(shí)評(píng)估方法，包括貝葉斯估計(jì)、D-S證據(jù)理論、模糊集理論及圖模型等，從實(shí)體、關(guān)系和分類擴(kuò)充3個(gè)方面總結(jié)了知識(shí)融合中可用的知識(shí)擴(kuò)充方法及其研究進(jìn)展，并探討了相關(guān)方法應(yīng)用于網(wǎng)絡(luò)大數(shù)據(jù)知識(shí)融合場景的實(shí)現(xiàn)方法。楊陽[6]基于地下錢莊案件數(shù)據(jù)，利用知識(shí)圖譜中的圖論方法挖掘事件線索，通過可視化呈現(xiàn)目標(biāo)對(duì)象的社交網(wǎng)絡(luò)關(guān)系和資金流向關(guān)系，進(jìn)而挖掘隱含關(guān)系和資金交易路徑。綜上可見，算法雖然很多，但在具體業(yè)務(wù)場景下如何選擇，促進(jìn)算法與業(yè)務(wù)兼容適配，是非常值得探討的一個(gè)問題。公安行業(yè)由于固有的業(yè)務(wù)多樣性、復(fù)雜性，其數(shù)據(jù)資源具有數(shù)量大、增長快、格式異構(gòu)等所有已知大數(shù)據(jù)的特征。開展公安大數(shù)據(jù)分析，更需要針對(duì)公安業(yè)務(wù)的具體應(yīng)用場景和所分析數(shù)據(jù)資源的屬性特點(diǎn)不斷進(jìn)行演繹歸納。如部分算法能很好地應(yīng)用于已發(fā)案件的線索挖掘，但無法應(yīng)用于可能發(fā)生的犯罪行為預(yù)測，而公安行業(yè)的現(xiàn)實(shí)需求，打擊與防范已經(jīng)同等重要；部分算法對(duì)數(shù)據(jù)量極其敏感，一旦數(shù)據(jù)超過一定規(guī)模，算法效率就會(huì)急劇下降，而公安行業(yè)的大數(shù)據(jù)分析，往往有著準(zhǔn)確率與時(shí)效性并重的現(xiàn)實(shí)要求。因此，如何根據(jù)公安業(yè)務(wù)場景和數(shù)據(jù)屬性特點(diǎn)選擇相契合的算法，既確保分析模型的執(zhí)行效率和輸出結(jié)果的準(zhǔn)確度，又讓分析過程可解釋、分析結(jié)果易執(zhí)行，是公安行業(yè)大數(shù)據(jù)建模分析能夠?qū)嵱脤?shí)效必須解決的一個(gè)問題。但不管是學(xué)術(shù)界還是產(chǎn)業(yè)界，目前相關(guān)文獻(xiàn)對(duì)此問題的討論都很少。具體實(shí)踐中我們還發(fā)現(xiàn)，當(dāng)前業(yè)界很多人將公安大數(shù)據(jù)分析所用算法較為局限地理解為機(jī)器學(xué)習(xí)算法。

筆者連續(xù)兩年主持了省域范圍內(nèi)的公安大數(shù)據(jù)應(yīng)用創(chuàng)新大賽，共收集到覆蓋各個(gè)警種的大數(shù)據(jù)分析模型265個(gè)。以此265個(gè)模型為樣本，針對(duì)上述現(xiàn)狀和問題，本文系統(tǒng)歸納了公安大數(shù)據(jù)分析的主要業(yè)務(wù)場景，總結(jié)了公安大數(shù)據(jù)分析的常用算法，并進(jìn)一步分析了常見機(jī)器學(xué)習(xí)算法的技術(shù)特點(diǎn)及其適用的公安業(yè)務(wù)場景，最后對(duì)公安大數(shù)據(jù)建模分析的算法選擇及應(yīng)用給出了建議。

1 公安數(shù)據(jù)分析的主要場景

公安行業(yè)大數(shù)據(jù)分析應(yīng)用近年發(fā)展迅猛，應(yīng)用場景廣泛，針對(duì)不同的業(yè)務(wù)需求已經(jīng)開發(fā)出了多種數(shù)據(jù)分析的模型方法。基于上述265個(gè)模型樣本，歸納其所屬的業(yè)務(wù)應(yīng)用場景，主要有查詢比對(duì)、規(guī)則判別、數(shù)值統(tǒng)計(jì)、預(yù)測預(yù)警等4個(gè)大類。

(1)查詢比對(duì)主要是基于給定的ID值或確定的關(guān)鍵詞，與各類數(shù)據(jù)特別是軌跡類、痕跡類動(dòng)態(tài)數(shù)據(jù)進(jìn)行周期執(zhí)行的值比較，命中的數(shù)據(jù)記錄即輸出為反饋結(jié)果。

(2)規(guī)則判別主要是基于時(shí)間、地點(diǎn)、頻次、業(yè)務(wù)特征等給定的業(yè)務(wù)規(guī)則及其初始閾值，進(jìn)行條件符合性判斷和篩選，同一模型中的多個(gè)業(yè)務(wù)規(guī)則可根據(jù)經(jīng)驗(yàn)值按需設(shè)定不同的權(quán)重，符合給定閾值條件的才輸出為模型分析結(jié)果，閾值條件包括不同業(yè)務(wù)規(guī)則基于權(quán)重的復(fù)合值、模型所有業(yè)務(wù)規(guī)則的符合比例等多種設(shè)置形式。

(3)數(shù)值統(tǒng)計(jì)主要是面向數(shù)量、占比、時(shí)空分布等給定的宏觀統(tǒng)計(jì)類需求，進(jìn)行給定條件下的規(guī)模數(shù)量的計(jì)數(shù)統(tǒng)計(jì)和基礎(chǔ)性的計(jì)算統(tǒng)計(jì)，部分模型統(tǒng)計(jì)過程中引入分組計(jì)算需求，通常采用絕對(duì)數(shù)量、百分比等形式輸出計(jì)數(shù)或計(jì)算結(jié)果。

(4)預(yù)測預(yù)警主要是面向已發(fā)案件的線索挖掘、可能發(fā)生的犯罪行為或案件事件等，基于概率統(tǒng)計(jì)或機(jī)器學(xué)習(xí)等算法，計(jì)算目標(biāo)對(duì)象的風(fēng)險(xiǎn)指數(shù)或犯罪行為、事件的發(fā)生概率，對(duì)概率超過給定閾值的則輸出為模型分析結(jié)果。

實(shí)際應(yīng)用中，單一數(shù)據(jù)分析模型往往會(huì)覆蓋多個(gè)應(yīng)用場景，本文265個(gè)數(shù)據(jù)分析模型的應(yīng)用場景覆蓋如圖1所示。

圖1 參賽模型應(yīng)用場景覆蓋情況

從圖1可以看出，連續(xù)兩屆公安大數(shù)據(jù)應(yīng)用創(chuàng)新大賽，具有規(guī)則判別功能的數(shù)據(jù)分析模型占兩年參賽模型總數(shù)的68.68%，具有查詢比對(duì)功能的數(shù)據(jù)分析模型占兩年參賽模型總數(shù)的42.64%，而具有預(yù)測預(yù)警功能的數(shù)據(jù)分析模型僅占6.42%。據(jù)此也可以看出，當(dāng)前公安行業(yè)的數(shù)據(jù)分析模型，主體功能還是以規(guī)則判別和查詢比對(duì)為主，而具有預(yù)測預(yù)警等新興智能功能的模型占整體參賽模型的比例還不足一成，在當(dāng)前面向?qū)崙?zhàn)的模型研發(fā)應(yīng)用中并未成為主流。

2 公安數(shù)據(jù)分析的常用算法

歸納上述265個(gè)參賽模型底層所采用的數(shù)據(jù)分析算法，主要包括算術(shù)運(yùn)算、關(guān)系代數(shù)、描述統(tǒng)計(jì)、概率統(tǒng)計(jì)、機(jī)器學(xué)習(xí)[7]等5個(gè)大類，每個(gè)大類算法的具體算符、簡要描述、涉及業(yè)務(wù)場景等見表1。

表1 公安數(shù)據(jù)分析主要算法類型及適用場景

進(jìn)一步分析上述265個(gè)模型底層所用的分析算法，由于單一數(shù)據(jù)分析模型通常會(huì)采用多類分析算法，模型中整體算法應(yīng)用情況如圖2所示。從圖2可以看出，參賽模型底層采用算術(shù)運(yùn)算、關(guān)系代數(shù)算法的分別占到模型總數(shù)的77.36%、74.72%，兩類算法是當(dāng)前公安行業(yè)開展數(shù)據(jù)分析的最常用算法，而描述統(tǒng)計(jì)、概率統(tǒng)計(jì)、機(jī)器學(xué)習(xí)3類算法隨著數(shù)學(xué)難度的上升，實(shí)戰(zhàn)中可理解性、可解釋性快速下降，算法應(yīng)用的廣泛度也同步快速縮小。特別是機(jī)器學(xué)習(xí)算法，265個(gè)模型中僅有25個(gè)應(yīng)用此類算法，且其中22個(gè)采用的為K-Means(K均值聚類)、NBC(樸素貝葉斯)[8]、SVM(支持向量機(jī))等經(jīng)典數(shù)據(jù)挖掘算法，僅有3個(gè)模型采用RF(隨機(jī)森林)、CNN(卷積神經(jīng)網(wǎng)絡(luò))等深度學(xué)習(xí)算法，其應(yīng)用場景也僅為圖像識(shí)別、語音識(shí)別等模式識(shí)別業(yè)務(wù)場景。

圖2 參賽模型采用算法情況統(tǒng)計(jì)

分析總結(jié)上述5類算法與4類應(yīng)用場景的對(duì)應(yīng)情況，常見業(yè)務(wù)場景具體如表1。算術(shù)運(yùn)算在4類場景中都普遍采用，關(guān)系代數(shù)主要應(yīng)用于規(guī)則判別、查詢比對(duì)兩類場景，描述統(tǒng)計(jì)主要應(yīng)用于數(shù)值統(tǒng)計(jì)、規(guī)則判別兩類場景，概率統(tǒng)計(jì)主要應(yīng)用于嫌疑指數(shù)、風(fēng)險(xiǎn)指數(shù)等預(yù)測預(yù)警場景，少量應(yīng)用于規(guī)則判別場景，機(jī)器學(xué)習(xí)則主要應(yīng)用于預(yù)測預(yù)警場景，多以固化的工具或算子等形式直接在模型中應(yīng)用，針對(duì)具體業(yè)務(wù)場景的維度、參數(shù)及閾值的適配、調(diào)優(yōu)等尚未實(shí)現(xiàn)。

綜上，本文認(rèn)為，公安大數(shù)據(jù)分析算法體系的基本構(gòu)成主要包括算術(shù)運(yùn)算、關(guān)系代數(shù)、描述統(tǒng)計(jì)、概率統(tǒng)計(jì)、機(jī)器學(xué)習(xí)等5個(gè)組成部分。建模應(yīng)用過程中，算術(shù)運(yùn)算、關(guān)系代數(shù)兩類算法占據(jù)主流，覆蓋近8成模型；描述統(tǒng)計(jì)次之，有超過3成的模型引用；而概率統(tǒng)計(jì)、機(jī)器學(xué)習(xí)兩類算法，特別是機(jī)器學(xué)習(xí)算法，僅有不到1成的模型在用，且固化為工具或算子，不支持民警自主定義配置模型的具體分析維度、參數(shù)等核心內(nèi)容。模型是基于算法描述的業(yè)務(wù)規(guī)律，通過算法可以將已知的經(jīng)驗(yàn)規(guī)律具體化為規(guī)則及閾值，也可以發(fā)現(xiàn)未知的隱性規(guī)律并進(jìn)一步具體化為規(guī)則及閾值。因此，根據(jù)模型服務(wù)的具體業(yè)務(wù)場景，針對(duì)建模過程的主要任務(wù)是已知經(jīng)驗(yàn)規(guī)律的具體化還是未知隱性規(guī)律的發(fā)現(xiàn)，科學(xué)選擇針對(duì)性算法，是公安大數(shù)據(jù)建模分析算法選擇的有效策略。當(dāng)前公安大數(shù)據(jù)分析的建模過程，主要任務(wù)還是民警已有業(yè)務(wù)經(jīng)驗(yàn)的具體化，因此，緊扣業(yè)務(wù)場景，用好算術(shù)運(yùn)算、關(guān)系代數(shù)、描述統(tǒng)計(jì)3類算法，仍是當(dāng)前和今后一個(gè)時(shí)期公安大數(shù)據(jù)分析建模的工作重點(diǎn)。

3 公安數(shù)據(jù)分析機(jī)器學(xué)習(xí)算法應(yīng)用方法

大數(shù)據(jù)的復(fù)雜、高維、多變使得數(shù)據(jù)挖掘技術(shù)需要不斷總結(jié)、實(shí)踐、更新。盡管圖1、圖2的數(shù)據(jù)說明當(dāng)前具體公安業(yè)務(wù)場景下的大數(shù)據(jù)建模分析，采用機(jī)器學(xué)習(xí)算法的比例還較低，但機(jī)器學(xué)習(xí)算法對(duì)公安行業(yè)的大數(shù)據(jù)建模分析始終有著很強(qiáng)的應(yīng)用價(jià)值。分析上述模型中機(jī)器學(xué)習(xí)算法應(yīng)用不多的核心原因，主要是無法基于業(yè)務(wù)視角理解算法的執(zhí)行邏輯，其次是中文字符型數(shù)據(jù)轉(zhuǎn)換成數(shù)值數(shù)據(jù)以能夠輸入算法的執(zhí)行運(yùn)算。因此，如何基于公安業(yè)務(wù)應(yīng)用場景和數(shù)據(jù)資源特點(diǎn)選用合適的機(jī)器學(xué)習(xí)算法，是當(dāng)前公安大數(shù)據(jù)建模分析需要研究解決的另一個(gè)關(guān)鍵問題。結(jié)合前述4類應(yīng)用場景和公安數(shù)據(jù)資源的特點(diǎn)，進(jìn)一步探討當(dāng)前主流機(jī)器學(xué)習(xí)算法在公安行業(yè)應(yīng)用的思路和方法，公安行業(yè)大數(shù)據(jù)建模分析選擇具體機(jī)器學(xué)習(xí)算法必須考慮3個(gè)關(guān)鍵問題。

(1)機(jī)器學(xué)習(xí)算法通常只支持?jǐn)?shù)值型數(shù)據(jù)的計(jì)算，對(duì)文本字符型數(shù)據(jù)特別是中文文本字符型數(shù)據(jù)無法直接進(jìn)行計(jì)算，需要按照規(guī)則轉(zhuǎn)換為數(shù)值型數(shù)據(jù)后才能投入分析運(yùn)算，而公安機(jī)關(guān)掌握的數(shù)據(jù)資源大部分都為中文文本字符，采用機(jī)器學(xué)習(xí)算法對(duì)其進(jìn)行挖掘分析時(shí)，中文文本字符必須轉(zhuǎn)換為數(shù)值型數(shù)據(jù)，而轉(zhuǎn)換規(guī)則往往與業(yè)務(wù)場景相關(guān)。

(2)機(jī)器學(xué)習(xí)算法通常對(duì)投入運(yùn)算的數(shù)據(jù)量較為敏感，數(shù)據(jù)量不足，訓(xùn)練生成的模型往往精度不夠，后續(xù)計(jì)算輸出的分析結(jié)果往往很難直接用于實(shí)戰(zhàn)甚至對(duì)實(shí)戰(zhàn)形成誤導(dǎo)；數(shù)據(jù)量過大，訓(xùn)練生成的模型精度足夠但計(jì)算時(shí)間消耗又很可能過大，在實(shí)戰(zhàn)要求的時(shí)間內(nèi)無法完成計(jì)算輸出結(jié)果，從而導(dǎo)致應(yīng)用無法開展。

(3)每一種機(jī)器學(xué)習(xí)算法都有自己的技術(shù)特性，如聚類算法中有的算法需要預(yù)設(shè)聚類中心，有的則不需要預(yù)設(shè)聚類中心，能在聚類過程中自適應(yīng)生成，但對(duì)相同規(guī)模的同類數(shù)據(jù)進(jìn)行聚類運(yùn)算，預(yù)設(shè)聚類中心的算法往往比不需預(yù)設(shè)聚類中心的算法時(shí)間消耗少、計(jì)算效率高。

公安行業(yè)的數(shù)據(jù)分析，對(duì)精準(zhǔn)度、時(shí)效性都有著極高要求，兩者缺一都會(huì)導(dǎo)致模型的失敗。因此，綜合考慮業(yè)務(wù)應(yīng)用場景、投入計(jì)算的數(shù)據(jù)屬性特點(diǎn)、機(jī)器學(xué)習(xí)算法的自身技術(shù)特性等3項(xiàng)關(guān)鍵要素，是公安行業(yè)開展大數(shù)據(jù)建模分析選擇適用機(jī)器學(xué)習(xí)算法的最佳路徑。以公安大數(shù)據(jù)建模分析最常見的群體關(guān)系網(wǎng)絡(luò)分析為例，經(jīng)過實(shí)踐我們認(rèn)為，若用于計(jì)算的數(shù)據(jù)包括嫌疑對(duì)象自然屬性、行為軌跡等，當(dāng)業(yè)務(wù)場景為判斷某一對(duì)象是否屬于內(nèi)在特征已知的群體時(shí)，則選用常規(guī)分類算法較為高效；當(dāng)業(yè)務(wù)場景為查找未掌握內(nèi)在特征的未知群體時(shí)，則選用聚類算法較為有效，通過聚類運(yùn)算，不僅能發(fā)現(xiàn)未知群體，還能進(jìn)一步分解出群體行為特征。常見機(jī)器學(xué)習(xí)算法的技術(shù)特點(diǎn)和適用性分析見表2。

表2 公安數(shù)據(jù)分析機(jī)器學(xué)習(xí)算法適用性

機(jī)器學(xué)習(xí)算法應(yīng)用過程中基于業(yè)務(wù)場景的調(diào)優(yōu)是確保算法應(yīng)用質(zhì)效的關(guān)鍵，公安行業(yè)應(yīng)用機(jī)器學(xué)習(xí)算法也是如此。以絕大多數(shù)算法中都會(huì)用到的距離計(jì)算為例，不同的距離計(jì)算方法具有不同的技術(shù)特性，適用于不同的數(shù)據(jù)類型，具體應(yīng)用中如何選擇跟業(yè)務(wù)場景更是緊密相關(guān)。以公安大數(shù)據(jù)建模分析中的相關(guān)性分析及分類、聚類分析為例，為評(píng)價(jià)待計(jì)算個(gè)體的相似性或類別歸屬，都需要根據(jù)具體業(yè)務(wù)應(yīng)用場景和所計(jì)算數(shù)據(jù)的屬性特點(diǎn)，采用相適用的距離計(jì)算方法。公安數(shù)據(jù)分析中機(jī)器學(xué)習(xí)算法常用距離計(jì)算方法及其適用數(shù)據(jù)類型、適用業(yè)務(wù)場景見表3。

表3 公安數(shù)據(jù)分析機(jī)器學(xué)習(xí)算法常用距離計(jì)算方法適用性

4 結(jié)語

隨著公安大數(shù)據(jù)建設(shè)的持續(xù)深入，公安大數(shù)據(jù)資源已經(jīng)成為支撐公安工作轉(zhuǎn)型升級(jí)的基礎(chǔ)性資源，廣泛開展建模分析、深入挖掘數(shù)據(jù)價(jià)值，將越來越成為公安大數(shù)據(jù)應(yīng)用最為核心的內(nèi)容。在當(dāng)前機(jī)器學(xué)習(xí)及人工智能快速發(fā)展的過程中，緊扣公安機(jī)關(guān)業(yè)務(wù)應(yīng)用場景和數(shù)據(jù)屬性特點(diǎn)，構(gòu)建與公安行業(yè)相適應(yīng)的大數(shù)據(jù)分析算法體系，確保算法應(yīng)用的管用、實(shí)用，是公安大數(shù)據(jù)分析高質(zhì)量可持續(xù)發(fā)展的根本保證。研究發(fā)現(xiàn)，算法類型上，目前公安大數(shù)據(jù)建模分析所用算法主體仍是算術(shù)運(yùn)算、關(guān)系代數(shù)、描述統(tǒng)計(jì)等基礎(chǔ)性算法，占整體應(yīng)用的8成以上，主體功能還是以規(guī)則判別和查詢比對(duì)為主，將公安數(shù)據(jù)分析算法等同于機(jī)器學(xué)習(xí)算法甚至是深度學(xué)習(xí)算法在現(xiàn)階段并不合理；算法選擇上，綜合考慮業(yè)務(wù)應(yīng)用場景、數(shù)據(jù)屬性特點(diǎn)、算法自身技術(shù)特性等3項(xiàng)關(guān)鍵要素，科學(xué)選擇并優(yōu)化相應(yīng)算法，避免外圍合作伙伴主導(dǎo)的直接引入、簡單套用的應(yīng)用方式，確保所用算法與業(yè)務(wù)場景、數(shù)據(jù)特點(diǎn)匹配兼容，是實(shí)現(xiàn)選用算法實(shí)用實(shí)效的有效保證；應(yīng)用策略上，緊扣當(dāng)前公安大數(shù)據(jù)建模分析實(shí)際，用足用好算術(shù)運(yùn)算、關(guān)系代數(shù)、描述統(tǒng)計(jì)等基礎(chǔ)性算法，逐步深化應(yīng)用概率統(tǒng)計(jì)算法和經(jīng)典數(shù)據(jù)挖掘算法，以圖像、語音等模式識(shí)別類應(yīng)用為主體落地應(yīng)用深度學(xué)習(xí)算法，是當(dāng)前和今后一個(gè)時(shí)期，公安大數(shù)據(jù)建模分析算法選用較為實(shí)際的路徑。