基于改進PSO-BP神經(jīng)網(wǎng)絡(luò)算法在一般盜竊犯罪預(yù)測中的應(yīng)用

朱小波 次晉芳

(上海公安學院治安系 上海 200137)

0 引 言

在大數(shù)據(jù)時代下，犯罪預(yù)測是維護社會穩(wěn)定的重要基礎(chǔ)，對于打擊犯罪和有效開展預(yù)防犯罪工作具有深遠意義。廣州大學教授柳林認為，探索如何有效地開展犯罪防控不僅是公安部門的工作重點，更是理論界研究的熱點和難點[1]。目前有關(guān)犯罪預(yù)測的研究主要分為兩大部分。一是基于日?；顒永碚揫2]，將犯罪條件歸結(jié)于嫌疑人、合適的侵害目標、防范力量的缺失三部分相互作用的結(jié)果。日?；顒永碚撝赋龇缸锘顒优c物理環(huán)境間具有復(fù)雜的相關(guān)關(guān)系[3]，可根據(jù)犯罪活動相關(guān)影響因子，實現(xiàn)對于犯罪風險區(qū)的預(yù)測[4-5]。二是基于GIS空間分析統(tǒng)計與時空建模，利用犯罪時空數(shù)據(jù)，分析犯罪活動分布的時空規(guī)律，挖掘影響犯罪的相關(guān)因子，建立模型實現(xiàn)犯罪熱點的預(yù)測[6-7]。

隨著社會的快速發(fā)展，盜竊犯罪作案模式也越來越多，其影響因子也變得復(fù)雜多樣，線性的預(yù)測分析模型已不能滿足目前財產(chǎn)犯罪的需要。神經(jīng)網(wǎng)絡(luò)模型通過機器學習、數(shù)據(jù)訓(xùn)練能描述更多復(fù)雜的非線性相關(guān)關(guān)系[8]。在國內(nèi)，柳林等[1]通過運用隨機森林和時空核密度方法對不同周期犯罪熱點預(yù)測效果進行對比，發(fā)現(xiàn)了兩類預(yù)測方法的不同適應(yīng)性。中國人民公安大學孫菲菲等[9]提出了一套可應(yīng)用于微觀犯罪預(yù)測的改進的隨機森林算法，并且通過模擬實驗證明了該算法對海量犯罪數(shù)據(jù)的良好分類和預(yù)測結(jié)果。在國外，文獻[10]運用兩種不同的分類算法，即樸素貝葉斯算法和決策樹算法，對美國不同州的“犯罪種類分布”進行預(yù)測，實驗結(jié)果表明，決策樹算法的準確率相對更高。文獻[11]通過城市指標和隨機森林回歸來預(yù)測犯罪并量化城市指標對兇殺案的影響，該方法在位于巴西的研究區(qū)域內(nèi)可以達到97%的準確率。文獻[12]運用風險地形建模(Risk Terrain Modeling，RTM)與其他犯罪預(yù)測技術(shù)相比較，發(fā)現(xiàn)RTM在日本福岡的車輛盜竊案件方面的預(yù)測效率大約是其他技術(shù)的兩倍。上述這些基于數(shù)理統(tǒng)計的算法研究能在一定程度上對犯罪進行預(yù)測，但是鑒于某一算法自身的局限性，有必要采用改進的算法或是融合算法來提高預(yù)測的準確性。

PSO-BP在許多領(lǐng)域的預(yù)測研究都得到了廣泛的應(yīng)用，但在犯罪研究領(lǐng)域的實踐尚不多見。本文旨在分析一般盜竊案件的影響因子，并通過模型對比實驗得出適用于該類犯罪預(yù)測的優(yōu)化算法，為警方提供量化的分析和預(yù)測結(jié)果，同時也為我國大城市的盜竊犯罪治理提供一定的借鑒。

1 研究區(qū)域概況

芝加哥市是美國僅次于紐約、洛杉磯的第三大都會區(qū)，其位于伊利諾伊州，東臨五大湖，都市區(qū)內(nèi)人口約290萬，與周邊郊區(qū)共同組成的大芝加哥地區(qū)人口超過900萬。芝加哥“罪案之都”的稱號難免讓人不寒而栗。根據(jù)芝加哥市警察局網(wǎng)站數(shù)據(jù)顯示，2015年-2017年該局共接報362 673起報警，其中財產(chǎn)犯罪占240 334起。該局一般將30多種犯罪類型歸納成為三大類：(1) 暴力犯罪，包括攻擊、搶劫、毆斗、性侵犯、謀殺等；(2) 財產(chǎn)犯罪，包括縱火、一般盜竊、入室盜竊、汽車盜竊等；(3) 破壞生活質(zhì)量犯罪，包括破壞財物、吸食毒品、賣淫等。在財產(chǎn)犯罪的細分類型中，一般盜竊犯罪報警量為182 673起，占整個財產(chǎn)犯罪的76%，總犯罪量的50.36%?？梢姡话惚I竊犯罪在該市之猖獗。與美國其他的大城市如紐約、波士頓、華盛頓、洛杉磯相比，芝加哥市的該類犯罪接報數(shù)量也同樣是最高的。

2 數(shù)據(jù)預(yù)處理

2.1 犯罪數(shù)據(jù)集介紹

本文使用的數(shù)據(jù)集來源于芝加哥市警察局的公民執(zhí)法分析和報告系統(tǒng)。該數(shù)據(jù)集包括了2015年1月1日至2017年12月31日芝加哥市警察局接報的所有犯罪事件的案由、地址(經(jīng)緯度)、時間、案情描述等22個字段。本文抽取字段名為“Theft”即一般盜竊的數(shù)據(jù)，總量為182 673條。

運用ArcGIS(地理信息系統(tǒng))軟件對所有一般盜竊犯罪點在芝加哥市的799個人口統(tǒng)計區(qū)(Census Tract)級別的地圖上進行顯示，隨后使用該軟件的Join功能，計算得出每個人口統(tǒng)計區(qū)2015年-2017年的一般盜竊數(shù)量，即Crime count。

2.2 一般盜竊犯罪數(shù)量異常點檢測

箱線圖是利用數(shù)據(jù)的五個統(tǒng)計量：最小值(Min)、下四分位數(shù)(Q1)、中位數(shù)(Median)、上四分位數(shù)(Q3)與最大值(Max)來檢驗數(shù)值分布的一種方法。Crime count的箱線圖如圖1所示。因異常值偏離較邊緣值較遠，為清晰顯示箱線位置，將縱坐標上限設(shè)500。

圖1 Crimecount的箱線圖

箱線圖中存在一個矩形，上限為Q3，下限為Q1，矩形內(nèi)部存在一條橫線即是中位線，對應(yīng)于中位數(shù)。矩形上下邊緣的外側(cè)存在兩條橫向的線段，這兩條線段的端點為異常值的截斷點，對應(yīng)的數(shù)值分別為Q3+1.5IQR和Q1-1.5IQR。從箱線圖可以看出Crime count存在異常點。Crime count的詳細描述性統(tǒng)計量信息如表1所示。

表1 Crimecount的描述性統(tǒng)計量

續(xù)表1

考慮到Crime count的數(shù)值不可能為負，根據(jù)表1信息和異常值截斷點的計算方法，當Crime count>442.25或Crime count<0時為異常點。由此可以判斷本數(shù)據(jù)集存在55個異常點，為了不影響回歸分析采用暴力法直接刪除異常數(shù)據(jù)，數(shù)據(jù)集剩余744條數(shù)據(jù)。刪除異常數(shù)據(jù)后，本文使用R語言的mice包對缺失數(shù)據(jù)采用均值填充，并在填充的數(shù)據(jù)集上訓(xùn)練BP預(yù)測模型和PSO-BP預(yù)測模型。

3 PSO-BP神經(jīng)網(wǎng)絡(luò)模型

3.1 算法原理

3.1.1粒子群優(yōu)化算法

粒子群優(yōu)化(Particle Swarm Optimizer, PSO)算法最早發(fā)端于人對鳥群捕食行為的觀察與研究，即假設(shè)一群鳥在隨機地尋找食物，然而搜索區(qū)域內(nèi)只有一塊食物，并且所有的鳥都不知道食物的方位，但能判斷自己的位置與食物的距離。在鳥群中信息是共享的，每只鳥都會與其他鳥共享自己與食物的距離，所有鳥都會跟隨距離食物最近的那只鳥尋找食物，這蘊含著鳥類的社會行為和個體認知行為。

PSO算法正是從這種模型中得到啟發(fā)，優(yōu)化問題的每一個可行解都被看作一只鳥，被稱為“粒子”，每只鳥都在一個d維空間中尋找最優(yōu)解，每個粒子的當前位置與最優(yōu)解的距離由適應(yīng)度函數(shù)來確定，即為適應(yīng)值，每個粒子都有一個飛行速度，決定粒子飛行的速度和方向。

3.1.2BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)是一種多層前饋神經(jīng)網(wǎng)絡(luò)，主要特點是信號前向傳播，誤差反向傳播。信號前向傳播是指信號從輸入層經(jīng)過隱藏層處理，再經(jīng)過非線性變換，傳至輸出層，如果輸出層的輸出與期望輸出不相符，則計算誤差并將誤差進行反向傳播。誤差反向傳播是指誤差經(jīng)過輸出層，再到隱藏層，最后到輸入層，各層各個神經(jīng)元根據(jù)誤差信號調(diào)整權(quán)重和閾值，直至BP神經(jīng)網(wǎng)絡(luò)的誤差達到預(yù)設(shè)的值，或迭代次數(shù)達到最大迭代次數(shù)，使得預(yù)測輸出不斷逼近期望輸出。常見的三層BP神經(jīng)網(wǎng)絡(luò)拓撲結(jié)構(gòu)如圖2所示。

圖2 BP神經(jīng)網(wǎng)絡(luò)拓撲結(jié)構(gòu)圖

在圖2中，x1,x2,…,xd是BP神經(jīng)網(wǎng)絡(luò)的輸入值，輸入層的節(jié)點個數(shù)一般為訓(xùn)練數(shù)據(jù)集的維度。O1,O2,…,Om是BP神經(jīng)網(wǎng)絡(luò)的輸出值，uik和wkj分別是BP神經(jīng)網(wǎng)絡(luò)中輸入層與隱藏層的權(quán)重和隱藏層與輸出層之間的權(quán)重。事實上，BP神經(jīng)網(wǎng)絡(luò)可以看成一個非線性函數(shù)，網(wǎng)絡(luò)輸入值和輸出值分別為該函數(shù)的自變量和因變量。當輸入節(jié)點數(shù)為d、輸出節(jié)點數(shù)為m時，BP神經(jīng)網(wǎng)絡(luò)表示從d個自變量到m個因變量的映射關(guān)系。如果O是離散值且m>2，則BP神經(jīng)網(wǎng)絡(luò)可以解決多分類問題；如果O是離散值且m=2，則BP神經(jīng)網(wǎng)絡(luò)可以解決二分類問題；如果O是實數(shù)值，則BP神經(jīng)網(wǎng)絡(luò)可以解決回歸問題。

BP神經(jīng)網(wǎng)絡(luò)在處理多個輸入變量的數(shù)據(jù)上表現(xiàn)良好，而且具有結(jié)構(gòu)簡單，便于實現(xiàn)，且在數(shù)據(jù)量較少情況下能夠獲得較高的精度，但是由于初始權(quán)重是隨機產(chǎn)生的，極易陷入局部最優(yōu)解。

3.2 PSO-BP神經(jīng)網(wǎng)絡(luò)算法

本文基于粒子群優(yōu)化算法，結(jié)合BP神經(jīng)網(wǎng)絡(luò)的權(quán)重更新算法，尋找最佳的網(wǎng)絡(luò)連接權(quán)重和閾值。首先將BP神經(jīng)網(wǎng)絡(luò)連接權(quán)重和閾值進行粒子化，一般將BP神經(jīng)網(wǎng)絡(luò)的連接權(quán)重uik、wkj和閾值a、b拼接成為粒子的位置向量。設(shè)BP神經(jīng)網(wǎng)絡(luò)的輸入層、隱藏層及輸出層的節(jié)點數(shù)分別為d、l、m，則第n個粒子的位置向量為：

posn=(pn1,pn2,…,pnN)=(u11,…,uld,w11,

…,wlm,a1,…,al,b1,…,bm)

(1)

式中：N=dl+lm+l+m，uik表示輸入層節(jié)點i與隱藏層節(jié)點k的網(wǎng)絡(luò)連接權(quán)重，wkj表示隱藏層節(jié)點k與輸出層節(jié)點j的網(wǎng)絡(luò)連接權(quán)重，k=1,2，…,l；j=1,2，…,m。粒子的適應(yīng)度計算公式如下：

(2)

式中：N為訓(xùn)練樣本個數(shù)，Oik、yik分別表示粒子i確定的BP神經(jīng)網(wǎng)絡(luò)輸出層的預(yù)測輸出和期望輸出。

由于每個粒子能夠唯一確定一個神經(jīng)網(wǎng)絡(luò)，因此粒子位置的更新對應(yīng)著BP神經(jīng)網(wǎng)絡(luò)權(quán)重與閾值的更新?；诹Ｗ尤簝?yōu)化算法的BP神經(jīng)網(wǎng)絡(luò)正是利用這種粒子位置的更新過程來搜索最佳的網(wǎng)絡(luò)連接權(quán)重和閾值，從而達到BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練的目的。

在PSO-BP神經(jīng)網(wǎng)絡(luò)中，本文采用sigmoid作為激活函數(shù)，算法流程如下：

Step1初始化。

初始化網(wǎng)絡(luò)輸入層節(jié)點數(shù)d、隱藏層節(jié)點數(shù)l，輸出層節(jié)點數(shù)m，初始化隱藏層閾值a，輸出層閾值b，設(shè)置學習速率η和激勵函數(shù)f等參數(shù)。

初始化粒子群，包括粒子群的規(guī)模M，粒子n的位置向量posn=(posn1,posn2,…,posnd)和速度向量vn=(vn1,vn2,…,vnd)，個體極值pbestn=(pn1,pn2,…,pnd)與群體的全局極值gbest=(pg1,pg2,…,pgd)，最大迭代次數(shù)itmax及迭代誤差精度ε等，其中n=1,2,…,M。

使用訓(xùn)練集對算法模型進行訓(xùn)練，當f(gbest)<ε或迭代次數(shù)t

Step2利用如下BP神經(jīng)網(wǎng)絡(luò)權(quán)重更新公式對網(wǎng)絡(luò)連接權(quán)重uik、wkj和閾值a、b進行更新。

(3)

(4)

ak=ak-ηδik

(5)

bj=bj-ηδkj

(6)

Step3將權(quán)重uik、wkj和閾值a、b拼接并粒子化，對每個粒子計算其適應(yīng)值，得到粒子n的個體極值pbestn與群體的全局極值gbest，粒子化公式如式(1)所示，n=1,2,…,M。

Step4利用如下粒子群算法位置更新公式對各個粒子的位置進行更新。

(7)

(8)

γ=γmax-(γmax-γmin)t/itmax

(9)

Step5利用式(2)計算粒子群各粒子的適應(yīng)度，尋找粒子個體極值pbestn和群體全局極值gbest。

Step6輸出粒子群全局最佳位置gbest及其確定的BP神經(jīng)網(wǎng)絡(luò)連接權(quán)重和閾值。

綜上，本文提出的改進算法結(jié)合了PSO優(yōu)化算法與BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化過程。首先采用PSO優(yōu)化算法對BP神經(jīng)網(wǎng)絡(luò)的隨機初始權(quán)重進行全局尋優(yōu)，并將全局優(yōu)解作為BP神經(jīng)網(wǎng)絡(luò)的初始權(quán)重，然后采用PSO優(yōu)化算法和BP神經(jīng)網(wǎng)絡(luò)對權(quán)重進行交替更新，即在每一次的迭代過程中先采用BP神經(jīng)網(wǎng)絡(luò)對權(quán)重進行初步更新，再采用PSO優(yōu)化算法對權(quán)重進行再次優(yōu)化。這樣既利用了PSO優(yōu)化算法的全局搜索能力，又充分體現(xiàn)了BP神經(jīng)網(wǎng)絡(luò)的誤差反向傳播的特點，實現(xiàn)了從全局搜索BP神經(jīng)網(wǎng)絡(luò)的權(quán)重最優(yōu)解，使BP神經(jīng)網(wǎng)絡(luò)有了動態(tài)學習的能力，解決了BP神經(jīng)網(wǎng)絡(luò)易陷入局部最優(yōu)解的問題。

4 一般盜竊犯罪影響因素分析及數(shù)量預(yù)測

4.1 影響因子選取

目前國外對于美國犯罪問題的研究普遍采用的解釋變量為貧困率、單親家庭數(shù)、房價中位數(shù)、人種、就業(yè)率等[13]。因此，本文也根據(jù)United states census網(wǎng)站上提供的該市每個人口統(tǒng)計區(qū)的房價中位數(shù)(House price)、貧困率(Poverty percentage)、女性(單親)戶主數(shù)(Female household)、總?cè)丝跀?shù)(Total population)、白人人口數(shù)(White)、黑人或非裔美國人數(shù)(Black or Africa)、亞裔美國人數(shù)(Asian)、本科率(Bachelor degree)、勞動參與率(Labor force)、新建(改建)房屋許可數(shù)(Permit)、統(tǒng)計區(qū)內(nèi)各犯罪點到最近警務(wù)站的平均距離(Distance)等十一類數(shù)據(jù)，作為影響因子進行分析。如表2所示，House price屬性有10個缺失值，缺失率為1.34%，缺失率較低，其余變量缺失值均為0，本文使用R語言的mice包對缺失數(shù)據(jù)進行平均值填充。

表2 數(shù)據(jù)集詳細信息

4.2 犯罪數(shù)量影響因子分析

經(jīng)過異常值處理和缺失值處理后，本文使用R語言的rattle包對各個屬性與一般盜竊犯罪數(shù)量Crime count的相關(guān)性進行分析。在相關(guān)性分析時采用Pearson系數(shù)衡量兩個變量的相關(guān)度，為了消除數(shù)量級的影響，先將數(shù)據(jù)使用平均數(shù)方差法進行標準化處理，再做相關(guān)性分析，屬性之間的相關(guān)性分析結(jié)果如圖3所示。

圖3 相關(guān)性分析結(jié)果

圖3中，兩兩屬性之間可以用圓圈大小和顏色來表示相關(guān)性的強度，圓圈越大、顏色越深說明相關(guān)性越高，正值表示正相關(guān)，而負值則表示負相關(guān)?？梢钥闯?，房價(Houseprice)和白人人口數(shù)(White)與一般盜竊犯罪數(shù)量(Crimecount)的相關(guān)性最弱，而黑人或非裔美國人數(shù)(Black or Africa)、女性(單親)戶主數(shù)(Female household)以及新建(改建)房屋許可數(shù)(Permit)與該類犯罪數(shù)量的正相關(guān)性最強。

4.3 實驗方法及參數(shù)設(shè)置

在對犯罪數(shù)量進行預(yù)測時，將數(shù)據(jù)集采取7:3隨機劃分，取70%的數(shù)據(jù)為訓(xùn)練集，30%的數(shù)據(jù)為測試集，訓(xùn)練集中Crimecount的描述性統(tǒng)計量如表3所示。

表3 訓(xùn)練集中Crimecount的描述統(tǒng)計量

在訓(xùn)練預(yù)測模型之前，首先對數(shù)據(jù)進行歸一化處理，在建立BP神經(jīng)網(wǎng)絡(luò)模型時，隱藏層節(jié)點設(shè)為12，訓(xùn)練次數(shù)為1 000，學習率η=0.01，激活函數(shù)為‘tansig’；在建立PSO-BP神經(jīng)網(wǎng)絡(luò)時，隱藏層節(jié)點數(shù)設(shè)為3，訓(xùn)練次數(shù)1 000，激活函數(shù)為‘tangisg’，粒子群規(guī)模40，粒子飛行速度最大為0.5，wmax=0.9，wmin=0.3，c1=2，c2=1.8，a=-1，b=1，r1=r2=1。

分別根據(jù)之前介紹的BP神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練方法和PSO-BP神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練方法，訓(xùn)練犯罪數(shù)量預(yù)測模型。訓(xùn)練得到PSO-BP神經(jīng)網(wǎng)絡(luò)從輸入層到隱藏層的權(quán)重及閾值如表4所示，隱藏層到輸出層的權(quán)重及閾值如表5所示。

表4 輸入層到隱藏層權(quán)重及閾值

表5 隱藏層到輸出層權(quán)重及閾值

以表6所示的5個樣本為例，將數(shù)據(jù)送入輸入層，首先需要歸一化處理，然后根據(jù)權(quán)重uik和閾值ak進行加權(quán)求和并經(jīng)過隱藏層的激勵函數(shù)進行計算并輸出，隱藏層的輸出數(shù)據(jù)作為輸出層的輸入數(shù)據(jù)，并經(jīng)過輸出層的權(quán)重wkj和閾值b進行加權(quán)求和，最后進行反歸一化處理并作為輸出層的輸出數(shù)據(jù)，即為樣本的預(yù)測犯罪數(shù)量(對應(yīng)于表6中的Predicted Crimecount行)，表6所示樣本的真實犯罪數(shù)量為True Crimecount行。

表6 樣例及PSO-BP預(yù)測結(jié)果

4.4 預(yù)測結(jié)果與評價

采用上述實驗方法和參數(shù)設(shè)置對訓(xùn)練集進行預(yù)測模型訓(xùn)練，得到預(yù)測模型后，對測試集進行預(yù)測，并對結(jié)果進行反歸一化處理。真實值與BP預(yù)測值、PSO-BP預(yù)測值的對比結(jié)果如圖4所示，可以看出，PSO-BP模型的預(yù)測值與實際值比較接近。

圖4 犯罪數(shù)量預(yù)測結(jié)果對比

圖5給出了應(yīng)用BP神經(jīng)網(wǎng)絡(luò)模型和PSO-BP神經(jīng)網(wǎng)絡(luò)模型預(yù)測的各人口統(tǒng)計區(qū)犯罪數(shù)量的平均絕對值相對誤差EMAPE，計算公式如下：

(10)

式中：yj、Oj分別為第j人口統(tǒng)計區(qū)實際犯罪數(shù)量和預(yù)測數(shù)量。

圖5 預(yù)測結(jié)果相對誤差對比

圖5中有很多誤差“尖峰”，這些點的出現(xiàn)直接影響了預(yù)測的整體效果，目前國內(nèi)外學者對“尖峰”的研究較少，主要是這些“尖峰”產(chǎn)生的原因非常復(fù)雜，規(guī)律性差，很難預(yù)測。但與BP神經(jīng)網(wǎng)絡(luò)相比，PSO-BP預(yù)測的相對誤差相對較小。

表7給出了兩種模型的平均EMAPE值的對比分析，相較于BP神經(jīng)網(wǎng)絡(luò)模型，PSO-BP神經(jīng)網(wǎng)絡(luò)模型的預(yù)測精度具有明顯提高。

表7 兩種模型的平均相對誤差

5 結(jié) 語

本文針對BP神經(jīng)網(wǎng)絡(luò)對初始權(quán)重敏感，容易陷入局部最優(yōu)解的問題，引入PSO優(yōu)化算法，對網(wǎng)絡(luò)權(quán)重進行全局搜索，同時采用BP神經(jīng)網(wǎng)絡(luò)權(quán)重更新方法對PSO搜索到的權(quán)重和閾值進行進一步更新，構(gòu)建PSO-BP神經(jīng)網(wǎng)絡(luò)模型，對犯罪數(shù)量進行預(yù)測。在744個人口統(tǒng)計區(qū)的犯罪數(shù)據(jù)集上的實驗結(jié)果表明，基于PSO-BP神經(jīng)網(wǎng)絡(luò)算法的犯罪數(shù)量預(yù)測模型的預(yù)測精度有明顯提升，在該一般盜竊犯罪的數(shù)量預(yù)測中有良好的應(yīng)用效果。