基于用戶行為分析的詐騙電話識別①

楊建昆,夏文財

1(中國電信股份有限公司 云南分公司,昆明 650299)

2(云南電信公眾信息產(chǎn)業(yè)有限公司,昆明 650118)

1 概述

詐騙電話對用戶的正常通信造成嚴重干擾,并給部分用戶造成經(jīng)濟損失.國家從政策法規(guī)、執(zhí)法力度方面加強打擊和遏制.運營商在電話入網(wǎng)開通時進行嚴格實名認證并進行個人開通號碼數(shù)限制.這些措施的執(zhí)行取得了一定效果,但詐騙電話依然較多,個別地區(qū)反詐形式嚴峻,社會反響較大[1,2].

近年,公安部門、通信運營商也積極從技術方面采取防范措施,從電話使用行為的監(jiān)管和分析入手,發(fā)現(xiàn)有詐騙行為特征的電話及時進行關停,盡量做到早發(fā)現(xiàn)、早制止,從而減少危害.筆者所在省電信公司從2017年開始向公安反詐平臺推送實時話單做反詐分析,同時公司也建立了自己的異常呼叫識別平臺,對異常呼叫號碼進行識別,對達到一定閾值條件的號碼進行關停處理.判別依據(jù)主要是根據(jù)詐騙電話的高頻主叫特征.存在的突出問題就是誤判較多,因為很多客服類、快遞、送餐類電話也具有高頻主叫特征[3,4].

關于詐騙電話識別方面的研究近年也有很多,但主要也是基于語音話單和呼叫信令分析方面.文獻[5]提出通過通信記錄數(shù)據(jù)去發(fā)現(xiàn)電信詐騙通話行為與普通用戶的通話行為特征差異,并結合用戶屬性,使用支持向量機(SVM)進行電信詐騙行為的學習,完成電信詐騙行為的識別.文獻[6]介紹了通過對海量呼叫信令的大數(shù)據(jù)分析進行詐騙電話預警.

本文在基于通話行為特征分析的基礎上,采集用戶上網(wǎng)行為數(shù)據(jù),再結合用戶年齡、入網(wǎng)時長、使用手機終端類型等基礎信息進行綜合分析,建立機器學習模型,對歷史數(shù)據(jù)進行學習,能更好的發(fā)現(xiàn)騷擾、詐騙電話特征,更好的區(qū)分詐騙電話與快遞類、網(wǎng)約車司機、客服類電話的不同.可有效減少誤判,降低漏判,提升詐騙識別的準確率和覆蓋面.

近年,機器學習相關技術和工具也有了較快發(fā)展,出現(xiàn)了一些新的效率更高、分類效果更好的機器學習算法.針對我們采集的樣本數(shù)據(jù),神經(jīng)網(wǎng)絡算法具有明顯的優(yōu)勢,本文介紹的詐騙電話識別方法最終采用神經(jīng)網(wǎng)絡算法建立機器學習模型實現(xiàn).為方便識別方法描述,文中針對主要技術環(huán)節(jié)給出用Python 語言編寫的具體實現(xiàn)代碼.

2 樣本號碼及用戶行為特征數(shù)據(jù)采集

具有代表性的樣本號碼和區(qū)分度高的特征維度數(shù)據(jù)是建立一個好的詐騙電話識別模型的基礎.

用戶資料、話單等數(shù)據(jù)是受國家法律保護的個人隱私數(shù)據(jù).通信運營商需嚴格管控,不能外泄,僅可在本網(wǎng)內(nèi)分析使用.因此,從全網(wǎng)收集樣本數(shù)據(jù)較為困難,本項目實驗采集樣本數(shù)據(jù)僅限于筆者所在電信公司本網(wǎng)數(shù)據(jù).實驗證明有效的方法也可供其他運營商在自己網(wǎng)內(nèi)參考使用.

2.1 樣本號碼的收集

為了能準確的區(qū)分不同類別電話特征差異,減少誤判,同時結合收集數(shù)據(jù)的難易程度,我們將號碼分為詐騙電話、快遞類電話、常規(guī)電話、騷擾電話、網(wǎng)約車司機電話5 類進行分析.在后面算法模型中分別用類別0、1、2、3、4 表示.

項目分析用樣本數(shù)據(jù)為341 549 個電信號碼,其中詐騙電話11 229 個;騷擾電話18 594 個;網(wǎng)約車司機電話2388 個;快遞類電話9338 個;普通電話300 000 個.

騷擾和詐騙電話從12321 舉報中心和公安部門通報下發(fā)的數(shù)據(jù)得到.其中詐騙電話含公安通報的實際涉案電話和用戶舉報且舉報類型為詐騙的電話.我們建立模型的目的就是監(jiān)測和識別騷擾詐騙電話,盡量做到早發(fā)現(xiàn),早關停,減少危害,降低投訴.

網(wǎng)約車司機電話和快遞類電話從網(wǎng)約車平臺和物流公司得到.這類電話用戶基本穩(wěn)定,數(shù)量也較少,基本采用全量收集.收集這2 類電話的目的是為了更好的學習他們與詐騙電話的不同特點,使模型能更準確的對他們進行區(qū)分,避免誤判停機,影響快遞員、網(wǎng)約車司機的正常通信.各種客服電話在實踐中也是容易被誤判的一類電話,但客服類電話難于準確標識,不便單獨采集進行學習,我們把它歸到普通電話類別中.

普通電話為不屬于騷擾詐騙、快遞送餐類、網(wǎng)約車類的其他電話,相當于訓練集的負樣本.這類電話可從運營商數(shù)據(jù)庫中直接抽取,最容易得到,但不是越多越好,可根據(jù)模型分析需要適量抽取.由于其他類別電話采集量受客觀因素影響,相對固定,單方面增加普通電話樣本量會增加正負樣本的不平衡性和模型訓練的復雜度,對訓練結果提升不一定有利.實際訓練過程中我們嘗試取不同數(shù)量負樣本進行訓練,初始階段訓練效果隨樣本數(shù)增加而提升,當負樣本數(shù)量達到正樣本數(shù)10 倍以后,訓練效果成下降趨勢.

2.2 特征選擇及特征數(shù)據(jù)采集

每類電話都有自己相對獨立的特征,要提高模型的分類能力,就要讓模型盡可能學習到對各類電話有區(qū)分度的各種維度特征.一般先根據(jù)業(yè)務經(jīng)驗確定可能對區(qū)分不同類別電話有用的數(shù)據(jù)特征,再結合數(shù)據(jù)采集難易程度及用于生產(chǎn)環(huán)境的可行性來確定需要采用的數(shù)據(jù)維度特征.采集到數(shù)據(jù)后,再利用特征工程分析各種特征對區(qū)分不同類別電話的實際作用,對作用不明顯或無實際意義的特征進行剔除.

本文采用了電話用戶的基礎屬性、用戶使用手機終端信息、用戶通話行為信息、短信收發(fā)信息、用戶上網(wǎng)行為信息等.

2.2.1 用戶基礎屬性及資費數(shù)據(jù)采集

用戶基礎屬性包括年齡、性別,入網(wǎng)時間、積分、信用度等級、星級等.用戶資費數(shù)據(jù)包括套餐基本費、月均話費、預存余額、欠費情況等.作為通信運營商,客戶基礎信息和資費信息就保存在運營商自己的客戶關系管理系統(tǒng)(CRM)和賬務系統(tǒng)中,可以直接從數(shù)據(jù)庫中獲取,是最容易采集到的數(shù)據(jù).

由于詐騙電話號碼容易被封停,因此,用于詐騙的電話通常是新開卡、臨時卡.從號卡入網(wǎng)時間等基礎屬性數(shù)據(jù)能做一定程度的區(qū)分.

2.2.2 用戶通話行為數(shù)據(jù)采集

用戶通話行為數(shù)據(jù)可從語音話單或呼叫信令中得到.具體通過統(tǒng)計一段時期內(nèi)的通話記錄來構建,包括主叫次數(shù)、被叫次數(shù)、通話時長、漫游通話天數(shù)、漫游地個數(shù)、主叫通話人數(shù)、每天不同時段通話情況等.與商務人士、固定上下班人員不同,詐騙活動通常是在一個相對固定的場所進行.因此,通話行為也是區(qū)分普通電話與騷擾詐騙電話的重要特征.

2.2.3 用戶使用的手機終端信息采集

詐騙電話使用的手機一般為專用手機,不作為個人正常通信使用,所用手機通常性價比較高.因此,手機終端型號,價格也是詐騙電話的一個較為顯著的特征.從自注冊系統(tǒng)、大數(shù)據(jù)平臺可以獲取到終端型號數(shù)據(jù).從終端管理系統(tǒng)可以獲取到終端價格信息.

絕大部分手機在首次使用時會通過短信將手機品牌、型號等終端信息發(fā)送給通信運營商的自注冊系統(tǒng),因此,從自注冊系統(tǒng)可以采集到手機終端信息.

少部分品牌手機不會發(fā)送自注冊信息給自注冊平臺,這類手機終端信息可從用戶上網(wǎng)日志的HTTP 請求包頭中解析得到.前提是運營商建有可存儲上網(wǎng)日志的大數(shù)據(jù)平臺.

2.2.4 用戶上網(wǎng)行為特征數(shù)據(jù)采集

用戶上網(wǎng)行為包括用戶一段時間內(nèi)使用的數(shù)據(jù)流量、上網(wǎng)時長、上網(wǎng)內(nèi)容等.數(shù)據(jù)使用量和上網(wǎng)時長可從數(shù)據(jù)話單中得到.上網(wǎng)內(nèi)容即用戶上網(wǎng)做什么,經(jīng)常使用什么手機APP 等.可從經(jīng)常訪問的網(wǎng)址和經(jīng)常使用的APP 來評判.不同類別電話用戶經(jīng)常使用的APP 有較大差異,網(wǎng)約車司機使用導航類APP 相對較多,同時有自己專用的接單APP;快遞送餐類同樣有自己專用的APP.因此,APP 使用行為是一個重要的分類特征標識.我們根據(jù)APP 在各類電話用戶中使用的頻次情況,收集了8 個典型APP 作為模型特征參與電話分類.將一段時間內(nèi)用戶使用各個APP的次數(shù)作為特征值.這是本方法與傳統(tǒng)詐騙電話識別方法最大的不同點,下面進一步說明APP 特征數(shù)據(jù)的采集方法.

移動網(wǎng)絡在為手機提供上網(wǎng)服務時,會產(chǎn)生與上網(wǎng)行為相關的日志.日志內(nèi)容包含訪問IP、端口、HTTP請求報頭、通信協(xié)議等信息.HTTP 報頭中包含手機終端使用的操作系統(tǒng)版本,終端型號等信息,通過對包頭解析可提取出上網(wǎng)手機的終端信息.另外,每個手機APP都會與相對固定的遠端服務器連接,并有相對固定的訪問IP、端口和通信協(xié)議.根據(jù)用戶手機請求的IP 地址、端口、協(xié)議信息我們就能知道用戶使用的APP 情況.

上網(wǎng)日志數(shù)據(jù)量巨大,一個中等規(guī)模省份一天的日志量級達TB 級,記錄數(shù)超百億,要長期存儲和使用這些日志數(shù)據(jù)必須具有分布式的海量存儲和強大的并行計算能力.得益于近年大數(shù)據(jù)技術的發(fā)展,三大運營商都建設了自己的大數(shù)據(jù)平臺.用戶較長一段時間的上網(wǎng)日志都會留存在大數(shù)據(jù)平臺中,為上網(wǎng)行為分析提供了基礎條件.正是有了這樣的環(huán)境,我們可以使用上網(wǎng)行為特征參與電話分類,進行更準確的詐騙電話識別.

在實際的生產(chǎn)環(huán)境中,為提高響應速度,合理分擔負載,運營商一般會建立省級、集團級2 級大數(shù)據(jù)平臺.省級平臺實時接收網(wǎng)絡設備產(chǎn)生的上網(wǎng)日志,并根據(jù)日志中的IP、協(xié)議、端口等信息結合打標規(guī)則進行打標(在日志記錄中增加標簽信息,如標注是哪個已知性質(zhì)的APP 產(chǎn)生的日志),然后再上傳集團大數(shù)據(jù)平臺.集團再做關聯(lián)匯總形成滿足各種維度需求的寬表數(shù)據(jù),從而滿足其他系統(tǒng)及各省對數(shù)據(jù)請求響應的及時性要求.

根據(jù)以上業(yè)務分析和數(shù)據(jù)采集方法,本次研究共收集了63 個維度特征數(shù)據(jù)參與電話分類識別.

2.3 維度特征相關性分析

為了進一步了解所選特征對電話分類的支持程度,探索特征選擇的合理性,我們使用開源工具feachselect對特征與類別標簽做相關性分析,主要實現(xiàn)代碼如下:

fs=FeatureSelector(data=X,labels=Y)

fs.identify_zero_importance(task='classification',eva l_metric='None',n_iterations=10)

fs.identify_collinear(correlation_threshold=0.9)

print(fs.record_collinear) #強的特征可進行相關合并

print(fs.feature_importances) #重要性低的可移除

fs.feature_importances.to_csv('/python/zpsb/data/im p.csv')

表1列出了部分特征的重要性分析結果.

表1 分類特征重要性系數(shù)表

從特征重要性分析結果可看出,選用的與上網(wǎng)行為相關的特征,即手機APP 使用次數(shù)對分類重要性排序都排在前50,尤其app1 使用次數(shù)對電話分類的區(qū)分度更是好于很多通話行為特征.

會員級別對分類的重要性系數(shù)接近0,說明該特征對電話分類幾乎沒有意義.主要原因是會員級別取值分布較為集中,其中取值為99 999的記錄占99%,即不管什么類別電話,其對應的會員級別取值基本是一樣的,這種特征列對電話分類沒有區(qū)分度,可以移除,留下反而會增加模型復雜度.通過后面測試驗證也證明相關性極低的特征從模型中移除更有利于模型效果的提升.

2.4 樣本數(shù)據(jù)的拆分

對數(shù)據(jù)進行分析前,需先對數(shù)據(jù)進行預處理,包括將樣例數(shù)據(jù)中的空值、異常值用合適的值進行替換;將日期、字符型特征進行數(shù)值化轉換;用標準化變換消除量綱對特征取值的影響,并做歸一化轉換.數(shù)據(jù)預處理對保證模型效果具有重要意義,處理過程基本都是經(jīng)典方法,本文不做詳述.

將經(jīng)過預處理的數(shù)據(jù)先按列拆分為特征列(用X 表示)和標簽列(Y 表示).再將樣本特征數(shù)據(jù)按行劃分為訓練集x_train和測試集x_test,對應的標簽數(shù)據(jù)為y_train和y_test.訓練集數(shù)據(jù)用來訓練模型.未參與訓練的測試集數(shù)據(jù)用來驗證模型效果.方法如下:

x_train,x_test,y_train,y_test=train_test_split(X,Y,test_size=0.25,stratify=y,random_state=0)

指定stratify=y是為了保持拆分后各類別電話在拆分集的比例與原樣本集保持一致,確保少數(shù)類電話不因拆分隨機性在某個拆分集占比太少,影響學習或效果評估.

3 算法選擇及機器學習識別模型的建立

電話分類預測是一個多分類問題,有多種分類算法支持建立多分類識別模型.在開始學習前難于確定采用哪種算法較好.一般先采用多種主流算法進行嘗試性訓練和評估,如果試用模型表現(xiàn)都較好,則分別調(diào)參優(yōu)化,再用集合算法進一步提升預測效果.

針對本次電話樣例數(shù)據(jù),分別采用決策樹、文獻[3]介紹的改進GA-SVM、微軟的梯度提升框架LightGBM(Light Gradient Boosting Machine)、神經(jīng)網(wǎng)絡進行機器學習.測試發(fā)現(xiàn)LightGBM和神經(jīng)網(wǎng)絡效果明顯好于其他方法,訓練宏平均得分在85%以上,其他方法都在80%以下.其中LightGBM 在無GPU 環(huán)境下訓練速度最快.神經(jīng)網(wǎng)絡驗證得分最高,在GPU 環(huán)境下,訓練速度比LightGBM 更快.下面重點介紹用神經(jīng)網(wǎng)絡建立詐騙電話識別模型.

3.1 用Keras 框架定義神經(jīng)網(wǎng)絡

Keras是一個用 Python 編寫的深度學習框架API,支持多種深度學習語言(TensorFlow、CNTK 等)并內(nèi)置GPU 支持.利用Kerase 能比較高效的完成模型建立.

通過Keras 建立一個MLP 神經(jīng)網(wǎng)絡詐騙電話識別模型的實現(xiàn)方法如下:

model=Sequential()

model.add(Dense(512,activation='sigmoid',input_dim=x.shape[1])) #定義輸入層

model.add(Dense(256,activation='relu')) #添加隱藏層

model.add(Dense(5,activation='sigmoid')) #定義輸出層

adam=keras.optimizers.Adam(lr=0.000 5) #定義優(yōu)化器

model.compile(loss='categorical_crossentropy',opti mizer='adam’,metrics=['accuracy']) #編譯模型

his=model.fit(x_train,to_categorical(y_train,num_cla sses=5),epochs=120,batch_size=2048,validation_data=(x_test,to_categorical(y_test,num_classes=5)))

y_pred=model.predict_classes(x_test) #對測試號碼分類

#輸出模型評估報告(實際值與預測值對比分析)

print(metrics.classification_report(y_test,y_pred))

model.save('/model/zpsb.h5') #保存訓練好的模型

3.2 模型參數(shù)選擇及調(diào)優(yōu)

模型參數(shù)的取值與具體樣本特征關系較大,下面對幾個重要參數(shù)的確定進行說明.

激活函數(shù)用于映射特征值與標簽值的內(nèi)在關系.對于多分類,輸出層的激活函數(shù)通常使用雙曲正切函數(shù)Sigmod 或Softmax.本類中用Sigmod 效果較好.輸入層和隱藏層一般選擇線性整流函數(shù)ReLU 效率更高.

損失函數(shù)用于計算真實值與預測值的差.模型訓練的目的就是使損失值最小.對于多分類,損失函數(shù)為categorical_crossentropy,同時標簽值需用函數(shù)to_categorical進行向量化.

優(yōu)化器是更新激活函數(shù)權重的特定算法,用于確定優(yōu)化方向,降低損失值.Adam(自適應學習率)在確保收斂的情況下,能大幅提升學習效率,學習效果也通常更好.在本例中使用默認參數(shù)情況下,采用Adam 比采用sgd (隨機梯度)綜合得分提升約2%.

迭代次數(shù)指定模型重復訓練的輪數(shù).在每次迭代中,優(yōu)化器都重新調(diào)整權重,提高訓練準確率.將保存在his中的訓練過程數(shù)據(jù)顯示出來可方便的看出最佳迭代次數(shù),如圖1所示.

圖1 迭代次數(shù)與準確率關系

從圖1中可以看出迭代次數(shù)越大訓練擬合越好(虛線),但當?shù)螖?shù)超過120 次時,驗證效果不再提升反而有下降.建立模型的目的是用于對未知標簽的數(shù)據(jù)進行預測,因此最佳迭代次數(shù)由驗證曲線決定.

Batch_size 參數(shù)設定每次迭代時一次輸入模型的樣本數(shù).為使每次處理的數(shù)據(jù)都盡可能包含占比較小類別的電話,將該參數(shù)值設置為遠大于默認值的值.本例設置為2048 取得較好效果.

3.3 識別方法及模型效果評估

詐騙識別模型效果的評估一是要考慮分類準確性,即查準率,驗證有多少識別為詐騙的電話是真的詐騙電話,有多少被誤判.二是要考慮所有詐騙電話中有多少能被識別出來,多少被漏判,即召回率.只有召回率和查準率都高,才能達到最終的應用目的.因此,用綜合了查準率和召回率的綜合性指標F1 得分對模型效果進行評估.

使用sklearn 工具包能比較完整的得到模型對驗證數(shù)據(jù)分類結果的效果評估報告,代碼如下:

from sklearn import metrics

print(metrics.classification_report(y_test,y_pred))

為了分析上網(wǎng)行為特征對電話分類的實際作用,分別使用不帶上網(wǎng)行為特征數(shù)據(jù)和帶上網(wǎng)行為特征數(shù)據(jù)分別訓練模型,再對測試數(shù)據(jù)進行分類并輸出評估報告,如表2和表3所示.

表2 分類結果評估報告(不使用上網(wǎng)行為特征)

表3 分類結果評估報告(使用上網(wǎng)行為特征)

從表2、表3對比可以看出,在采用同樣算法模型和參數(shù)的情況下,使用上網(wǎng)行為特征參與詐騙電話分類識別,模型驗證集F1 得分宏平均值為88%,比不使用上網(wǎng)行為特征F1 得分提升了5%.詐騙電話(類別0)本身的F1 得分提升了2%,召回率得分提升了3%,也即有更多的詐騙電話能被識別出來,同時準確率也同步得到提升.最主要的原因是通過使用上網(wǎng)行為特征,網(wǎng)約車(類別4)、快遞類電話得到準確區(qū)分,網(wǎng)約車識別F1 得分從58%大幅提升到82%,誤判率得到大幅降低.

由于訓練集只是樣本的一部分,在所有參數(shù)都調(diào)整完成后,可將測試數(shù)據(jù)并入訓練集,用全部樣本數(shù)據(jù)再對模型做最終訓練.由于訓練數(shù)的增加,訓練后的模型泛化能力會進一步提升,實際分類效果會比表3所示的分類效果更好.

4 模型應用

訓練好的模型可用于對給定號碼集進行靜態(tài)預測分類,也可用于生產(chǎn)過程進行在線識別.在線識別用于監(jiān)測分析實時話單,及時識別并攔截當天具有詐騙行為特征的電話.靜態(tài)分類多用于對當天之前的歷史話單進行分析,批量輸出騷擾詐騙電話進行關停處理.靜態(tài)識別一般是對在線識別漏掉的詐騙電話進行重新分析和挖掘.

部署一臺運行識別模型的服務器,每天夜間從大數(shù)據(jù)平臺抽取話單、上網(wǎng)行為特征等業(yè)務數(shù)據(jù),經(jīng)清洗變換形成模型所需要的特征數(shù)據(jù),為電話分類識別做好準備.再部署一臺話單監(jiān)聽服務器,實時接收交換機送來的話單文件,解析話單入庫,并對每個主叫號碼進行通話頻次統(tǒng)計,當在設定時間窗口內(nèi),主叫超過一定次數(shù),則將號碼送入運行詐騙電話識別模型的服務器做進一步識別,如果被識別為疑似詐騙電話,則通知設備進行關停處理,從而實現(xiàn)詐騙電話的在線識別和及時攔截.

本文介紹的模型方法使用了用戶入網(wǎng)時間、性別、上網(wǎng)行為日志等數(shù)據(jù),適用于擁有這些數(shù)據(jù)的本網(wǎng)運營商做詐騙識別分析,并對識別出的騷擾詐騙電話及時進行關停操作.

對異網(wǎng)號碼或國際呼入電話,由于難于采集用戶基本屬性數(shù)據(jù)和上網(wǎng)行為數(shù)據(jù),只能建立只針對通話行為進行分析的模型,判定為疑似詐騙的異網(wǎng)電話可在交換機進行攔截,中止接續(xù)服務.由于缺少上網(wǎng)行為等特征分析,為減少誤判,只能放寬攔截條件.

5 結束語

本文介紹了基于用戶上網(wǎng)行為和通話行為分析的詐騙電話識別方法,并通過神經(jīng)網(wǎng)絡算法建立了可用于生產(chǎn)環(huán)境進行詐騙電話識別的機器識別模型.所述方法容易在生產(chǎn)環(huán)境部署實施,通過測試數(shù)據(jù)進行驗證,詐騙電話識別的準確率和召回率相比傳統(tǒng)只基于通話行為的識別效果有明顯提升.

電話詐騙形式多樣且多變,識別模型也需要不斷改進提升.一方面是不斷的用新的能代表近期詐騙電話特點的樣本數(shù)據(jù)重新學習.在用于生產(chǎn)過程中,及時將誤判的號碼加上標簽作為樣本數(shù)據(jù)參與新的輪次學習,使模型不斷自我學習,自我提升,越用越準確.另一方面,探索引入新的有利于提高模型區(qū)分度的新特征,如用戶開戶證件類型、通話基站及位置等特征參與機器學習,也可考慮引入第三方平臺(360 手機衛(wèi)士、阿里錢盾等)收集到的大眾對電話的標識信息作為特征參與分類等,這些可作為進一步提升詐騙電話識別效果的改進方向.