一種基于樸素貝葉斯的銀行卡批量業(yè)務(wù)預(yù)測方法

羅鳴(中國銀聯(lián)股份有限公司， 上海 201201)

一種基于樸素貝葉斯的銀行卡批量業(yè)務(wù)預(yù)測方法

羅鳴
(中國銀聯(lián)股份有限公司， 上海 201201)

目前銀行卡批量業(yè)務(wù)已成為一種比較常見且重要的金融產(chǎn)品，其交易來源于收單機構(gòu)以結(jié)算文件的形式批量上送，對后臺處理系統(tǒng)的性能要求較高?；跇闼刎惾~斯理論提出了銀行卡批量業(yè)務(wù)日最大TPS(每秒交易筆數(shù))的預(yù)測方法。利用生產(chǎn)數(shù)據(jù)在測試環(huán)境的回放，得到測試環(huán)境最大TPS與生產(chǎn)實際值的回歸關(guān)系，進而在測試環(huán)境擬合得到大量樣本數(shù)據(jù)作為訓練集，并取其中的20%數(shù)據(jù)作為測試集，實際驗證了該方法具有準確度高、魯棒性強的特點。

樸素貝葉斯； 銀行卡批量業(yè)務(wù)； 每秒交易筆數(shù)最大值預(yù)測

0 引言

銀行卡批量業(yè)務(wù)產(chǎn)品可以實現(xiàn)企事業(yè)單位從自身單位結(jié)算賬戶向持卡人指定銀行卡賬戶進行款項劃付，用與實現(xiàn)商戶賬戶向其用戶之間不同賬戶的跨行資金實時劃轉(zhuǎn)。目前銀聯(lián)批量業(yè)務(wù)可廣泛應(yīng)用于各行業(yè)，包括但不限于保險賠付及分紅、農(nóng)資產(chǎn)品收購、薪資發(fā)放、財稅庫銀退稅等領(lǐng)域。

批量業(yè)務(wù)來源主要為收單機構(gòu)的交易上送，通過銀行卡轉(zhuǎn)接系統(tǒng)發(fā)送到發(fā)卡機構(gòu)，批量交易存在批處理時短時TPS(每秒交易筆數(shù))較大的特點，對于銀行卡交易轉(zhuǎn)接系統(tǒng)、發(fā)卡機構(gòu)處理系統(tǒng)均存在短時交易壓力增大，從而對系統(tǒng)處理性能提出了一定要求，故銀行卡批量業(yè)務(wù)最大TPS預(yù)測尤為必要。通過對最大TPS的預(yù)測，提出對系統(tǒng)的可預(yù)期的性能需求，從而指導(dǎo)系統(tǒng)進行架構(gòu)設(shè)計。

樸素貝葉斯方法作為數(shù)據(jù)挖掘領(lǐng)域的經(jīng)典算法，在不同的領(lǐng)域有著廣泛的應(yīng)用場景[1-3]。本文中利用生產(chǎn)數(shù)據(jù)在測試環(huán)境的回放，得到測試環(huán)境最大TPS與生產(chǎn)實際值的回歸關(guān)系，進而在測試環(huán)境擬合得到大量樣本數(shù)據(jù)作為訓練集，并取其中的20%數(shù)據(jù)作為測試集，使用樸素貝葉斯方法進行特征項提取，進而求出不同類別出現(xiàn)的概率，取出現(xiàn)概率最大的類別作為TPS預(yù)測結(jié)果。

1 系統(tǒng)概述

本系統(tǒng)實現(xiàn)包括

(1)樣本獲?。合到y(tǒng)中采用機構(gòu)每日上送文件明細數(shù)作為貝葉斯概率計算中的特征項。輸出類別即為每日生產(chǎn)系統(tǒng)上批量應(yīng)用達到的最大TPS值。為了提高預(yù)測的準確性，需要獲取大量樣本值。為此樣本獲取模塊中采用了生產(chǎn)數(shù)據(jù)回放方法，即將生產(chǎn)數(shù)據(jù)獲取到測試環(huán)境進行回放測試，獲取不同明細數(shù)文件上傳情況下的最大TPS值，并與生產(chǎn)實際TPS值進行線性擬合，從而得到大量樣本數(shù)據(jù)。

(2)樣本文件制作：取特征項為每日機構(gòu)及大商戶上送明細數(shù)，類別為每日最大TPS值。獲取最近一年的數(shù)據(jù)作為樣本。

(3)系統(tǒng)訓練及驗證：基于Python語言進行代碼編寫。取樣本數(shù)據(jù)的80%作為訓練集，20%作為測試集，使用樸素貝葉斯方法進行條件概率計算，進而獲得TPS預(yù)測值，通過測試集數(shù)據(jù)驗證預(yù)測精度[5-7]。

2 基于樸素貝葉斯的預(yù)測系統(tǒng)實現(xiàn)及驗證

2.1 樸素貝葉斯定理

樸素貝葉斯方法[4]即在滿足指定的特征項條件下，求不同類別出現(xiàn)的概率，然后選擇出現(xiàn)概率最大的類別作為預(yù)測結(jié)果。

根據(jù)貝葉斯定理，對一個分類問題，給定樣本特征X，樣本屬于類別Y的概率是：

樸素貝葉斯分類的正式定義如下：

(1)設(shè)：X={a1,a2,…,am}為一個待分類項，而每個a為X的一個特征屬性。

(2)有類別集合

Y={y1,y2,…,yn}

(3)計算

P(y1|x),P(y2|x),…,P(yn|x)

(4)如果

P(yk|x)=max{P(y1|x),P(y2|x),…,P(yn|x)}則x∈yk

2.2 預(yù)測系統(tǒng)樣本獲取

本預(yù)測系統(tǒng)中設(shè)X={a1,a2,…,am}為一個特征項集合，表示收單機構(gòu)1上傳明細數(shù)a1、收單機構(gòu)2上傳明細數(shù)a2……收單機構(gòu)m上傳明細數(shù)am。這里收單機構(gòu)取每日上送交易筆數(shù)為200筆以上的機構(gòu)，因為每日上送200筆以下的收單機構(gòu)交易對預(yù)測結(jié)果總體影響可忽略。

設(shè)Y={y1,y2,…,yn}為每日最大TPS值，即將每日最大TPS作為分類項。為概率計算的準確性，這里對yn取范圍值，即100-150作為類別1、150-200作為類別2、200-250作為類別3等。

另外為了預(yù)測結(jié)果的準確，需要足夠大的數(shù)據(jù)作為貝葉斯條件概率計算的訓練樣本。為此這里樣本的獲取采用生產(chǎn)數(shù)據(jù)在測試環(huán)境的回放得到，即獲取每日生產(chǎn)上各機構(gòu)上傳文件明細數(shù)據(jù)后在測試環(huán)境進行回放測試，在測試環(huán)境模擬各個機構(gòu)的文件上傳動作，這里模擬上傳的各個時間段及明細數(shù)與生產(chǎn)完全保持一致，測試得到最大每日TPS值，然后與生產(chǎn)TPS值進行擬合。通過在測試環(huán)境進行大量模擬測試來獲取大量樣本數(shù)據(jù)，這樣得到的樣本數(shù)據(jù)可以涵蓋目前生產(chǎn)已存在的及生產(chǎn)上未發(fā)生的場景，使得我們的預(yù)測結(jié)果更準確。

2.3 條件概率計算

這里我們推導(dǎo)條件概率計算過程。為得到每日最大TPS預(yù)測值，即目標是計算P(yk|x)=max{P(y1|x),P(y2|x),…,P(yn|x)}

以計算P(y1|x)為例：

根據(jù)2.1節(jié)樸素貝葉斯的基本定理，可以得到式(1)

(1)

而每個收單機構(gòu)每日上送的批量交易明細數(shù)是相互獨立的，故得到式(2)。

P(X|y1)P(y1)=P(a1|y1)P(a2|y1)…P(am|y1)P(y1)

(2)

am為前述的X的特征向量值。

P(a1|y1)表示某日達到最大TPS值時，收單機構(gòu)1上送批量交易明細數(shù)為a1的概率。

因特征值服從高斯分布即式(3)。

(3)

因此只要計算出訓練樣本中各個類別中此特征項劃分的各均值和標準差，代入上述公式即可得到需要的估計值。把計算結(jié)果代入(2)式中即得到P(X|y1)的值，又因(1)式計算各個特征值的條件概率時分母均相同，所以只要計算出P(X|y1)P(y1),P(X|y2)P(y2),…P(X|yn)P(yn)中的最大值，由此得到的最大值即為樸素貝葉斯預(yù)測概率。

2.4 預(yù)測系統(tǒng)樣本訓練及驗證

這里取樣本數(shù)據(jù)的80%作為訓練集進行概率計算，20%作為測試集進行結(jié)果驗證。鑒于Python語言已廣泛應(yīng)用與科學計算領(lǐng)域，且提供了豐富的科學計算第三方包。這里我們基于Python的sklearn包進行代碼編寫，實現(xiàn)基于高斯樸素貝葉斯方法的條件概率計算及預(yù)測。為了檢查測試集數(shù)據(jù)預(yù)測精度是否準確，為此使用Python sklearn包的classification_report模塊生成預(yù)測報告：

PrecisionRecallF1?Score100?1501．001．001．00150?2000．811．000．89200?2501．001．001．00250?3001．000．850．92…………………………………………950?10001．000．950．97

其中第一列為預(yù)測值即當日最大TPS。Precision表示正確預(yù)測的比例，Recall表示正確識別的比例或稱為真陽性率，F(xiàn)1-Score為precision和recall的調(diào)和平均數(shù)。實驗證明，使用樸素貝葉斯的預(yù)測方法精度滿足需要。

3 總結(jié)

本文使用基于樸素貝葉斯理論提出了一種銀行卡批量業(yè)務(wù)預(yù)測方法，通過對系統(tǒng)最大TPS值的預(yù)測，為應(yīng)用系統(tǒng)架構(gòu)設(shè)計提供了性能參數(shù)需求依據(jù)。

文中介紹了預(yù)測系統(tǒng)的功能及實現(xiàn)過程，重點描述了基于樸素貝葉斯的概率計算過程，通過樣本訓練及測試數(shù)據(jù)的驗證，證明該方法是確實有效的。

[1] Simonetta Balsamo，Antinisca Di Marco，Paola Inverardi，el a1．Model—Based Performance Prediction in Software Development：A Survey[J]．IEEE Transactions on Software Engineering，2004，30(5)：295-310．

[2] Pedro Domingos，Miehael Pazzzani．On the Optimality of the Simple Bayesian Classifier under Zero：One Loss[J]．Mach ine Learning,1997(29):103-130.

[3] 李靜梅，孫麗華．一種文本處理中的樸素貝葉斯分類器[J]．哈爾濱工程大學學報，2003，24(1)

[4] Friedman N．Bayesian network classifiers[J]．Machine Learning，1997，29(2．3)：131-163.

[5] 林士敏,田鳳占,陸玉昌.用于數(shù)據(jù)挖掘的貝葉斯分類器研究.計算機科學,2000,27(10):73-76.

[6] 張延松，焦敏，王占偉，等. 海量數(shù)據(jù)分析的One-size-fits-all OLAP 技術(shù)[J]. 計算機學報，2011，34(10)：1936-1946.

[7] 羅福星，劉衛(wèi)國. 一種樸素貝葉斯分類增量學習算法[J].微計算機應(yīng)用，2008，29(6)：107-112.

ABankCardBatchServicePredictionMethodBasedonNativeBayesClassification

Luo Ming
(China UnionPay Co Ltd, Shanghai 201201, China)

The bank card batch service has become a more commom and important financial product. The transaction comes from the acquire institution in the form of batch delivery. So high performance requirements for background processing system are proposed. This paper proposes a bank card batch service max TPS (tranction per second) prediction method. We use the production data to be played back in the test environment. And the training set is collected by the test result, twenty percent of the data is used to be the training set. Native Bayes method is introduced to train the classifier. Experiments show that our method has the characteristics of high accuracy and strong robustness.

Native bayes classification; Bank card batch service; Prediction of max TPS (tranction per second)

羅鳴(1982-)，男，碩士研究生，工程師，研究方向：運維自動化，數(shù)據(jù)分析.

1007-757X(2017)11-0079-02

TP311

A

2017.04.21)