基于大數(shù)據(jù)的量費(fèi)異常分析應(yīng)用系統(tǒng)研究

喬 麟 林乃瑜

（廣東電網(wǎng)有限責(zé)任公司江門供電局，廣東江門529000）

0 引言

電力營(yíng)銷稽查是電力企業(yè)營(yíng)銷與客戶服務(wù)工作的質(zhì)量監(jiān)督環(huán)節(jié)，是對(duì)營(yíng)銷與服務(wù)工作的“內(nèi)部審計(jì)”。營(yíng)銷稽查的主要目的是有效監(jiān)督整個(gè)電力營(yíng)銷業(yè)務(wù)流程及活動(dòng)，并在一定程度上規(guī)避一些常見的經(jīng)營(yíng)風(fēng)險(xiǎn)，能夠降低電力營(yíng)銷活動(dòng)中的經(jīng)濟(jì)損失，減少差錯(cuò)發(fā)生的可能，進(jìn)而提高電力營(yíng)銷管理水平，因而其對(duì)增加電力營(yíng)銷企業(yè)的經(jīng)濟(jì)收益具有重要意義。

1 項(xiàng)目背景

目前電力營(yíng)銷業(yè)務(wù)種類較多，涉及范圍較廣，時(shí)效性要求強(qiáng)。電力營(yíng)銷管理者很難全面把握電力營(yíng)銷業(yè)務(wù)活動(dòng)中的整體營(yíng)銷變化情況及工作質(zhì)量，大大降低了電力營(yíng)銷管理工作的時(shí)效性。當(dāng)前營(yíng)銷系統(tǒng)的稽查作業(yè)主要還是基于數(shù)據(jù)庫(kù)進(jìn)行運(yùn)算，速度慢，效率低。業(yè)務(wù)規(guī)則主要基于經(jīng)驗(yàn)制定，其閾值的設(shè)置往往一刀切，無法適應(yīng)變化，無法從群體性、規(guī)律性的異動(dòng)中有效識(shí)別真異常。營(yíng)銷的規(guī)則繁瑣，受性能拖累，只能事后核查，無法提前預(yù)防，更無法在線識(shí)別。另外，智能電表以及低壓集抄的全覆蓋，更加劇了數(shù)據(jù)量爆炸式的增長(zhǎng)，對(duì)數(shù)據(jù)處理速度的要求更高。

以計(jì)量低壓集抄項(xiàng)目數(shù)據(jù)質(zhì)量管理為例進(jìn)行研究開發(fā)，如何編制程序，通過科學(xué)合理的信息化途徑，對(duì)大批量的計(jì)量低壓集抄項(xiàng)目數(shù)據(jù)進(jìn)行抓取及全面核查，并結(jié)合經(jīng)驗(yàn)對(duì)所有重要數(shù)據(jù)進(jìn)行比對(duì)，分析存在的問題，是本項(xiàng)目研究的重點(diǎn)。因此，本文提出借助基于大數(shù)據(jù)的量費(fèi)異常分析項(xiàng)目來改變目前基于經(jīng)驗(yàn)規(guī)則而導(dǎo)致效能過低的營(yíng)銷稽查工作模式，在營(yíng)銷稽查工作中開創(chuàng)數(shù)據(jù)驅(qū)動(dòng)運(yùn)營(yíng)的新局面，以技術(shù)創(chuàng)新推動(dòng)營(yíng)銷稽查工作的業(yè)務(wù)創(chuàng)新。

2 項(xiàng)目技術(shù)方案與實(shí)施

2.1 項(xiàng)目技術(shù)方案

基于營(yíng)銷稽查歷史數(shù)據(jù)以及現(xiàn)有的營(yíng)銷稽查業(yè)務(wù)系統(tǒng)產(chǎn)生的規(guī)則數(shù)，引入有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)相結(jié)合的機(jī)器方法（圖1），基于大數(shù)據(jù)技術(shù)開展數(shù)據(jù)挖掘工作，建立營(yíng)銷量費(fèi)稽查領(lǐng)域的客戶行為模型、離群分析模型以及異常識(shí)別模型，以數(shù)據(jù)挖掘模型驅(qū)動(dòng)業(yè)務(wù)過程開展，解決以往基于硬性規(guī)則，稽查過程中出現(xiàn)的識(shí)別效率低、耗時(shí)過長(zhǎng)、噪聲數(shù)據(jù)過多、稽查精準(zhǔn)度不高、工作壓力過大等問題，提高量費(fèi)異常識(shí)別率。

2.2 項(xiàng)目實(shí)施

本文提出的基于大數(shù)據(jù)的量費(fèi)異常分析應(yīng)用系統(tǒng)，一是使用Java和Python語(yǔ)言編制源代碼，通過連接營(yíng)銷系統(tǒng)數(shù)據(jù)庫(kù)，獲取數(shù)據(jù)返回包，根據(jù)工作需要對(duì)相關(guān)字段的數(shù)據(jù)進(jìn)行抓??；二是使用Python語(yǔ)言編制簡(jiǎn)單分析程序，對(duì)抓取的數(shù)據(jù)進(jìn)行初步的分析和判斷異常；三是使用Excel軟件編寫函數(shù)，設(shè)定批量數(shù)據(jù)分析條件，找出有異常的用戶數(shù)據(jù)，再進(jìn)一步開展人工分析和現(xiàn)場(chǎng)檢查，確認(rèn)數(shù)據(jù)錯(cuò)誤，并對(duì)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)匯總。

圖1 大數(shù)據(jù)平臺(tái)豐富的數(shù)據(jù)挖掘算法結(jié)構(gòu)關(guān)系圖

如圖2所示，基于大數(shù)據(jù)的量費(fèi)異常分析應(yīng)用系統(tǒng)主要分為稽查數(shù)據(jù)管理、智能化量費(fèi)異常篩查、量費(fèi)異常處理流程三大模塊。

圖2 基于大數(shù)據(jù)的量費(fèi)異常分析應(yīng)用系統(tǒng)

（1）稽查數(shù)據(jù)管理模塊：包括了數(shù)據(jù)采集管理、數(shù)據(jù)維護(hù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)日志查詢、即席分析數(shù)據(jù)資源管理、數(shù)據(jù)模型構(gòu)建、元數(shù)據(jù)管理、自助分析和查詢八大功能，主要用于數(shù)據(jù)的采集、存儲(chǔ)及統(tǒng)計(jì)分析查詢。海量大數(shù)據(jù)存儲(chǔ)技術(shù)打破了傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)的容量限制，采用數(shù)據(jù)分布式存儲(chǔ)方式解決數(shù)據(jù)存儲(chǔ)擴(kuò)容的問題，并充分利用大數(shù)據(jù)平臺(tái)提供豐富的數(shù)據(jù)分析、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘組件，結(jié)合分布式計(jì)算框架，可在短時(shí)間內(nèi)完成海量數(shù)據(jù)的分析與挖掘。同時(shí)，大數(shù)據(jù)平臺(tái)提供的各種新型數(shù)據(jù)庫(kù)技術(shù)，如鍵值數(shù)據(jù)庫(kù)、列式數(shù)據(jù)庫(kù)、圖數(shù)據(jù)庫(kù)以及對(duì)象存儲(chǔ)數(shù)據(jù)庫(kù)等，可以解決不同應(yīng)用場(chǎng)景下的海量數(shù)據(jù)查詢效率問題。

（2）智能化量費(fèi)異常篩查模塊：包括了基于歷史數(shù)據(jù)的專家規(guī)則分析、基于機(jī)器學(xué)習(xí)的異常識(shí)別與預(yù)判及異常用戶提醒三大功能。該模塊跳出現(xiàn)有的基于人為經(jīng)驗(yàn)規(guī)則的量費(fèi)異常識(shí)別方法，利用大數(shù)據(jù)技術(shù)所提供的海量數(shù)據(jù)處理能力，重構(gòu)自主化、自動(dòng)化、智能化的營(yíng)銷稽查業(yè)務(wù)，

分析規(guī)則和歷史異常數(shù)據(jù)，對(duì)現(xiàn)有的專家規(guī)則有效性和辨識(shí)率進(jìn)行判別和分析，從規(guī)則產(chǎn)生的嫌疑數(shù)據(jù)中進(jìn)一步篩查可疑數(shù)據(jù)，提高精度，降低稽查工作強(qiáng)度，實(shí)現(xiàn)智能化的量費(fèi)異常篩查和異常處理，提高了量費(fèi)異常目標(biāo)的識(shí)別率，提升了工作效率。

（3）量費(fèi)異常處理流程：主要內(nèi)容包括量費(fèi)異常處理任務(wù)啟動(dòng)、異常下發(fā)、異常整改、歸檔等環(huán)節(jié)，并對(duì)量費(fèi)異常處理建立限時(shí)監(jiān)控機(jī)制，確保按時(shí)間要求完成異常處理工作。

在營(yíng)銷業(yè)務(wù)方面，此項(xiàng)目實(shí)現(xiàn)的數(shù)據(jù)智能抓取和初步分析尚屬首例，且該項(xiàng)目的可持續(xù)發(fā)展性較強(qiáng)，今后可結(jié)合實(shí)際工作，實(shí)時(shí)更新程序源代碼，實(shí)現(xiàn)不同數(shù)據(jù)的抓取和分析。

3 項(xiàng)目應(yīng)用分析

以計(jì)量低壓集抄項(xiàng)目的數(shù)據(jù)質(zhì)量管控為例，原來每周只能通過稽查中心5人3天的核查工作量，按照2%的比例進(jìn)行數(shù)據(jù)抽查，抽查的數(shù)據(jù)無法確保發(fā)現(xiàn)全部問題，且無法做到全覆蓋。本項(xiàng)目程序開發(fā)建設(shè)完成并實(shí)施后，本中心僅需1人半天的工作量，就能實(shí)現(xiàn)100%全覆蓋對(duì)每周計(jì)量低壓集抄項(xiàng)目的數(shù)據(jù)質(zhì)量進(jìn)行核查，核查范圍包括字段為空、數(shù)據(jù)錯(cuò)誤、數(shù)據(jù)異常、比對(duì)異常錯(cuò)誤、時(shí)間錯(cuò)誤、邏輯錯(cuò)誤共計(jì)26項(xiàng)內(nèi)容；對(duì)所核查的數(shù)據(jù)不會(huì)有錯(cuò)漏，有更多的時(shí)間給基層單位對(duì)問題數(shù)據(jù)進(jìn)行及時(shí)整改；能確保計(jì)量低壓集抄項(xiàng)目數(shù)據(jù)質(zhì)量的準(zhǔn)確性和完整性，也能有效緩解稽查中心由于工作量大而導(dǎo)致的人手不足問題。

4 結(jié)語(yǔ)

基于大數(shù)據(jù)的量費(fèi)異常分析平臺(tái)項(xiàng)目的建設(shè)及實(shí)施，實(shí)現(xiàn)了計(jì)量低壓集抄數(shù)據(jù)管理工作的信息化、自動(dòng)化，大大降低了人工和時(shí)間成本，有效提高了工作效率，能夠保證今后三年內(nèi)全覆蓋核查計(jì)量低壓集抄數(shù)據(jù)質(zhì)量的準(zhǔn)確性及完整性，最大限度地減少因錄入數(shù)據(jù)錯(cuò)誤而導(dǎo)致的營(yíng)銷差錯(cuò)及因處理營(yíng)銷差錯(cuò)而耗費(fèi)的許多人力、物力。此外，本項(xiàng)目建設(shè)及實(shí)施后，還可應(yīng)用于其他稽查業(yè)務(wù)的數(shù)據(jù)核查，例如線損管理、計(jì)量管理、電度管理等方面。

[1]李學(xué)龍，龔海剛.大數(shù)據(jù)系統(tǒng)綜述[J].中國(guó)科學(xué)（信息科學(xué)），2015，45（1）：1-44.

[2]張鈞.電力營(yíng)銷大數(shù)據(jù)平臺(tái)建設(shè)及數(shù)據(jù)挖掘分析[D].天津：天津大學(xué)，2015.

[3]王海燕，孟昭霞，侯銳鋒，等.營(yíng)銷稽查監(jiān)控系統(tǒng)的建設(shè)與應(yīng)用[J].電力信息化，2012，10（3）：72-76.