基于Hadoop的電力客戶用電地址存儲與結(jié)構(gòu)化管理系統(tǒng)設(shè)計

陳寧 陳孝文 馮世杰 呂志鵬 陳習(xí) 張娜 王巖

摘 要： 針對當(dāng)前海量的用戶用電地址，以及地址管理的混亂問題，提出兩種解決方案。一是借助Hadoop框架體系完成對海量數(shù)據(jù)的存儲，同時借助MapReduce提高對數(shù)據(jù)的運算和處理能力;二是引入結(jié)構(gòu)化管理模型，將用戶用電地址分為10層，劃分到社區(qū)和門牌號，同時引入不同地名的別稱。最后構(gòu)建用戶用電地址知識庫，并搭建Hadoop測試平臺，對上述的試驗方案進(jìn)行驗證。結(jié)果表明，通過本文的地址的結(jié)構(gòu)化處理，可詳細(xì)查看不同客戶的地址，同時在數(shù)據(jù)處理方面也明顯高于傳統(tǒng)的系統(tǒng)。

關(guān)鍵詞： Hadoop框架; 用電地址; 結(jié)構(gòu)化管理

中圖分類號： ? ? ? 文獻(xiàn)標(biāo)志碼：

Design of Power Customer Address Storage and Structured Management

System Based on Hadoop

CHEN Ning1， CHEN Xiaowen1， FENG Shijie1， L Zhipeng1， CHEN Xi1， ZHANG Na2， WANG Yan1

（1. Information and Communication Branch， Hainan Power Grid Co. Ltd.， 2. Hainan Power Grid Co. Ltd.， Haikou 57000）

Abstract： Two solutions are proposed to solve the confusion of the current mass of user addresses and address management. Firstly， the Hadoop framework is used to store massive data， and MapReduce is used to improve the computing and processing ability of the data. Secondly， a structured management model is introduced to divide the user's electricity address into 10 layers， which are divided into the community and the door number. At the same time， different nicknames are introduced. Finally， the user address knowledge base is constructed， and the Hadoop test platform is built to verify the above test scheme. The results show that the addresses of different customers can be viewed in detail through the structured processing of addresses in this paper， and the data processing is obviously faster than the traditional system.

Key words： Hadoop framework; Power consumption address; Structured management

0 引言

隨著我國智能電網(wǎng)的深入推進(jìn)，電網(wǎng)企業(yè)的電量銷售穩(wěn)步增加。以2017年上半年為例，上半年銷售2.96萬億千瓦時，其中通過市場化交易的電量為6 442億千瓦時，與2010年上半年的1.89萬億千瓦相比，有著較大幅度的增加。由此可以看出，我國社會耗電量在逐年增加，從而給我國電力企業(yè)帶來極大的發(fā)展。電量銷售的增長，離不開城市的建設(shè)和擴張。但是，也正是由于城市建設(shè)工作的進(jìn)一步開展，使城市中大部分街道與社區(qū)被重新規(guī)劃，從而給電力營銷系統(tǒng)的用戶地址定位造成了嚴(yán)重影響，使系統(tǒng)中大部分用戶地址與現(xiàn)實地址出現(xiàn)不匹配現(xiàn)象。如某用戶在電力營銷系統(tǒng)中的地址為?？谑墟?zhèn)海村某某巷，經(jīng)城市規(guī)劃建設(shè)后，實際地址卻為?？谑墟?zhèn)海路某某花園。除上述問題以外，客戶用電地址錯誤、名稱混亂、信息不完整等也非常明顯。其中，客戶用電地址錯誤主要由兩種失誤造成，分別為填寫錯誤與填寫不一致。比如，在填寫用戶地址信息時，將表號、樓房號信息作為用戶地址信息保存至用戶名中;名稱混亂主要是由于街道辦在填寫居民地址時，并未按照市政標(biāo)準(zhǔn)進(jìn)行填寫，從而使電力營銷系統(tǒng)中大部分用戶地址信息不夠完整。錯誤或不完整的電力用戶地址不僅會給電力維修人員帶了更加復(fù)雜的辨識問題，還會給電力系統(tǒng)建設(shè)工作造成極大的影響?；诖?，為進(jìn)一步規(guī)范電力市場，本文就將對基于Hadoop的電力客戶用電地址數(shù)據(jù)存儲與結(jié)構(gòu)化管理系統(tǒng)進(jìn)行設(shè)計，以此通過設(shè)計，進(jìn)一步促進(jìn)城市電力用戶地址的規(guī)范化和結(jié)構(gòu)化管理。

1 Hadoop框架簡介

Hadoop是一種由美國Apache基金會開發(fā)的開源項目，能夠?qū)Ψ植际轿募到y(tǒng)進(jìn)行實現(xiàn)，以此確保系統(tǒng)的安全性與可靠性，為用戶提供安全可靠的分布式存儲系統(tǒng)。與此同時，Hadoop還具備較強的擴展性，對于部署運行環(huán)境并無太高的要求，能夠運行于在大量廉價PC 組成的集群上。Hadoop框架中的所有配置皆是為了確保數(shù)據(jù)的安全性，防止數(shù)據(jù)因節(jié)點故障而出現(xiàn)永久丟失問題。在數(shù)據(jù)的存儲方面，可采用建立多個數(shù)據(jù)副本的形式在Hadoop框架中形成數(shù)據(jù)冗余，以此提高數(shù)據(jù)存儲的可靠性。通過此方法，能夠使系統(tǒng)在存儲節(jié)點失效的情況下，及時對新節(jié)點進(jìn)行安排。除此之外，系統(tǒng)所采用的數(shù)據(jù)處理方式為并行工作方式，通過此方式能夠使系統(tǒng)數(shù)據(jù)處理速度得以提高。雖然Map Reduce分布式處理及HDFS分布式存儲為系統(tǒng)設(shè)計提供了API及底層文件系統(tǒng)，但設(shè)計者在開展系統(tǒng)開發(fā)工作時，無需對HDFS底層的實現(xiàn)細(xì)節(jié)進(jìn)行思考，就能完成對海量數(shù)據(jù)處理程序的設(shè)計工作。具體Hadoop框架如圖1所示。

如上圖所示，Hadoop的生態(tài)圈主要由眾多開源軟件構(gòu)成，這些開源軟件與數(shù)據(jù)存儲、計算、資源管理及數(shù)據(jù)傳輸?shù)冉杂兄o密的聯(lián)系。從本質(zhì)上來看，Hadoop的生態(tài)圈其實就是一個數(shù)據(jù)共享存儲及分析系統(tǒng)，具有較高的可靠性。在Hadoop的生態(tài)圈中，HDFS分布式存儲主要作用于數(shù)據(jù)存儲;Map Reduce分布式處理則起到數(shù)據(jù)分析處理的作用。而通過對Hadoop的分析看出，Hadoop框架體系大大搜提高了數(shù)據(jù)存儲的空間，同時也提高了數(shù)據(jù)運算的效率。

2 系統(tǒng)設(shè)計目的與需求分析

本系統(tǒng)設(shè)計的目的，是構(gòu)建一個可用于海量數(shù)據(jù)存儲和管理的智能電表管理的云服務(wù)平臺，從而方便電力營銷部門。通過該云服務(wù)平臺，可以對用戶用電地址進(jìn)行全面的采集，也可以對電表用電地址進(jìn)行規(guī)范化管理，以提高電表地址與實際地址的匹配度。同時，在該云服務(wù)平臺中，需要提供對用戶用電數(shù)據(jù)的存儲、客戶信息管理、電表充值、電表管理、電量查詢等服務(wù)，以此方便廣大的電力營銷工作人員為電力客戶提供服務(wù)。

3 系統(tǒng)總體結(jié)構(gòu)設(shè)計

結(jié)合以上的需求，構(gòu)建如圖2所示的整體架構(gòu)。前端通過智能電表對地址、電量等數(shù)據(jù)進(jìn)行采集，后臺則以Hadoop框架體系作為基礎(chǔ)，通過搭建Hadoop集群服務(wù)器，進(jìn)而完成對海量數(shù)據(jù)的存儲和運算。然后通過具有密碼保護的令牌服務(wù)器，完成與外部的信息交換，以保證系統(tǒng)整個智能電表管理系統(tǒng)的安全。

如上圖所示，本文主要由數(shù)據(jù)采集層、數(shù)據(jù)存儲層以及系統(tǒng)應(yīng)用層構(gòu)成。其中，數(shù)據(jù)采集層主要作用于對電力數(shù)據(jù)進(jìn)行采集，并將采集到的數(shù)據(jù)傳送至智能電表云服務(wù)管理平臺中，然后利用通訊服務(wù)器對該數(shù)據(jù)進(jìn)行解析，最后將其存儲至云平臺之上;數(shù)據(jù)存儲層主要作用于數(shù)據(jù)的物理存儲。在數(shù)據(jù)采集層完成數(shù)據(jù)采集工作之后，數(shù)據(jù)存儲層將會對該數(shù)據(jù)是否屬于結(jié)構(gòu)化數(shù)據(jù)進(jìn)行判斷，將結(jié)構(gòu)化數(shù)據(jù)直接存儲至傳統(tǒng)數(shù)據(jù)庫中，通過HDFS+HBase的存儲方式將非結(jié)構(gòu)化數(shù)據(jù)存儲至系統(tǒng)的大數(shù)據(jù)平臺中;系統(tǒng)應(yīng)用層主要由各項應(yīng)用部分構(gòu)成，作用于實現(xiàn)系統(tǒng)的電力數(shù)據(jù)統(tǒng)計及查詢。

4 用戶用電地址規(guī)范化管理模型構(gòu)建

4.1 地址知識庫概述

在實現(xiàn)人、物及其他物體定位過程中，地址是該技術(shù)得以實現(xiàn)的關(guān)鍵所在，能夠?qū)臻g地理數(shù)據(jù)進(jìn)行描述。當(dāng)前，人們能夠?qū)δ骋坏刂肺淖诌M(jìn)行理解，主要歸功于地址中提供的地址信息。當(dāng)人們在面對越熟悉的地區(qū)地址時，對地址的理解與反應(yīng)能力將越強。相反，人們在面對陌生環(huán)境及帶有民族特色的地址時，地址理解能力及反應(yīng)能力就相對較弱。形成此識別認(rèn)知的主要原因在于人們對地址信息的累積，使其能夠迅速對熟悉的地址進(jìn)行反應(yīng)。同樣想要機器能夠迅速識別地址信息，還需使機器學(xué)習(xí)與累積大量的地址信息。在此方面，可通過構(gòu)建地名地址知識庫進(jìn)行實現(xiàn)。知識庫是機器解析地址的基礎(chǔ)，知識庫中包含的地址內(nèi)容約豐富，機器從其中獲取的知識也就越多，自然地址解析速度就越快。

4.2 當(dāng)前地址知識庫設(shè)計存在的問題

在電力信息技術(shù)持續(xù)發(fā)展的背景下，各電網(wǎng)企業(yè)開展了更深層次的信息化研究與建設(shè)，目的在于提高電網(wǎng)企業(yè)地址的準(zhǔn)確性?？紤]到用戶地址信息的精確性，本文在開展地址結(jié)構(gòu)化建模工作之前，對部分省市的用電地址進(jìn)行抽樣分析。經(jīng)過一系列分析后發(fā)現(xiàn)，在部分電力企業(yè)的電力營銷系統(tǒng)中，50%以上的地址知識庫僅為4、5層地址結(jié)構(gòu)。也就是說，大部分電力用戶地址知識庫結(jié)構(gòu)僅涉及到“街道、鄉(xiāng)（鎮(zhèn)）”這一等級，卻并未深入到用戶用電詳細(xì)地址信息中，無法達(dá)到我國對于電網(wǎng)公司結(jié)構(gòu)化地址管理要求。

因此，針對以上的問題，本文對地址知識庫進(jìn)行構(gòu)建。本文構(gòu)建的地址知識庫，主要參照國家標(biāo)準(zhǔn)GB/T 23705—2009，采用巴科斯范式（BNF）語法對地址知識庫進(jìn)行設(shè)計，將結(jié)構(gòu)化的地名地址定義如下：

〈結(jié)構(gòu)化地名地址描述〉：：=〈行政區(qū)域地名〉[街巷或小區(qū)名][門址或標(biāo)志物名]

〈行政區(qū)域〉：：=〈省級〉[地區(qū)級]〈縣級〉[鄉(xiāng)級]

〈基本區(qū)域限定物〉：：=〈街〉|〈巷〉|〈居民小區(qū)〉|〈自然村〉

〈局部點位置〉：：=〈門樓址〉|〈標(biāo)志物〉|〈興趣點〉

通過上述的定義看出，行政區(qū)劃是其中必不可少的關(guān)鍵要素，與各行政級別之間有著較強的隸屬關(guān)系?；诖?，本文在設(shè)計地址知識庫時，將以中國行政區(qū)域地名表作視為本次設(shè)計工作的主體，對各村、社區(qū)，以及上一級行政區(qū)地名等進(jìn)行逐一劃分。除此之外，考慮到我國人們中文地址表述習(xí)慣，將在地址知識庫中添加地址別名表，對各行政區(qū)域常用地名簡稱及別名進(jìn)行記錄。

4.3 用戶地址結(jié)構(gòu)化管理模型構(gòu)建

針對以上的問題，在對知識庫中數(shù)據(jù)的構(gòu)建中，構(gòu)建如圖1所示的電力用戶地址結(jié)構(gòu)化地址數(shù)據(jù)模型。該模型中，包含10層電力用戶結(jié)構(gòu)化地址數(shù)據(jù)，從而做到對位置的精細(xì)化劃分。

而通過以上的構(gòu)建，本文構(gòu)建的用戶用電地址知識庫主要采用的是動態(tài)地址分詞引擎對地址進(jìn)行解析，相較于其他地址庫采用的基于固定詞典等地址分詞解決方案，本文構(gòu)建的知識庫更具有優(yōu)勢。在動態(tài)地址分詞引擎的幫助下，僅借助核心詞庫就能實現(xiàn)對地址的解析工作。如此一來，將極大程度將減輕地址名詞庫維護工作負(fù)擔(dān)，提高系統(tǒng)地址知識庫查詢及維護效率。

5 系統(tǒng)實現(xiàn)與測試

5.1 系統(tǒng)實現(xiàn)

對整個系統(tǒng)的開發(fā)，采用Java語言，以Eclipse作為開發(fā)工具，以C/S作為技術(shù)架構(gòu)，對系統(tǒng)進(jìn)行開發(fā)，從而得到圖2和圖3所示的登錄界面和客戶查詢界面。

登錄界面如圖2所示。

客戶信息查詢界面如圖3所示。

通過上述的界面看出，當(dāng)輸入用戶名稱后，可詳細(xì)展示用戶的門牌地址。

5.2 系統(tǒng)性能測試

5.2.1 Hadoop集群搭建

本文所采用Hadoop實驗集群主要由Master節(jié)點及Slave節(jié)點構(gòu)成，其中Master節(jié)點的數(shù)量為1個;Slave節(jié)點的數(shù)量為3個。具體Hadoop實驗集群如圖4所示。

如上圖所示，Hadoop實驗集群的架構(gòu)模式為主/從架構(gòu)。在整個Hadoop實驗集群架構(gòu)中，Name Node及Job Tracker為集群架構(gòu)的主斷;Data Node及Task Tracker為從端。該試驗集群主要是在Linux系統(tǒng)之下開展搭建工作?；诖耍疚闹饕捎肰Mware工作站及Ubuntu15對Linux環(huán)境進(jìn)行構(gòu)建。

5.2.2 并行寫入性能對比測試

為了更加清晰的掌握系統(tǒng)并行寫入能力與傳統(tǒng)數(shù)據(jù)庫并行寫入能力的差距，本文將對并行寫入性能進(jìn)行對比測試。在測試過程中，本文所選取的實驗數(shù)據(jù)為5萬條電力客戶用電地址數(shù)據(jù)，對不同數(shù)目下單個客戶端的平均耗時進(jìn)行統(tǒng)計，得到表1結(jié)果。

如上表所示，當(dāng)HBase與SQL Server在同一數(shù)據(jù)量、同一數(shù)目客戶端測試并行寫入性能的條件下，HBase在數(shù)據(jù)寫入效率方面所耗費的時間明顯低于SQL Server數(shù)據(jù)寫入時間。由此可見，HBase在數(shù)據(jù)寫入效率方面更具優(yōu)勢。

6 總結(jié)

通過上述的研究可以看出，本文構(gòu)建的用戶用電地址管理系統(tǒng)，結(jié)合Hadoop體系的優(yōu)勢，可對大規(guī)模的用電地址數(shù)據(jù)進(jìn)行存儲，并大大提高了用電地址查詢的準(zhǔn)確性，由此看出本文的設(shè)計方案可行，可為電力營銷部門提供參考。

參考文獻(xiàn)

[1] 何健兒. 電力地址精細(xì)管理與高級分析應(yīng)用研究[J]. 科技創(chuàng)新與應(yīng)用，2017（3）：46-47.

[2] 鄭愛武，劉隆國. 結(jié)構(gòu)化地址庫地址質(zhì)量提升探索[J]. 電子測試，2017（1）：62-63.

[3] 鄭愛武. 基于地址語義及樹狀分析的用電地址自糾錯模型研究[J]. 自動化與儀器儀表，2017（8）：89-91.

[4] 孔旭鋒，俞成彪，林士勇. 電力用戶地址結(jié)構(gòu)化管理[J]. 農(nóng)村電氣化，2016（2）：34-35.

[5] 袁麗娜. 基于Hadoop的海量數(shù)據(jù)存儲技術(shù)的研究[J]. 中國新通信，2016，18（19）：61-63.

[6] 楊曉雁. 基于Hadoop的海量數(shù)據(jù)的分布式存儲關(guān)鍵技術(shù)研究[J]. 自動化與儀器儀表，2016（10）：166-167.

[7] 黃華林，龐欣婷. 基于Hadoop的數(shù)據(jù)資源管理平臺設(shè)計[J]. 計算機應(yīng)用與軟件，2018，35（7）：329-333.

[8] 顧安朋，徐國智，林潮彬，等. 營銷客戶地址數(shù)據(jù)標(biāo)準(zhǔn)化應(yīng)用分析與研究[J]. 科技與創(chuàng)新，2018（16）：142-144.

[9] 馬友忠，孟小峰. 云數(shù)據(jù)管理索引技術(shù)研究[J]. 軟件學(xué)報，2015， 26（1）：145-166.

[10] 程蓓，孫勝春，李忠猛，等. 基于Hadoop技術(shù)的數(shù)字化校園海量數(shù)據(jù)存儲系統(tǒng)研究與設(shè)計[J]. 實驗技術(shù)與管理，2015，32（9）：149-152.

[11] 曲朝陽，朱莉，張士林. 基于Hadoop的廣域測量系統(tǒng)數(shù)據(jù)處理[J]. 電力系統(tǒng)自動化，2013，37（4）：92-97.

[12] 崔杰，李陶深，蘭紅星. 基于Hadoop的海量數(shù)據(jù)存儲平臺設(shè)計與開發(fā)[J]. 計算機研究與發(fā)展，2012，49（S1）：12-18.

（收稿日期： 2018.12.03）

作者簡介：陳寧（1989-），女，工程師，吉林磐石，研究方向：信息化項目建設(shè)及管理。

陳孝文（1987-），男，工程師，海南?？?，研究方向：信息化建設(shè)。

馮世杰（1988-），男，工程師，海南?？?，研究方向：信息化建設(shè)。

呂志鵬（1992-），男，助理工程師，信宜市，研究方向：信息系統(tǒng)運維。

陳習(xí)（1982-），男，工程師，南昌，研究方向：電力信息化。

張娜（1978-），女，高密，工程師，研究方向：信息化項目建設(shè)及管理。

王巖（1995-），女，本科，陜西，研究方向：電力企業(yè)信息化建設(shè)工作。文章編號：1007-757X（2020）02-0097-05