基于隨機(jī)矩陣?yán)碚摰闹悄茈娋W(wǎng)大數(shù)據(jù)體系結(jié)構(gòu)設(shè)計(jì)

王藝霏　李賢　來(lái)驥　陳重韜　連浩

摘? ?要：針對(duì)智能電網(wǎng)數(shù)據(jù)繁多、用戶應(yīng)用困難的技術(shù)問(wèn)題，提出了新型的大數(shù)據(jù)驅(qū)動(dòng)方法，并設(shè)計(jì)出基于隨機(jī)矩陣?yán)碚撎幚碇悄茈娋W(wǎng)大數(shù)據(jù)的系統(tǒng)。通過(guò)隨機(jī)矩陣?yán)碚摻㈦S機(jī)矩陣算法模型，對(duì)智能電網(wǎng)大數(shù)據(jù)庫(kù)中的數(shù)據(jù)獲取樣本，并進(jìn)行訓(xùn)練、學(xué)習(xí)，建立用戶需求的數(shù)據(jù)模型。通過(guò)計(jì)算，將隱藏在智能電網(wǎng)大數(shù)據(jù)中的宏觀數(shù)據(jù)轉(zhuǎn)換成微觀數(shù)據(jù)，供用戶參考使用，從本質(zhì)上發(fā)現(xiàn)影響智能電網(wǎng)正常運(yùn)行的參數(shù)。計(jì)算數(shù)據(jù)不僅可以本地顯示，還能夠遠(yuǎn)程上傳到SG186營(yíng)銷系統(tǒng)，供各種用戶使用，同時(shí)，還可以通過(guò)無(wú)線通訊的方式上傳云端，實(shí)現(xiàn)計(jì)算數(shù)據(jù)的永久性保存。設(shè)計(jì)的方案隨機(jī)矩陣?yán)碚撍惴ㄒ氲街悄茈娋W(wǎng)大數(shù)據(jù)體系，不僅提高了智能電網(wǎng)大數(shù)據(jù)的直觀顯示，還為后續(xù)工作的進(jìn)一步開(kāi)展提供技術(shù)參考。

關(guān)鍵詞：智能電網(wǎng);隨機(jī)矩陣?yán)碚?算法模型;云端;大數(shù)據(jù)庫(kù)

中圖分類號(hào)：TP39? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

Abstract： This paper proposes a new big data driving method for the technical problems of smart grid data and user application difficulties，and designs a system based on random matrix theory to deal with smart grid big data. In this paper，we establish a random matrix algorithm model by random matrix theory，and obtain samples from the data in the large database of smart grid，and train and learn to establish a data model of user demand. The macro data hidden in the smart grid big data is converted into micro data for users to refer to through calculation，and the parameters affecting the normal operation of the smart grid are found in essence. The calculation data can be displayed not only locally，but also remotely uploaded to the SG186 marketing system for use by various users. At the same time，the cloud can be uploaded by wireless communication to achieve permanent storage of calculated data. The scheme designed in this paper introduces the random matrix theory algorithm into the smart grid big data system，which not only improves the visual display of the smart grid big data，but also provides a technical reference for the further development of the follow-up work.

Key words：smart grid;stochastic matrix theory;algorithm model;cloud;large database

隨著智能電網(wǎng)技術(shù)的飛速發(fā)展，智能電網(wǎng)產(chǎn)生的拓?fù)浣Y(jié)構(gòu)也異常錯(cuò)綜復(fù)雜，各種智能電網(wǎng)數(shù)據(jù)互相交叉、滲透[1-2]。智能電網(wǎng)數(shù)據(jù)目前已經(jīng)成為異常復(fù)雜且難以處理的工程大型數(shù)據(jù)，同時(shí)智能電網(wǎng)在運(yùn)行過(guò)程中還存在諸如數(shù)據(jù)源多元化、數(shù)據(jù)異構(gòu)、同步運(yùn)行等特點(diǎn)，智能電網(wǎng)網(wǎng)絡(luò)中的復(fù)雜拓?fù)浣Y(jié)構(gòu)以及運(yùn)行過(guò)程中的負(fù)荷劇增、猛增等都會(huì)對(duì)智能電網(wǎng)的正常運(yùn)行產(chǎn)生極大的影響[3-5]。

由于智能電網(wǎng)大數(shù)據(jù)存在規(guī)模巨大、種類繁多、產(chǎn)生速度快、數(shù)據(jù)維度高等特征，用戶難以從浩瀚的大數(shù)據(jù)中獲取有效的電網(wǎng)數(shù)據(jù)信息，也很難對(duì)從智能電網(wǎng)中獲得的宏觀數(shù)據(jù)進(jìn)行微觀分析，并捕捉稍瞬即逝的電網(wǎng)數(shù)據(jù)信息，以揭示潛藏在數(shù)據(jù)本身中的技術(shù)問(wèn)題。因此，如何從海量的智能電網(wǎng)數(shù)據(jù)庫(kù)中提取數(shù)據(jù)信息進(jìn)行即時(shí)、多樣、真實(shí)地分析是目前亟待解決的技術(shù)問(wèn)題?；诖耍陔S機(jī)矩陣?yán)碚摚╮andommatrixtheory，RMT）設(shè)計(jì)并研究了智能電網(wǎng)大數(shù)據(jù)體系結(jié)構(gòu)[6-8]。隨機(jī)矩陣?yán)碚摶诮y(tǒng)計(jì)學(xué)原理來(lái)分析各種數(shù)據(jù)之間的相關(guān)性，通過(guò)建立隨機(jī)矩陣模型提取并分析電網(wǎng)數(shù)據(jù)信息，從而及時(shí)、準(zhǔn)確地處理智能電網(wǎng)中的撲朔迷離的多層次數(shù)據(jù)，便于用戶提前發(fā)現(xiàn)問(wèn)題、跟蹤、分析、診斷等，從而保證電網(wǎng)系統(tǒng)的正常運(yùn)行[9-10]。下面對(duì)技術(shù)方案做詳細(xì)描述。

1? ?大數(shù)據(jù)體系構(gòu)架設(shè)計(jì)

設(shè)計(jì)的基于隨機(jī)矩陣?yán)碚撎幚碇悄茈娋W(wǎng)大數(shù)據(jù)的體系構(gòu)架，通過(guò)建立隨機(jī)矩陣?yán)碚撃Ｐ蛯?duì)大數(shù)據(jù)進(jìn)行處理、相關(guān)性分析、特征的表征等，使得海量的智能電網(wǎng)數(shù)據(jù)、多維度數(shù)據(jù)、異源數(shù)據(jù)等通過(guò)構(gòu)造矩陣的方式可視化，直觀反映電網(wǎng)系統(tǒng)的運(yùn)行狀態(tài)。在本架構(gòu)設(shè)計(jì)中，系統(tǒng)包括大數(shù)據(jù)管理平臺(tái)、數(shù)據(jù)監(jiān)控中心、電力營(yíng)銷數(shù)據(jù)管理中心。其中，大數(shù)據(jù)管理平臺(tái)接收大型專變終端用戶、中小型專變用戶、單/三相一般工商用戶、居民用電用戶、公用配變考核計(jì)量、變電站關(guān)口等智能電網(wǎng)運(yùn)行數(shù)據(jù)，通過(guò)數(shù)據(jù)輸入使得各種大數(shù)據(jù)在大數(shù)據(jù)管理平臺(tái)進(jìn)行統(tǒng)一分類、處理、分析、計(jì)算、顯示等管理，如圖1所示。

大數(shù)據(jù)管理平臺(tái)設(shè)置有數(shù)據(jù)存儲(chǔ)中心、數(shù)據(jù)處理單元等，數(shù)據(jù)處理單元從數(shù)據(jù)存儲(chǔ)中心調(diào)取智能電網(wǎng)數(shù)據(jù)，并建立隨機(jī)矩陣模型，通過(guò)隨機(jī)矩陣算法對(duì)智能電網(wǎng)大數(shù)據(jù)進(jìn)行分析、處理。大數(shù)據(jù)管理平臺(tái)可以在數(shù)據(jù)存儲(chǔ)中心中存儲(chǔ)，數(shù)據(jù)存儲(chǔ)中心為基于Hadoop平臺(tái)的大型Hbase數(shù)據(jù)庫(kù)，其具有結(jié)構(gòu)化的數(shù)據(jù)和非結(jié)構(gòu)化的數(shù)據(jù)，非結(jié)構(gòu)化的可以數(shù)據(jù)在Hadoop平臺(tái)中的HDFS文件系統(tǒng)進(jìn)行存儲(chǔ)。在Hadoop平臺(tái)中的各種大數(shù)據(jù)可以實(shí)現(xiàn)分布式存儲(chǔ)、超融合VS分布式、刪重和壓縮以及整合分析等功能。處理后的數(shù)據(jù)通過(guò)數(shù)據(jù)診斷甄別數(shù)據(jù)真?zhèn)?，并通過(guò)顯示器進(jìn)行數(shù)據(jù)顯示。用戶可通過(guò)該終端直觀地看出數(shù)據(jù)運(yùn)算結(jié)果，同時(shí)，處理數(shù)據(jù)可通過(guò)數(shù)據(jù)監(jiān)控中心遠(yuǎn)程監(jiān)控，進(jìn)而從更高層次上觀測(cè)智能電網(wǎng)數(shù)據(jù)情況。監(jiān)控?cái)?shù)據(jù)可通過(guò)無(wú)線通訊的方式上傳云端，通過(guò)云端數(shù)據(jù)庫(kù)實(shí)現(xiàn)數(shù)據(jù)的永久性存儲(chǔ)。監(jiān)控?cái)?shù)據(jù)也可以通過(guò)通訊協(xié)議（Modbus協(xié)議，諸如TCP/IP協(xié)議）實(shí)現(xiàn)遠(yuǎn)程在線傳輸?shù)诫娏I(yíng)銷數(shù)據(jù)管理中心（比如SG186營(yíng)銷系統(tǒng)），在該系統(tǒng)實(shí)現(xiàn)對(duì)數(shù)據(jù)、客戶的檔案管理，諸如電費(fèi)計(jì)算、線損統(tǒng)計(jì)、分析、營(yíng)銷等業(yè)務(wù)供用戶使用。

2? ?隨機(jī)矩陣?yán)碚摰慕：蛻?yīng)用

2.1? ?隨機(jī)矩陣?yán)碚摰慕?/p>

隨機(jī)矩陣?yán)碚撌峭ㄟ^(guò)統(tǒng)計(jì)、分析智能電網(wǎng)數(shù)據(jù)的能譜和本征態(tài)，得出實(shí)際測(cè)量中的隨機(jī)程度，進(jìn)而揭示實(shí)際數(shù)據(jù)蘊(yùn)含的整體關(guān)聯(lián)的事件特征。下面構(gòu)建隨機(jī)矩陣?yán)碚撃Ｐ蛯?duì)智能電網(wǎng)數(shù)據(jù)的相關(guān)性進(jìn)行計(jì)算。

2.2? ?隨機(jī)矩陣?yán)碚摰膽?yīng)用

基于上述模型的建立，將上述建立的數(shù)據(jù)模型應(yīng)用到電能計(jì)量的影響量的評(píng)估上，觀察電網(wǎng)中隱藏的外在參數(shù)對(duì)電能計(jì)量數(shù)據(jù)的影響情況。在本文設(shè)計(jì)的方案中，忽略數(shù)據(jù)輸入的步驟，直接從大數(shù)據(jù)管理平臺(tái)中的數(shù)據(jù)存儲(chǔ)中心中提取數(shù)據(jù)，然后進(jìn)行下一步的操作，其具體步驟如圖2所示。

（1）從大數(shù)據(jù)管理平臺(tái)中提取智能電網(wǎng)數(shù)據(jù);智能電網(wǎng)電網(wǎng)數(shù)據(jù)錯(cuò)綜復(fù)雜，根據(jù)用戶需要，提取有待評(píng)估的數(shù)據(jù)類型;比如電能計(jì)量的功率數(shù)據(jù)，諸如耐壓數(shù)據(jù)、外觀數(shù)據(jù)、紋波、功率、電壓、電流等，影響電網(wǎng)運(yùn)行的數(shù)據(jù)類型，諸如振動(dòng)、溫度、濕度、磁場(chǎng)、諧波、其他雜波、負(fù)載等數(shù)據(jù)。為了研究的便利，僅提取樣本數(shù)據(jù)作為參考。

（2）對(duì)提取的大數(shù)據(jù)預(yù)處理，保留有效數(shù)據(jù)，通過(guò)數(shù)據(jù)清理、數(shù)據(jù)集成、數(shù)據(jù)規(guī)約或數(shù)據(jù)變換的方式對(duì)提取的數(shù)據(jù)預(yù)處理，使得預(yù)處理后的數(shù)據(jù)更有效地用于實(shí)踐。大數(shù)據(jù)的處理通常是實(shí)時(shí)處理，首先將采集到的不同類型數(shù)據(jù)進(jìn)行簡(jiǎn)單都處理，比如進(jìn)行數(shù)據(jù)格式的轉(zhuǎn)換，將ip轉(zhuǎn)換成容易識(shí)別的地址，將包含信息量少或者無(wú)用的數(shù)據(jù)過(guò)濾掉等，然后進(jìn)行簡(jiǎn)單的加工處理，比如歸一化處理，在本步驟中，包括將模擬量轉(zhuǎn)換為數(shù)字量的步驟。在此，不做詳細(xì)說(shuō)明。

（3）建立隨機(jī)矩陣模型，基于矩陣模型計(jì)算出相關(guān)數(shù)據(jù)，如圖3所示。

在該步驟中，主要將處理后的純凈數(shù)據(jù)輸入到建立好的數(shù)據(jù)模型中，輸出用戶需要的數(shù)據(jù)。首先對(duì)處理后的數(shù)據(jù)進(jìn)行T次采樣，構(gòu)建狀態(tài)數(shù)據(jù)矩陣。即構(gòu)建：以下數(shù)據(jù)以數(shù)值的方式表示，比如

由于矩陣的規(guī)模和篇幅的限制，在此僅僅做示例性說(shuō)明，不再將矩陣按其真實(shí)規(guī)模展開(kāi)。

在步驟中，按照標(biāo)準(zhǔn)化后的標(biāo)準(zhǔn)化公式（見(jiàn)公式4）來(lái)計(jì)算，根據(jù)公式9求出奇異值等同矩陣，根據(jù)公式10求出奇異值計(jì)算，最后根據(jù)公式8求出Dstd的值。公式在此不做重復(fù)描述，根據(jù)上文列出的公式，分別輸入采樣數(shù)據(jù)，求出各個(gè)公式的值。

（4）利用隨機(jī)矩陣模型分析大數(shù)據(jù)，當(dāng)計(jì)算出標(biāo)準(zhǔn)化矩陣積Dstd的特征值分布時(shí)，便可評(píng)估電網(wǎng)雜波對(duì)電能計(jì)量計(jì)算誤差的影響，Dstd越大，影響量越大。由于D1表示的數(shù)據(jù)集合為影響智能電網(wǎng)正常運(yùn)行（諸如諧波、雜波干涉等），數(shù)據(jù)集合{P1，P2，P3，…，PM}中表示不同的參數(shù)，電能計(jì)量（如電流、電壓、功率等）的數(shù)據(jù)集合為{Q1，Q2，Q3，…，QN}中也表示不同的集合，因此在實(shí)際應(yīng)用時(shí)，根據(jù)選擇數(shù)據(jù)類型而構(gòu)建矩陣。

（5）將分析的大數(shù)據(jù)進(jìn)行診斷、顯示、上傳。根據(jù)用戶需要選擇后續(xù)處理措施，比如本地?cái)?shù)據(jù)顯示，通過(guò)數(shù)據(jù)監(jiān)控中心遠(yuǎn)程監(jiān)控?cái)?shù)據(jù)，上傳電力營(yíng)銷數(shù)據(jù)管理中心進(jìn)行綜合管理等。

（6）數(shù)據(jù)判斷，判斷輸出數(shù)據(jù)是夠滿意，如果不滿意，則重新計(jì)算，如果滿意，則任務(wù)結(jié)束。

3? ?方案實(shí)驗(yàn)及分析

在試驗(yàn)時(shí)，選用基于Matpower的IEEE-118節(jié)點(diǎn)的仿真系統(tǒng)系統(tǒng)。在仿真系統(tǒng)中設(shè)置電網(wǎng)異常數(shù)據(jù)參數(shù)，比如，電網(wǎng)雜波干擾、振動(dòng)、溫濕度、諧波干擾、異常事件（諸如符合突然增加）等，然后獲取電能計(jì)量數(shù)據(jù)，將正常測(cè)量的電能計(jì)量數(shù)據(jù)輸入仿真系統(tǒng)。假設(shè)矩陣D1 = 80*150，D2 = 400*500，根據(jù)公式Dstd = [w1，w1，w1……wM+N]T進(jìn)行計(jì)算，其中D1分別為溫度、負(fù)荷、濕度、諧波、磁場(chǎng)數(shù)據(jù)構(gòu)成的矩陣。在實(shí)施例時(shí)間，D1構(gòu)成5個(gè)矩陣，D2為電能計(jì)量參數(shù)（電流、電壓、功率、紋波等），其數(shù)據(jù)樣本見(jiàn)表1所示。由于智能電網(wǎng)的影響因子頗多，本文不做一一說(shuō)明。僅以溫度、負(fù)荷、濕度、諧波、磁場(chǎng)作為影響參數(shù)作為分析。

根據(jù)上述數(shù)據(jù)，應(yīng)用上文提高的公式，將結(jié)算結(jié)果匯成曲線圖，如下文所述。

對(duì)上述各個(gè)試驗(yàn)項(xiàng)目做失效統(tǒng)計(jì)，統(tǒng)計(jì)在2000小時(shí)內(nèi)的記錄變化，失效率如圖9所示。

電網(wǎng)系統(tǒng)中還含有信號(hào)網(wǎng)絡(luò)拓?fù)渥兓⒇?fù)荷異常、短路/斷路等情況，檢測(cè)效果與上文描述類似。通過(guò)隨機(jī)矩陣?yán)碚摱伎梢员普娴孬@取智能電網(wǎng)數(shù)據(jù)。通過(guò)隨機(jī)矩陣?yán)碚撘部梢詫?duì)智能電網(wǎng)數(shù)據(jù)進(jìn)行耗損評(píng)估，由于篇幅的限制，本文僅對(duì)智能電網(wǎng)不穩(wěn)定因素對(duì)電能計(jì)量測(cè)量的影響作為實(shí)驗(yàn)分析。通過(guò)上述試驗(yàn)，隨機(jī)矩陣?yán)碚撛谔幚碇悄茈娋W(wǎng)大數(shù)據(jù)方面具有明顯的直觀顯示。

4? ?結(jié)? 論

基于隨機(jī)矩陣?yán)碚搶?duì)智能電網(wǎng)數(shù)據(jù)進(jìn)行了分析和試驗(yàn)，通過(guò)隨機(jī)矩陣建模使用后對(duì)智能電網(wǎng)大數(shù)據(jù)的認(rèn)知提供了直觀的視覺(jué)識(shí)別，該種方案可以充分利用大數(shù)據(jù)庫(kù)系統(tǒng)中各種數(shù)據(jù)信息作為初始信息數(shù)據(jù)，然后利用隨機(jī)矩陣建模方法輸出不同的數(shù)據(jù)類型，使得用戶從宏觀的高緯度電網(wǎng)數(shù)據(jù)獲取數(shù)據(jù)微觀的本質(zhì)規(guī)律，從而從根源上解決智能電網(wǎng)運(yùn)行過(guò)程中存在的問(wèn)題，為智能電網(wǎng)的健康、綠色運(yùn)行提供較為有價(jià)值的技術(shù)參考，同時(shí)也具有較好的學(xué)術(shù)研究意義以及工程應(yīng)用價(jià)值。

參 考 文 獻(xiàn)

[1]? ? 陳星豪，黃柳萍，陶國(guó)飛. 基于隨機(jī)矩陣?yán)碚摰碾娏Υ髷?shù)據(jù)表征方法[J].電網(wǎng)技術(shù)，2017，36（3）：35—38.

[2]? ? 郝然，艾芊，肖斐. 基于多元大數(shù)據(jù)平臺(tái)的用電行為分析構(gòu)架研究[J]. 電力自動(dòng)化設(shè)備，2017，37（8）：26—33.

[3]? ? 王遠(yuǎn)，陶燁，蔣英明，等. 智能電網(wǎng)時(shí)序大數(shù)據(jù)實(shí)時(shí)處理系統(tǒng)[J]. 計(jì)算機(jī)應(yīng)用，2015，（z2）： 93—97.

[4]? ? 劉廣一，朱文東，陳金祥，等. 智能電網(wǎng)大數(shù)據(jù)的特點(diǎn)、應(yīng)用場(chǎng)景與分析平臺(tái)[J].南方電網(wǎng)技術(shù)，2016，10（5）：102—110.

[5]? ? 賀紅燕. 基于大數(shù)據(jù)的智能電網(wǎng)關(guān)鍵技術(shù)研究[J]. 電源技術(shù)，2016，40（8）：1713—1714.

[6]? ? 冉亮，李煒，孫向聚. 基于大數(shù)據(jù)技術(shù)的智能電網(wǎng)系統(tǒng)應(yīng)用研究[J].自動(dòng)化與儀器儀表，2017，（9）： 182—183.

[7]? ? 孟祥萍，周來(lái)，王暉，等. 云計(jì)算技術(shù)在未來(lái)智能電網(wǎng)信息處理平臺(tái)中的應(yīng)用[J].計(jì)算機(jī)測(cè)量與控制，2015，23（10）：265—268.

[8]? ? 葛磊蛟，王守相，瞿海妮. 智能配用電大數(shù)據(jù)存儲(chǔ)架構(gòu)設(shè)計(jì)[J]. 電力自動(dòng)化設(shè)備，2016，36（6）： 194—202.

[9]? ? 徐重酉，韓翊，賀興. 等. 基于隨機(jī)矩陣?yán)碚摰呐潆娋W(wǎng)陣列薄弱性評(píng)估系統(tǒng)設(shè)計(jì)[J]. 電器與能效管理技術(shù)，2018，（9）： 522—526+552.

[10]? 王奇，莊遠(yuǎn)燦，閻帥，等. 基于隨機(jī)矩陣?yán)碚摰慕恢绷鬏旊娡ǖ谰€損大數(shù)據(jù)關(guān)聯(lián)特性分析[J]. 電力自動(dòng)化設(shè)備，2018，38（5）：77—83.