劉 鑫
(國網(wǎng)山東省電力公司東阿縣供電公司)
云計算是當(dāng)前主流的分布式數(shù)據(jù)運算技術(shù), 具有安全可靠、擴展靈活、數(shù)據(jù)處理能力強、數(shù)據(jù)處理設(shè)備利用效率高的優(yōu)點, 能夠?qū)⒎植茧s散的多種計算資源有機結(jié)合起來[1], 并借助于虛擬技術(shù)實現(xiàn)數(shù)據(jù)計算資源的高效整合[2]; 同時, 云計算技術(shù)采用分布式存儲和因特網(wǎng)通信, 與采用數(shù)據(jù)集中式存儲和內(nèi)部網(wǎng)絡(luò)通信的傳統(tǒng)式分布式計算也有很大區(qū)別。正是基于云計算這些顯著的特點, 傳統(tǒng)的電力系統(tǒng)能量調(diào)度算法已經(jīng)無法通過云計算平臺實現(xiàn)[3]。因此, 應(yīng)當(dāng)以云計算技術(shù)的特點為依據(jù)來對電力系統(tǒng)能量調(diào)度算法進(jìn)行設(shè)計和優(yōu)化[4]。首先, 云計算能夠?qū)τ嬎阗Y源的數(shù)據(jù)處理能力進(jìn)行估算, 不同計算資源的數(shù)據(jù)處理能力存在較大差異, 在進(jìn)行新算法的設(shè)計優(yōu)化時, 盡可能將數(shù)據(jù)和問題進(jìn)行小型化處理, 以保證數(shù)據(jù)計算資源的高效利用; 其次, 由于云計算采用了因特網(wǎng)通信, 新算法要最大限度減少計算資源之間的通信, 以減小通信延遲對算法運行的影響; 再次, 云計算采用分布式數(shù)據(jù)存儲, 新算法要遵循“就近處理”的原則, 以最大限度減小節(jié)點之間的數(shù)據(jù)交換[5], 保證數(shù)據(jù)處理的高效性。
負(fù)荷預(yù)測是基于先前記錄的負(fù)荷數(shù)據(jù), 對當(dāng)前時間之后的某個時間點或某個時間段的負(fù)荷情況進(jìn)行預(yù)測。有很多因素都會對負(fù)荷預(yù)測產(chǎn)生影響, 諸如系統(tǒng)的運行特性、線路的拓?fù)浣Y(jié)構(gòu)、負(fù)荷的變化分布情況等, 負(fù)荷預(yù)測需要滿足一定程度的精度要求, 負(fù)荷預(yù)測的精準(zhǔn)度越高, 對電能的合理調(diào)度產(chǎn)生的影響就越小, 負(fù)荷預(yù)測是電力系統(tǒng)能量管理的重要組成部分,對電網(wǎng)運行的經(jīng)濟性產(chǎn)生很大影響[6]。
隨著智能電網(wǎng)的逐步構(gòu)建, 電力系統(tǒng)市場化運營的逐步推進(jìn), 負(fù)荷預(yù)測的精準(zhǔn)程度不僅會對電能的合理調(diào)度產(chǎn)生影響, 還會對整個電網(wǎng)的運行穩(wěn)定性乃至電網(wǎng)的安全運行產(chǎn)生影響, 所以說對不同類型負(fù)荷的運行特性、變化規(guī)律進(jìn)行有效辨識是進(jìn)行電力系統(tǒng)能量調(diào)度的前提條件, 而對記錄的歷史負(fù)荷數(shù)據(jù)中的個別壞數(shù)據(jù)進(jìn)行辨識和修正是保證負(fù)荷預(yù)測精準(zhǔn)性的基礎(chǔ)。在進(jìn)行負(fù)荷預(yù)測的時候, 歷史負(fù)荷數(shù)據(jù)是進(jìn)行負(fù)荷預(yù)測的基本依據(jù), 并且要搭建合理高效的負(fù)荷預(yù)測數(shù)學(xué)模型, 在大量歷史負(fù)荷數(shù)據(jù)的基礎(chǔ)上進(jìn)行大量的研究與試驗, 同時對負(fù)荷預(yù)測數(shù)學(xué)模型和新算法進(jìn)行不斷的優(yōu)化升級, 這樣才能夠保證負(fù)荷預(yù)測數(shù)學(xué)模型跟精確的反應(yīng)出負(fù)荷的實際變化規(guī)律。
K-Means 算法能夠很好的應(yīng)用在數(shù)據(jù)挖掘中, 但是其中存在的缺點必須進(jìn)行改進(jìn)才能保證其應(yīng)用效果, 由于初始k值會對最終結(jié)果產(chǎn)生很大影響, 所以必須通過合適的手段確定合理的k值; 通過合適的手段選取聚類中心; 根據(jù)實際情況構(gòu)建合理的數(shù)學(xué)模型。依據(jù)就近原則選取距離被修正負(fù)荷數(shù)據(jù)最近的歷史負(fù)荷數(shù)據(jù)作為聚類中心, 再根據(jù)電力負(fù)荷的運行特征進(jìn)行取值, 從而事實現(xiàn)迭代次數(shù)的降低、最終結(jié)果穩(wěn)定性的提升。對于初始k值來說, 引入評價聚類個數(shù)效力的評價公式, 通過評價公式的運算得出最合理的初始k值, 評價公式定義為:
其中:
初始k值為聚類個數(shù),N為總數(shù)據(jù)個數(shù),n為采樣數(shù)據(jù)個數(shù),xj是每一個聚類中第j條負(fù)荷曲線,z是每一聚類的中心。
上述公式反應(yīng)出: 合理的聚類個數(shù)k值, 要保證類內(nèi)數(shù)據(jù)的高聚合性, 即類內(nèi)數(shù)據(jù)要最大限度接近于類中心, 這就是類內(nèi)距離, 這個是主要的評價參數(shù);同時要保證類間數(shù)據(jù)的低耦合性, 即類間數(shù)據(jù)要最大限度的互相遠(yuǎn)離[10]。在上述評價公式中,Inter(k)函數(shù)通過對類間數(shù)據(jù)的間隔進(jìn)行計算來描述類間的差異, K-Means 方法通過計算Weigth(k) 公式的最小值來獲取最合理的聚類個數(shù)k值。
針對負(fù)荷曲線的運行特性, 引入變化率的概念,以更好的對聚類算法中的距離概念進(jìn)行描述, 同時變化率也能夠?qū)崿F(xiàn)對分類過程的細(xì)化處理。經(jīng)過改進(jìn)后的K-Means 聚類算法同時采用了距離和負(fù)荷變化率兩個描述參數(shù), 這樣能夠更精確得到預(yù)測負(fù)荷特性曲線, 能夠也能夠更好的對該曲線進(jìn)行解釋說明:
改進(jìn)型K-Means 的實現(xiàn)流程如圖1 所示。
圖1 改進(jìn)型K-Means 的實現(xiàn)流程
電力系統(tǒng)的負(fù)荷特性曲線具有相似性和平滑性的特點, 相似性是指鄰近幾天內(nèi)同一類型的負(fù)荷特性曲線具有相似的波動特征, 曲線形狀大致相同; 平滑性是指鄰近負(fù)荷點的負(fù)荷值不會發(fā)生很大變化。
從負(fù)荷預(yù)測的角度進(jìn)行分析, 對壞數(shù)據(jù)的修正實際上也是一種負(fù)荷預(yù)測, 以負(fù)荷特性曲線的相似性和平滑性為依據(jù)來對壞數(shù)據(jù)進(jìn)行近似替換, 為后續(xù)的負(fù)荷預(yù)測提供數(shù)據(jù)依據(jù)。從模式識別的角度進(jìn)行分析,壞數(shù)據(jù)的修正過程實際上就是一個對比判定的過程,將含有壞數(shù)據(jù)的負(fù)荷特性曲線與同類的常規(guī)負(fù)荷特性曲線進(jìn)行對比分析, 從而得到正常數(shù)據(jù)的近似值。因此這就要求以大量的歷史負(fù)荷數(shù)據(jù)為依據(jù), 對這些數(shù)據(jù)進(jìn)行系統(tǒng)化的分析和總結(jié), 將特征類似的數(shù)據(jù)進(jìn)行歸類分組, 得到幾組具有顯著特征的負(fù)荷曲線。
壞數(shù)據(jù)通常存在數(shù)值異變的特征, 依據(jù)這個特征利用負(fù)荷數(shù)據(jù)突變辨識法就能夠?qū)臄?shù)據(jù)從歷史負(fù)荷數(shù)據(jù)中辨識出來。首先對于某個數(shù)據(jù)點i, 對它自身與前面最近一個正常的負(fù)荷數(shù)據(jù)點j進(jìn)行負(fù)荷變化率計算, 由公式(4) 計算得到; 然后對歷史負(fù)荷數(shù)據(jù)中同類負(fù)荷曲線這兩個時間點的負(fù)荷變化率的數(shù)值波動范圍, 對比剛計算得到的待驗證點負(fù)荷變化率是否在正常的范圍內(nèi), 來判定此點的數(shù)據(jù)是否為壞數(shù)據(jù)。
采用改進(jìn)K-Means 算法對需要被修正的負(fù)荷曲線進(jìn)行聚類運算, 得出k條負(fù)荷特性曲線; 將需要被修正的負(fù)荷點移除; 對需要被修正的負(fù)荷點附近的多個點與負(fù)荷特性曲線相應(yīng)點的距離; 將距離最短的負(fù)荷特性曲線作為進(jìn)行數(shù)據(jù)修正的參考特性曲線。將參考特性曲線直接平移到需要被修正的負(fù)荷特性曲線上, 根據(jù)需要被修復(fù)點附近的數(shù)據(jù)進(jìn)行重新擬合, 這樣能夠相對較真實的反應(yīng)負(fù)荷特性曲線的變化趨勢。數(shù)據(jù)修復(fù)公式:
其中,Xd是修正后的負(fù)荷特性曲線,Xc是需要被修復(fù)的負(fù)荷特性曲線,Xt是需要被修復(fù)的負(fù)荷特性曲線的參考特性曲線,ChR(i) 是需要被修復(fù)的負(fù)荷特性曲線所屬的參考特性曲線在第i數(shù)據(jù)點的負(fù)荷變化率,i=p,p+1,…,q。
電力系統(tǒng)的負(fù)荷特性曲線的數(shù)據(jù)量很大, 通常在離線的情況下進(jìn)行負(fù)荷預(yù)測。不同的負(fù)荷特性區(qū)間之間基本不具有關(guān)聯(lián)性, 便于進(jìn)行分布式計算, 這與云計算的基本思想是相契合的, 負(fù)荷預(yù)測的離線操作特性也保證了云計算能夠很好地運用在負(fù)荷預(yù)測計算中。
首先將大數(shù)據(jù)進(jìn)行合理的分解操作, 生成大量的小數(shù)據(jù)集合, 然后將多個小數(shù)據(jù)集合分別經(jīng)由云計算集群中的結(jié)點采用并行計算的方式實現(xiàn)Map 運算,并將運算結(jié)果再次通過云計算集群中的結(jié)點并行實現(xiàn)Reduce 任務(wù), 生成最終結(jié)果。如圖2 所示描述了Map_Reduce 的實現(xiàn)機制。在數(shù)據(jù)輸入階段, 由作業(yè)跟蹤器從主節(jié)點的存儲單元上獲取數(shù)據(jù)片信息; 在Map 階段,由作業(yè)跟蹤器分配多個任務(wù)處理單元實現(xiàn)Map 運算從而得到中間結(jié)果; 在Shuffle 階段完成中間結(jié)果的重新排列; 在Reduce 階段, 由作業(yè)跟蹤器分配多個任務(wù)處理單元實現(xiàn)Reduce 運算; Reduce 運算完成后, 由作業(yè)跟蹤器和主節(jié)點輸出最終計算結(jié)果。
圖2 MapReduce 的實現(xiàn)機制
選用某地區(qū)某年的全年負(fù)荷數(shù)據(jù)對算法進(jìn)行仿真驗證, 預(yù)設(shè)異變數(shù)據(jù)、畸變數(shù)據(jù)兩種壞數(shù)據(jù)進(jìn)行辨識并修正, 其結(jié)果如下: 對這一年十月份的負(fù)荷數(shù)據(jù)進(jìn)行聚類分析, 得出各種聚類下的聚類評價參數(shù)Weight值, 從中提取Weight值最小的聚類個數(shù)k值, 得到對應(yīng)的最佳聚類個數(shù)下的負(fù)荷特性曲線。聚類個數(shù)與Weight值之間的關(guān)系如表1 所示。
表1 聚類個數(shù)與聚類評價指標(biāo)的關(guān)系
所以得到最優(yōu)的聚類個數(shù)是4。
通過提取的負(fù)荷特性曲線對需要被修正的異變數(shù)據(jù)和畸變數(shù)據(jù)進(jìn)行修正得到修正結(jié)果如圖3 和圖4 所示。
圖3 單個異變數(shù)據(jù)修正結(jié)果
圖4 連續(xù)畸變數(shù)據(jù)修正結(jié)果
從圖3 中可以看到, 算法對單個異變數(shù)據(jù)進(jìn)行了有效的辨識和修正。將修正結(jié)果與正常值進(jìn)行比對, 經(jīng)過大量實驗驗證, 平均誤差能夠控制在1%左右, 極個別負(fù)荷點出現(xiàn)大于2%的誤差, 但該點不具有代表性。
改進(jìn)型K-Means 算法對單個異變數(shù)據(jù)和連續(xù)畸變數(shù)據(jù)具有較高的辨識率, 并能對壞數(shù)據(jù)進(jìn)行有效的修正, 試驗結(jié)果良好, 滿足要求。
本文分析了基于云計算技術(shù)的電力系統(tǒng)能量調(diào)度技術(shù), 重點對進(jìn)行負(fù)荷預(yù)測中的負(fù)荷數(shù)據(jù)預(yù)處理問題進(jìn)行了深入研究, 對典型的K-Means 算法進(jìn)行了優(yōu)化升級, 通過對優(yōu)化后的算法進(jìn)行試驗驗證, 該算法的應(yīng)用效果良好, 隨后將該算法進(jìn)行了MapReduce 改造, 最終得到了能夠有效采用云計算技術(shù)的負(fù)荷預(yù)測數(shù)據(jù)預(yù)處理方法, 基于此方法即可實現(xiàn)電力系統(tǒng)能量的高效實時調(diào)度。