龐寧
(深圳供電局有限公司,廣東深圳 518048)
電力大數(shù)據(jù)全景設(shè)施分析是智能電網(wǎng)的重要內(nèi)容,為了讓系統(tǒng)更加可靠,需要對(duì)大量的數(shù)據(jù)進(jìn)行處理和分析,對(duì)電力系統(tǒng)設(shè)備進(jìn)行全面監(jiān)測(cè)和實(shí)時(shí)監(jiān)測(cè),為了保證數(shù)據(jù)處理的時(shí)效性和準(zhǔn)確性,需要在電力大數(shù)據(jù)處理中引入先進(jìn)的技術(shù),根據(jù)全景實(shí)時(shí)數(shù)據(jù)的分析結(jié)果進(jìn)行調(diào)度。
在電力需求不斷加大的情況下,電網(wǎng)的規(guī)模也越來(lái)越大,電力系統(tǒng)中引入了大規(guī)??稍偕g歇性能源?,F(xiàn)階段,最重要的工作就是保證電力系統(tǒng)的穩(wěn)定和安全,雖然安全可靠性分析技術(shù)早就被運(yùn)用在電網(wǎng)中,但是該技術(shù)有著較大的運(yùn)算量,只在一部分區(qū)域設(shè)置了采集點(diǎn),無(wú)法實(shí)現(xiàn)全面分析。如今,信息采集系統(tǒng)更加完善,覆蓋了整個(gè)電網(wǎng),解決了數(shù)據(jù)采集點(diǎn)較少的問(wèn)題,電網(wǎng)對(duì)智能技術(shù)進(jìn)行運(yùn)用后,形成了智能電網(wǎng),能夠得到電網(wǎng)的全景實(shí)時(shí)數(shù)據(jù)。全景實(shí)時(shí)數(shù)據(jù)的數(shù)據(jù)量非常大,在采集和計(jì)算的過(guò)程中會(huì)形成幾千階的微分方程,計(jì)算起來(lái)要耗費(fèi)大量的時(shí)間,不能保證全景數(shù)據(jù)分析的時(shí)效性。另外,大規(guī)模分布式間歇能源有很強(qiáng)的變化性,很難對(duì)其進(jìn)行精準(zhǔn)預(yù)估,往往會(huì)形成較大的沖擊,嚴(yán)重影響電網(wǎng)的穩(wěn)定性。所以,用實(shí)時(shí)動(dòng)態(tài)的方式對(duì)電網(wǎng)數(shù)據(jù)進(jìn)行分析是當(dāng)前電力大數(shù)據(jù)分析工作的重點(diǎn)。
分析電網(wǎng)可靠性的常用方法是潮流計(jì)算法,受到采集點(diǎn)較少和數(shù)據(jù)較少的影響,過(guò)去的潮流計(jì)算無(wú)法保證計(jì)算結(jié)果的精確性。使用了分布式能源之后,要想對(duì)全景實(shí)時(shí)數(shù)據(jù)進(jìn)行計(jì)算和分析,就必須要改變過(guò)去低效和局限性較大的計(jì)算方式,利用大數(shù)據(jù)技術(shù)優(yōu)化潮流計(jì)算技術(shù),使潮流計(jì)算具有更高的精確程度和更快的計(jì)算速度,確保全景實(shí)時(shí)數(shù)據(jù)計(jì)算分析的準(zhǔn)確性和時(shí)效性,為電網(wǎng)的可靠性提供保障。
分析電網(wǎng)可靠性一般會(huì)使用N-1安全準(zhǔn)則,當(dāng)電力系統(tǒng)中的設(shè)備發(fā)生故障后,往往會(huì)用這一準(zhǔn)則評(píng)價(jià)電網(wǎng)的安全。N-1安全準(zhǔn)則具有一定的局限性,該準(zhǔn)則沒(méi)有關(guān)注電網(wǎng)中的多重事件,只能考慮了個(gè)別設(shè)備的故障問(wèn)題,但是電力系統(tǒng)出現(xiàn)問(wèn)題時(shí),故障的設(shè)備往往會(huì)對(duì)其他部位產(chǎn)生影響,形成連鎖反應(yīng)。為了彌補(bǔ)N-1安全準(zhǔn)則的不足,需要從多重事件的角度研究電網(wǎng)可靠性分析的方法,在N-m的基礎(chǔ)上進(jìn)行研究,計(jì)算量的增長(zhǎng)速度會(huì)變得越來(lái)越快,需要解決計(jì)算速度的問(wèn)題,保證多重事件下的數(shù)據(jù)計(jì)算能夠在一定時(shí)間內(nèi)完成。目前,解決這個(gè)問(wèn)題最有效的方法就是快速高維稀疏矩陣,可以利用迭代法對(duì)非線性方程進(jìn)行運(yùn)算和求解。
電網(wǎng)的運(yùn)行過(guò)程是一個(gè)動(dòng)態(tài)變化的過(guò)程,電網(wǎng)不會(huì)一直保持穩(wěn)定安全的狀態(tài),所以要在電網(wǎng)中加入實(shí)施監(jiān)測(cè)系統(tǒng),對(duì)電網(wǎng)的運(yùn)行情況進(jìn)行實(shí)時(shí)監(jiān)控,盡量在最短的時(shí)間內(nèi)發(fā)現(xiàn)系統(tǒng)的異常情況,找出故障部位并對(duì)該部位進(jìn)行維修處理,確保電網(wǎng)能夠盡快恢復(fù)正常的運(yùn)行狀態(tài)。電力系統(tǒng)中存在各種類型的設(shè)備,對(duì)電網(wǎng)故障問(wèn)題進(jìn)行分析,發(fā)現(xiàn)很多情況都與設(shè)備有關(guān),要重視設(shè)備的監(jiān)控和管理,尤其要重視輸變電設(shè)備,對(duì)該設(shè)備的運(yùn)行數(shù)據(jù)進(jìn)行采集和分析,根據(jù)全壽命周期數(shù)據(jù)進(jìn)行分析和評(píng)估,利用這些數(shù)據(jù)建立相應(yīng)的模型,使評(píng)估過(guò)程更加直觀、評(píng)價(jià)結(jié)果更加準(zhǔn)確,以這種方式降低設(shè)備故障和電力系統(tǒng)故障的幾率。
電力系統(tǒng)中的設(shè)備數(shù)據(jù)基本都是臺(tái)賬信息,這些數(shù)據(jù)信息都存儲(chǔ)在設(shè)備管理系統(tǒng)中,但是全壽命數(shù)據(jù)存在較長(zhǎng)的間隔時(shí)間,在電網(wǎng)的分布上也比較廣泛,數(shù)據(jù)的收集和整理將會(huì)變得異常困難。而大數(shù)據(jù)中心能夠?qū)θ吭O(shè)備的數(shù)據(jù)進(jìn)行整合,為全壽命周期管理提供了必要的支持,根據(jù)全壽命周期數(shù)據(jù)建立性的評(píng)價(jià)模型,對(duì)不夠準(zhǔn)確的數(shù)據(jù)進(jìn)行調(diào)整,讓模型更加精準(zhǔn),解決等級(jí)劃分較少的問(wèn)題。等級(jí)劃分可以采用聚類劃分的方法,對(duì)設(shè)備的異常部位進(jìn)行檢測(cè),同時(shí)還可以運(yùn)用深度學(xué)習(xí)技術(shù),綜合多種技術(shù),對(duì)輸變電設(shè)備進(jìn)行自動(dòng)分類,準(zhǔn)確預(yù)測(cè)輸變電設(shè)備的故障情況。
對(duì)設(shè)備運(yùn)行情況進(jìn)行評(píng)價(jià)和預(yù)估,大都是在實(shí)驗(yàn)室環(huán)境下的評(píng)估,其中的數(shù)據(jù)也是模擬過(guò)程中形成的數(shù)據(jù),可以對(duì)人工智能技術(shù)進(jìn)行運(yùn)用,在該技術(shù)的基礎(chǔ)上劃分風(fēng)險(xiǎn)的級(jí)別。實(shí)驗(yàn)室模擬的缺陷在于數(shù)據(jù)量較少,實(shí)驗(yàn)環(huán)境和真實(shí)的電力設(shè)備運(yùn)行環(huán)境有很大的差異,無(wú)法保證該算法對(duì)大規(guī)模設(shè)備數(shù)據(jù)進(jìn)行運(yùn)算評(píng)估的高效性和準(zhǔn)確性??梢詫?duì)數(shù)據(jù)分析技術(shù)進(jìn)行運(yùn)用,找出電力設(shè)備運(yùn)行情況和設(shè)備所處環(huán)境的聯(lián)系,分析兩者的規(guī)律和關(guān)聯(lián)特征,在真實(shí)環(huán)境中更好對(duì)設(shè)備進(jìn)行監(jiān)測(cè)、運(yùn)算和評(píng)估。所以,對(duì)輸變電設(shè)備全壽命周期數(shù)據(jù)進(jìn)行運(yùn)算和分析的過(guò)程中,可以運(yùn)用數(shù)據(jù)挖掘分析算法[1]。
發(fā)電量、用電量和輸電量并不是一成不變的,電力系統(tǒng)的能源一直處于變化的狀態(tài),如果各個(gè)方面的數(shù)值差異過(guò)大,就有可能使電力系統(tǒng)出現(xiàn)問(wèn)題,所以要讓各部分保持平衡,按照瞬時(shí)平衡規(guī)律進(jìn)行調(diào)整,由于電力系統(tǒng)無(wú)法存儲(chǔ)大量的電能,所以要根據(jù)用電情況對(duì)發(fā)電量和輸電量進(jìn)行控制,保證電力系統(tǒng)整體的平衡性。目前在整體的調(diào)度和控制上,最常用的系統(tǒng)就是SCADA系統(tǒng),該系統(tǒng)能夠?qū)﹄娋W(wǎng)設(shè)備的運(yùn)行數(shù)據(jù)和環(huán)境數(shù)據(jù)進(jìn)行監(jiān)測(cè)和采集,發(fā)現(xiàn)電力設(shè)備出現(xiàn)異常情況時(shí),及時(shí)進(jìn)行報(bào)警,SCADA系統(tǒng)還能調(diào)整系統(tǒng)設(shè)備的參數(shù),以達(dá)到控制設(shè)備和調(diào)節(jié)系統(tǒng)的目的。
調(diào)度系統(tǒng)是最初是根據(jù)系統(tǒng)的需求和實(shí)際情況進(jìn)行設(shè)計(jì)和構(gòu)建的,隨著電力系統(tǒng)不斷發(fā)展和變化,電力系統(tǒng)的數(shù)據(jù)規(guī)模越來(lái)越大,傳統(tǒng)的處理方法已經(jīng)無(wú)法滿足當(dāng)前電力系統(tǒng)的實(shí)際需求,各方面數(shù)據(jù)的處理速度非常慢,而且數(shù)據(jù)的處理范圍十分有限,基本上只能對(duì)主參數(shù)進(jìn)行處理,忽略了很多細(xì)節(jié)數(shù)據(jù)。如今的電力系統(tǒng)中加入了大量的間歇性能源,系統(tǒng)的不確定性和復(fù)雜性更加明顯,大量分散的數(shù)據(jù)和異構(gòu)的信息會(huì)在同一時(shí)間傳輸?shù)綌?shù)據(jù)中心,如果數(shù)據(jù)中心繼續(xù)使用過(guò)去的調(diào)度系統(tǒng),調(diào)度系統(tǒng)的功能和效果就會(huì)受到很大影響,無(wú)法保證數(shù)據(jù)處理的時(shí)效性和精確性,也無(wú)法根據(jù)數(shù)據(jù)處理的結(jié)果進(jìn)行科學(xué)調(diào)度。
電力大數(shù)據(jù)中心可以利用大數(shù)據(jù)技術(shù)對(duì)大規(guī)模的數(shù)據(jù)信息進(jìn)行處理,把控全局,合理調(diào)度,整合系統(tǒng)各個(gè)部分的資源,平衡供電量和用電量。電力大數(shù)據(jù)中心能夠準(zhǔn)確統(tǒng)計(jì)能源的用量,對(duì)能源的需求進(jìn)行預(yù)估,還能夠統(tǒng)計(jì)電能的生產(chǎn)量,根據(jù)各部分的數(shù)據(jù)參數(shù)進(jìn)行自動(dòng)調(diào)配,發(fā)揮自動(dòng)調(diào)配技術(shù)的作用。能源動(dòng)態(tài)平衡調(diào)度技術(shù)以大數(shù)據(jù)技術(shù)為基礎(chǔ),能夠?qū)Υ罅康亩嘣?xì)節(jié)數(shù)據(jù)進(jìn)行運(yùn)算和處理,根據(jù)實(shí)時(shí)數(shù)據(jù)和數(shù)據(jù)模型進(jìn)行調(diào)度,使電力系統(tǒng)的調(diào)度更加精確和高效[2]。
電力大數(shù)據(jù)全景實(shí)時(shí)分析對(duì)計(jì)算機(jī)內(nèi)存和計(jì)算技術(shù)有較高的要求,在目前的計(jì)算機(jī)體系和計(jì)算技術(shù)中,對(duì)于64bit計(jì)算機(jī)來(lái)說(shuō),最大的內(nèi)存容量為232×4GB,內(nèi)存計(jì)算技術(shù)滿足了電力系統(tǒng)大量數(shù)據(jù)的存儲(chǔ)需求,不必再使用磁盤(pán)進(jìn)行存儲(chǔ)和計(jì)算,極大提高了系統(tǒng)的性能、加快了數(shù)據(jù)處理的速度。當(dāng)電力系統(tǒng)出現(xiàn)海量的數(shù)據(jù),同時(shí)又要對(duì)這些數(shù)據(jù)進(jìn)行實(shí)時(shí)處理時(shí),就可以對(duì)內(nèi)存計(jì)算技術(shù)進(jìn)行應(yīng)用,該技術(shù)在實(shí)時(shí)處理大量數(shù)據(jù)和密集型計(jì)算方面有很大的優(yōu)勢(shì)。電力大數(shù)據(jù)可以根據(jù)使用頻率的不同進(jìn)行劃分,將其劃分成2種數(shù)據(jù),一種為冷數(shù)據(jù),主要在磁盤(pán)中存儲(chǔ),另一種為熱數(shù)據(jù),可以直接存儲(chǔ)到計(jì)算機(jī)內(nèi)存中。
內(nèi)存計(jì)算技術(shù)需要依托于具體的平臺(tái),當(dāng)前常使用的平臺(tái)為Spark平臺(tái)。Spark屬于開(kāi)源集群計(jì)算系統(tǒng),該系統(tǒng)以內(nèi)存計(jì)算技術(shù)為基礎(chǔ),即使是在大數(shù)據(jù)電力全景實(shí)時(shí)分析對(duì)數(shù)據(jù)分析算法的運(yùn)算速度有較高要求的情況下也可使用,未以達(dá)到系統(tǒng)穩(wěn)定運(yùn)行的效果。Spark系統(tǒng)能夠在并行操作的過(guò)程中對(duì)工作數(shù)據(jù)集進(jìn)行運(yùn)用,使運(yùn)算的速度更快。在Spark系統(tǒng)的作用下,電力系統(tǒng)將會(huì)更加高效,例如,在監(jiān)測(cè)設(shè)備的過(guò)程中會(huì)形成不同類型的數(shù)據(jù),Spark能夠快速劃分?jǐn)?shù)據(jù)的類型,利用k-means聚類劃分算法對(duì)數(shù)據(jù)進(jìn)行分類處理[3]。聚類算法實(shí)現(xiàn)過(guò)程如下:(1)讀取存儲(chǔ)于HDFS中的文件塊到內(nèi)存中,并將每個(gè)塊轉(zhuǎn)化為一個(gè)RDD,其內(nèi)部為監(jiān)測(cè)數(shù)據(jù)特征量集合;(2)映射RDD,計(jì)算不同vector對(duì)應(yīng)聚類編號(hào),并完成鍵值的輸出,最終生成新的RDD;(3)在歸納操作中混合各RDD,并將相同的聚類數(shù)據(jù)一起存放;(4)將輸出結(jié)果寫(xiě)于HDFS中。
電力流式大數(shù)據(jù)有較多的特點(diǎn),如無(wú)限性和突發(fā)性,在監(jiān)測(cè)和處理時(shí)很容易遺漏部分?jǐn)?shù)據(jù),必須要保證數(shù)據(jù)的完整性和數(shù)據(jù)處理的實(shí)時(shí)性。目前的流式數(shù)據(jù)分析平臺(tái)無(wú)法保證實(shí)時(shí)性和可靠性,電力大數(shù)據(jù)全景實(shí)時(shí)分析在流式數(shù)據(jù)的分析中,可以對(duì)Storm進(jìn)行運(yùn)用,Storm系統(tǒng)不會(huì)出現(xiàn)遺漏數(shù)據(jù)的問(wèn)題,而且計(jì)算過(guò)程相對(duì)簡(jiǎn)單,整體的分析更加高效。但是該系統(tǒng)在資源分配方面有一定不足,由于系統(tǒng)沒(méi)有運(yùn)用拓?fù)浣Y(jié)構(gòu),導(dǎo)致該系統(tǒng)無(wú)法滿足調(diào)度的需求。對(duì)Storm進(jìn)行優(yōu)化時(shí),要先設(shè)計(jì)完整的拓?fù)浣Y(jié)構(gòu),明確數(shù)據(jù)處理的前后順序,根據(jù)一定的邏輯進(jìn)行處理。以電力設(shè)備的監(jiān)測(cè)為例,對(duì)流數(shù)據(jù)進(jìn)行處理時(shí),要先對(duì)數(shù)據(jù)進(jìn)行去噪處理,接下來(lái)要對(duì)流數(shù)據(jù)的特征量進(jìn)行計(jì)算,最后根據(jù)計(jì)算結(jié)果評(píng)價(jià)電力設(shè)備的運(yùn)行狀態(tài)[4]。使用Storm系統(tǒng)時(shí),應(yīng)注意系統(tǒng)的2種節(jié)點(diǎn),系統(tǒng)包含一個(gè)主節(jié)點(diǎn),即nimbus,另一種節(jié)點(diǎn)是從節(jié)點(diǎn),即supervisor,這種節(jié)點(diǎn)的數(shù)量較多。系統(tǒng)會(huì)在3種環(huán)境下運(yùn)行,一是slave,二是master,三是cluster。處理流數(shù)據(jù)的過(guò)程中,還要對(duì)拓?fù)浣Y(jié)構(gòu)進(jìn)行設(shè)計(jì),明確處理的順序,要掌握數(shù)據(jù)源和不同的處理節(jié)點(diǎn),根據(jù)一定的邏輯關(guān)系處理流數(shù)據(jù),以設(shè)備運(yùn)行狀態(tài)監(jiān)測(cè)流數(shù)據(jù)為例,第一,先獲取流數(shù)據(jù);第二,采用不同的方法進(jìn)行去噪處理;第三,采用不同的運(yùn)算方法計(jì)算流數(shù)據(jù)的特征量;第四,對(duì)流狀態(tài)進(jìn)行評(píng)價(jià)。
電力系統(tǒng)還可以對(duì)多核并行計(jì)算技術(shù)進(jìn)行運(yùn)用,在多核并行計(jì)算技術(shù)的應(yīng)用中,可以形成多核CPU,將系統(tǒng)中的算法并行,提高電力系統(tǒng)中密集數(shù)據(jù)的處理效率和分析效率。當(dāng)前,電力系統(tǒng)需要處理海量的數(shù)據(jù),還要執(zhí)行非常復(fù)雜的計(jì)算任務(wù),這種情況增加了處理和計(jì)算的時(shí)間,多核并行計(jì)算技術(shù)能夠讓數(shù)據(jù)處理和運(yùn)算更加快速,在使用多核處理器和眾核處理器的情況下,可以利用并行計(jì)算技術(shù)實(shí)現(xiàn)多線并行,更有效地利用數(shù)據(jù)集群節(jié)點(diǎn)。圖形處理器存在著數(shù)以千計(jì)的計(jì)算核心,只有運(yùn)用并行計(jì)算技術(shù),才能更快更好地完成數(shù)據(jù)處理工作。CPU實(shí)現(xiàn)了大規(guī)模線程并行,即使有幾百萬(wàn)線程,也可以順利運(yùn)行,切換的過(guò)程非??焖佟T诓⑿杏?jì)算中,主要使用SIMD,即單指令多數(shù)據(jù)的并行方式,只要下達(dá)一個(gè)命令,就可以同時(shí)控制非常多的數(shù)據(jù)。
在列存儲(chǔ)技術(shù)的應(yīng)用中,電力大數(shù)據(jù)全景實(shí)時(shí)數(shù)據(jù)中各種類型的數(shù)據(jù)都能被有效存儲(chǔ),在電力系統(tǒng)的數(shù)據(jù)類型中,大部分都為結(jié)構(gòu)化數(shù)據(jù),具體來(lái)說(shuō),包含用戶的用電數(shù)據(jù)和電力系統(tǒng)中各個(gè)設(shè)備運(yùn)行時(shí)的數(shù)據(jù),還包括PMU數(shù)據(jù),這些數(shù)據(jù)都可以對(duì)列存儲(chǔ)技術(shù)加以利用,使全景實(shí)時(shí)分析的數(shù)據(jù)分析更加高效。使用列存儲(chǔ)技術(shù)時(shí),單獨(dú)存儲(chǔ)每列數(shù)據(jù),查找相關(guān)數(shù)據(jù)時(shí),只要找到對(duì)應(yīng)的列即可,不用讀取其他列的數(shù)據(jù),該技術(shù)大大減少了磁盤(pán)I/O,加快了數(shù)據(jù)查詢的速度。將每列數(shù)據(jù)單獨(dú)存儲(chǔ),往往會(huì)使同列中的數(shù)據(jù)具有很強(qiáng)的相似性,可以將列存儲(chǔ)技術(shù)與壓縮技術(shù)結(jié)合起來(lái),如位向量壓縮技術(shù)或數(shù)據(jù)字典壓縮技術(shù),通過(guò)壓縮技術(shù)提高每列數(shù)據(jù)的壓縮率。
例如,在監(jiān)測(cè)電力系統(tǒng)中的電能質(zhì)量時(shí),往往會(huì)產(chǎn)生非常多的時(shí)序監(jiān)測(cè)數(shù)據(jù),而且數(shù)據(jù)的監(jiān)測(cè)包含多種類型,形成參數(shù)數(shù)據(jù)和諧波數(shù)據(jù)等類型的數(shù)據(jù),可以將監(jiān)測(cè)類型細(xì)分成具體的列簇,對(duì)單獨(dú)通道里的數(shù)據(jù)進(jìn)行存儲(chǔ),使其處于相鄰的節(jié)點(diǎn)中,使后期的檢索更加方便。列簇的劃分如下:(1)設(shè)備運(yùn)行時(shí)的監(jiān)測(cè)數(shù)據(jù)單獨(dú)成為一個(gè)列簇;(2)閃變數(shù)據(jù)單獨(dú)成為一個(gè)列簇;(3)電力系統(tǒng)中的電壓電流波形數(shù)據(jù)單獨(dú)成為一個(gè)列簇;(4)將頻譜數(shù)據(jù)與諧波和簡(jiǎn)諧波融合到一起,共同組成一個(gè)列簇,對(duì)這些數(shù)據(jù)進(jìn)行存儲(chǔ)時(shí),可以采用組合壓縮的存儲(chǔ)方式,不用按照次數(shù)單獨(dú)進(jìn)行存儲(chǔ)。對(duì)電力系統(tǒng)的數(shù)據(jù)進(jìn)行劃分之后,可以根據(jù)數(shù)據(jù)的相關(guān)性進(jìn)行存儲(chǔ)和查詢,使數(shù)據(jù)的查找和讀取更加快速。
大數(shù)據(jù)全景實(shí)時(shí)分析會(huì)用到多種先進(jìn)的技術(shù),需要對(duì)這些技術(shù)進(jìn)行研究和應(yīng)用,將各種技術(shù)綜合運(yùn)用到電力大數(shù)據(jù)全景實(shí)時(shí)分析中,結(jié)合電力系統(tǒng)的現(xiàn)狀問(wèn)題、電能的需求、關(guān)鍵技術(shù)的難點(diǎn)進(jìn)行創(chuàng)新,發(fā)揮各種關(guān)鍵技術(shù)的作用,構(gòu)建一個(gè)更加高效和精準(zhǔn)的電力大數(shù)據(jù)分析平臺(tái)。