面向異構(gòu)數(shù)據(jù)的風(fēng)電大數(shù)據(jù)質(zhì)量治理方法

馬輝, 張二輝, 劉一丁, 徐興朝, 田嶸

(1.北京金風(fēng)慧能技術(shù)有限公司,北京 100176; 2.河北新天科創(chuàng)新能源技術(shù)有限公司,河北,張家口 075000;3.江蘇金風(fēng)軟件技術(shù)有限公司,江蘇,無錫 214000)

0 引言

近年來以“大數(shù)據(jù)”“云計(jì)算”“物聯(lián)網(wǎng)”為代表的信息科學(xué)技術(shù)在風(fēng)電行業(yè)得到廣泛的應(yīng)用,提高了電力企業(yè)生產(chǎn)、運(yùn)營工作的自動(dòng)化、信息化水平,大量數(shù)據(jù)積累以及缺少有效數(shù)據(jù)管理方法將帶來一系列數(shù)據(jù)管理及應(yīng)用問題,低質(zhì)量的風(fēng)電大數(shù)據(jù)將對(duì)決策產(chǎn)生誤導(dǎo),嚴(yán)重時(shí)產(chǎn)生有害結(jié)果[1-2]。

針對(duì)風(fēng)電大數(shù)據(jù)質(zhì)量存在差異的問題,文獻(xiàn)[3]對(duì)智能電網(wǎng)的大數(shù)據(jù)特征進(jìn)行分析,建立數(shù)據(jù)質(zhì)量的評(píng)估管理體系,調(diào)度中心積累電網(wǎng)運(yùn)行、生產(chǎn)管理和市場(chǎng)運(yùn)行方面的大量數(shù)據(jù)。由于這些數(shù)據(jù)存在分散性和異構(gòu)性,很難直接挖掘到數(shù)據(jù)背后隱藏的信息。文獻(xiàn)[4]提出標(biāo)準(zhǔn)化的數(shù)據(jù)質(zhì)量管理規(guī)范,加強(qiáng)對(duì)數(shù)據(jù)質(zhì)量的管控和評(píng)估,提高了電力企業(yè)決策分析的合理性和實(shí)用性。但由于數(shù)據(jù)質(zhì)量的復(fù)雜性,形成廣泛應(yīng)用的評(píng)估指標(biāo)較為困難。

1 大數(shù)據(jù)環(huán)境下的風(fēng)電數(shù)據(jù)質(zhì)量評(píng)估系統(tǒng)設(shè)計(jì)

本文構(gòu)建一套風(fēng)電數(shù)據(jù)質(zhì)量評(píng)估系統(tǒng),風(fēng)電數(shù)據(jù)質(zhì)量評(píng)估系統(tǒng)由數(shù)據(jù)源、大數(shù)據(jù)處理模塊、數(shù)據(jù)結(jié)果集、數(shù)據(jù)評(píng)估和具體應(yīng)用模塊組成,能夠?qū)崿F(xiàn)風(fēng)電大數(shù)據(jù)的自動(dòng)化、智能化評(píng)估[5]。對(duì)風(fēng)電大數(shù)據(jù)質(zhì)量評(píng)估之前,先對(duì)數(shù)據(jù)集進(jìn)行可信分析,根據(jù)時(shí)間和上下文的動(dòng)態(tài)變化進(jìn)行信任度的動(dòng)態(tài)更新?？尚哦鹊挠?jì)算先計(jì)算直接數(shù)據(jù)源的可信度,再計(jì)算具有鄰接關(guān)系的間接數(shù)據(jù)源的可信度。通過對(duì)異構(gòu)數(shù)據(jù)信息處理,以實(shí)現(xiàn)多種形式數(shù)據(jù)的風(fēng)電數(shù)據(jù)質(zhì)量評(píng)估和計(jì)算,增強(qiáng)了數(shù)據(jù)兼容能力。本文的風(fēng)電數(shù)據(jù)質(zhì)量評(píng)估系統(tǒng)功能架構(gòu)示意圖如圖1所示。

圖1 風(fēng)電數(shù)據(jù)質(zhì)量評(píng)估系統(tǒng)結(jié)構(gòu)

本文系統(tǒng)應(yīng)用RDS關(guān)系型數(shù)據(jù)庫服務(wù),提供數(shù)據(jù)監(jiān)控、異地容災(zāi)和故障恢復(fù)的功能,RDS的內(nèi)核基于MySQL和PostgreSQL,并能夠兼容Oracle,通過線程池技術(shù)提高了數(shù)據(jù)庫的并發(fā)處理能力,并增強(qiáng)了查詢緩存機(jī)制,面對(duì)大量數(shù)據(jù)庫連接時(shí)能夠保持較高的性能。系統(tǒng)根據(jù)得到數(shù)據(jù)可信度,將可信度低的數(shù)據(jù)移除,提高了數(shù)據(jù)質(zhì)量。然后對(duì)系統(tǒng)底層各異構(gòu)數(shù)據(jù)源進(jìn)行整合,并提出基于貝葉斯網(wǎng)絡(luò)的數(shù)據(jù)質(zhì)量?jī)?yōu)化方法[6]。利用樸素貝葉斯結(jié)構(gòu)對(duì)劃分得到的子空間建立關(guān)聯(lián)模型,將數(shù)據(jù)質(zhì)量不達(dá)標(biāo)的數(shù)據(jù)字段的狀態(tài)發(fā)送給關(guān)聯(lián)模型庫,利用關(guān)聯(lián)模型庫對(duì)參數(shù)進(jìn)行診斷。

本文系統(tǒng)基于KEYValue的一種REDIS的緩存服務(wù),有效解決了系統(tǒng)數(shù)據(jù)讀寫速度較慢的問題,提高了系統(tǒng)的數(shù)據(jù)查詢能力。REDIS提供更加多樣的數(shù)據(jù)結(jié)構(gòu)和便捷的數(shù)據(jù)持久化方法,支持字符串、鏈表、有序集合等數(shù)據(jù)存儲(chǔ)類型,通過SDS、LRU和TTL等數(shù)據(jù)處理方法加快了緩存系統(tǒng)的速度。通過對(duì)數(shù)據(jù)的分析結(jié)果,對(duì)風(fēng)電數(shù)據(jù)進(jìn)行計(jì)算,分析數(shù)據(jù)的有效性得到數(shù)據(jù)質(zhì)量評(píng)價(jià)結(jié)果[7]。具體應(yīng)用模塊對(duì)系統(tǒng)的功能進(jìn)行管理,并將數(shù)據(jù)質(zhì)量評(píng)價(jià)結(jié)果進(jìn)行界面展示。通過接口編程,為其他文件類型提供統(tǒng)一的抽象實(shí)現(xiàn),使功能模塊具有更好的可擴(kuò)展性。

2 關(guān)鍵技術(shù)分析

2.1 基于可信分析的風(fēng)電大數(shù)據(jù)質(zhì)量評(píng)估模型

應(yīng)用數(shù)據(jù)前需要對(duì)風(fēng)電數(shù)據(jù)的質(zhì)量進(jìn)行評(píng)估,判斷給定質(zhì)量不同的多維度數(shù)據(jù)中的數(shù)據(jù)是否有用,數(shù)據(jù)反映出的可靠性表示數(shù)據(jù)本身的質(zhì)量。基于可信分析的風(fēng)電大數(shù)據(jù)質(zhì)量評(píng)估模型的硬件結(jié)構(gòu)如圖2所示。

圖2 硬件結(jié)構(gòu)示意圖

硬件結(jié)構(gòu)中包括了風(fēng)電故障指示器、無線通信網(wǎng)絡(luò)、隔離組件和風(fēng)電自動(dòng)化主站等,通過主站層獲取硬件數(shù)據(jù)評(píng)估特征。在評(píng)估數(shù)據(jù)信息時(shí),為提高數(shù)據(jù)質(zhì)量評(píng)估模型的可靠性,通過可信分析判斷數(shù)據(jù)來源是否可靠,并利用層次分析法對(duì)評(píng)估結(jié)果進(jìn)行綜合[8-9]。

在進(jìn)行大數(shù)據(jù)治理時(shí),數(shù)據(jù)質(zhì)量評(píng)估模型的評(píng)估步驟如下。

步驟一:導(dǎo)入需要進(jìn)行數(shù)據(jù)質(zhì)量評(píng)估的數(shù)據(jù)。

步驟二:篩選數(shù)據(jù)。選擇對(duì)數(shù)據(jù)質(zhì)量影響較大的數(shù)據(jù)進(jìn)行評(píng)估。

步驟三:可信分析。從數(shù)據(jù)源間、數(shù)據(jù)源、數(shù)據(jù)本身分析數(shù)據(jù)庫中數(shù)據(jù)來源是否可信,并移除不可信數(shù)據(jù)。直接可信度可表示為

DTDn(xi,xj,C,t)=

(1)

其中,xi、xj表示可信度模型中數(shù)據(jù),C表示數(shù)據(jù)上下文交互,t表示時(shí)間,δ表示可信度系數(shù),ΔC=φ表示沒有上下文交互,n表示數(shù)據(jù)集合中的實(shí)體,λ(t)表示外界影響數(shù)據(jù)信息的因子。間接可信度表示與目標(biāo)數(shù)據(jù)有鄰接關(guān)系,可信度為

ITDn(xi,xj,C,t)=

(2)

當(dāng)t=0時(shí),鄰接數(shù)據(jù)的可信度均勻分配,若鄰接數(shù)據(jù)與目標(biāo)數(shù)據(jù)有上下文交互,間接可信度進(jìn)行更新。

步驟四:設(shè)置評(píng)估規(guī)則。確實(shí)數(shù)據(jù)質(zhì)量5個(gè)維度有限性、一致性、及時(shí)性、完備性和完整性的占比,通過設(shè)置好的規(guī)則對(duì)數(shù)據(jù)質(zhì)量進(jìn)行評(píng)估。

步驟五:得到數(shù)據(jù)質(zhì)量分?jǐn)?shù)。運(yùn)行每個(gè)維度的每條規(guī)則得到規(guī)則得分,根據(jù)得分、權(quán)重、維度占比得出每個(gè)維度的分值,將5個(gè)維度的分值相加。

步驟六:維度綜合。采用層次分析法對(duì)數(shù)據(jù)質(zhì)量評(píng)估維度進(jìn)行權(quán)重分析,按照權(quán)重相加得出數(shù)據(jù)質(zhì)量的綜合評(píng)估結(jié)果。

步驟七:質(zhì)量?jī)?yōu)化。根據(jù)數(shù)據(jù)質(zhì)量評(píng)價(jià)結(jié)果,針對(duì)影響數(shù)據(jù)質(zhì)量較大的維度,觀測(cè)數(shù)據(jù)上下游找出影響較大的流程進(jìn)行改進(jìn)。

本文風(fēng)電大數(shù)據(jù)質(zhì)量評(píng)估模型的評(píng)估流程如圖3所示。

圖3 大數(shù)據(jù)質(zhì)量評(píng)估模型的評(píng)估流程

在上述模型中,考慮到數(shù)據(jù)集交互的動(dòng)態(tài)性,在數(shù)據(jù)質(zhì)量評(píng)估模型中引入時(shí)效性因子λ對(duì)應(yīng)時(shí)效性,懲罰性因子δ對(duì)應(yīng)數(shù)據(jù)集交互的動(dòng)態(tài)變化性。若兩個(gè)數(shù)據(jù)源進(jìn)行交互,則乘以懲罰系數(shù),懲罰系數(shù)與交互的正負(fù)有關(guān);沒有進(jìn)行交互則數(shù)據(jù)源的信任度隨時(shí)間衰減。信任度可表示為

(3)

其中,T(A,B)表示數(shù)據(jù)源A與數(shù)據(jù)源B之間的可信度,DirT(A,B,Inter(A,B))表示數(shù)據(jù)源在上下文交互情況下的信任值,Accept(A,B)表示數(shù)據(jù)源之間的相似度,λ(t)表示時(shí)間衰減函數(shù),α1、β1表示懲罰系數(shù),ΔI表示數(shù)據(jù)源A與數(shù)據(jù)源B之間的交互情況。如果數(shù)據(jù)源交互為正,數(shù)據(jù)的可信度增加;如果交互為負(fù),則可信度下降。相鄰數(shù)據(jù)源對(duì)數(shù)據(jù)源A的綜合可信度可表示為

(4)

其中,T(data)表示數(shù)據(jù)data的可信度,Sum(A)表示數(shù)據(jù)源的總體數(shù)據(jù)量,sourcen表示n維向量,α2表示數(shù)據(jù)可信度影響程度的參數(shù),β2為數(shù)據(jù)庫影響n維向量的參數(shù)。

數(shù)據(jù)data的可信度需考慮到直接數(shù)據(jù)源和間接數(shù)據(jù)源,數(shù)據(jù)的可信度可表示為

T(data)=1-∏data∈X(1-T(X,data))

(5)

其中,data∈X表示數(shù)據(jù)與數(shù)據(jù)源X有關(guān)。直接可信度就是數(shù)據(jù)源X的可信度。

2.2 面向異構(gòu)數(shù)據(jù)的數(shù)據(jù)質(zhì)量?jī)?yōu)化方案

面對(duì)不斷增長(zhǎng)的風(fēng)電數(shù)據(jù),本研究提出一種優(yōu)化策略提高SQL相應(yīng)速度,然后通過貝葉斯網(wǎng)絡(luò)訓(xùn)練關(guān)聯(lián)模型庫,訓(xùn)練好后對(duì)風(fēng)電數(shù)據(jù)質(zhì)量評(píng)估系統(tǒng)的數(shù)據(jù)源進(jìn)行分析,自動(dòng)定位錯(cuò)誤的數(shù)據(jù)字段。基于貝葉斯網(wǎng)絡(luò)的風(fēng)電數(shù)據(jù)質(zhì)量?jī)?yōu)化的主要流程如圖4所示。

圖4 基于貝葉斯網(wǎng)絡(luò)的風(fēng)電數(shù)據(jù)質(zhì)量?jī)?yōu)化流程

風(fēng)電大數(shù)據(jù)中存在的異構(gòu)數(shù)據(jù)來自不同的數(shù)據(jù)源,不同的數(shù)據(jù)源之間存在一定的關(guān)聯(lián)性,包含數(shù)據(jù)樣本的特異性信息,存在數(shù)據(jù)缺失、數(shù)據(jù)噪聲和數(shù)據(jù)分布不均衡的問題。本研究基于貝葉斯網(wǎng)絡(luò)對(duì)風(fēng)電異構(gòu)數(shù)據(jù)進(jìn)行數(shù)據(jù)質(zhì)量?jī)?yōu)化,解決異構(gòu)數(shù)據(jù)中的缺失問題,建立數(shù)據(jù)之間的關(guān)系模型,進(jìn)行數(shù)據(jù)聚類并定位異構(gòu)數(shù)據(jù)中的問題字段,對(duì)問題數(shù)據(jù)進(jìn)行數(shù)據(jù)質(zhì)量?jī)?yōu)化,處理原始數(shù)據(jù)中存在的噪聲信息和冗余信息,優(yōu)化目標(biāo)為使輸出的風(fēng)電數(shù)據(jù)滿足系統(tǒng)優(yōu)化要求,輸出包含完整的細(xì)節(jié)特征和全局特征,不同的風(fēng)電數(shù)據(jù)源包含同一樣本的特異性信息,且其中的數(shù)據(jù)完整不存在缺失值和冗余信息。

本文將風(fēng)電數(shù)據(jù)狀態(tài)空間劃分成多個(gè)狀態(tài)子空間,使子空間中的數(shù)據(jù)字段具有較強(qiáng)的關(guān)聯(lián)性。對(duì)狀態(tài)空間進(jìn)行子空間劃分的過程如下:

統(tǒng)計(jì)風(fēng)電樣本數(shù)據(jù)sample={space1,space2,…,spacep}表示風(fēng)電數(shù)據(jù)在不同的時(shí)間窗口下的狀態(tài)空間的集合,得到P(θi,η)、P(θi,η,θj)、P(η)。計(jì)算數(shù)據(jù)隨機(jī)變量直接的條件互信息熵,并找出最大值和最小值,可表示為

(6)

其中,H(x)為信息熵,p(x)為自信息量。采用中心聚類算法對(duì)數(shù)據(jù)字段field={θ1,θ2,…,θm}進(jìn)行劃分,使子空間中的數(shù)據(jù)字段之間具有較強(qiáng)的關(guān)聯(lián)性,定義兩個(gè)參數(shù)之間的距離為

(7)

其中,Zmax表示條件互信息熵的最大值,Zmin表示條件互信息熵的最小值。進(jìn)行聚類時(shí)隨機(jī)選擇k個(gè)數(shù)據(jù)字段作為中心點(diǎn),每輪迭代過程中比較其他點(diǎn)和中心點(diǎn)的距離,與距離最小的中心點(diǎn)歸為一類,迭代超過一定次數(shù)或目標(biāo)函數(shù)收斂時(shí)停止迭代。

劃分后的子空間為Sub_spacei={η,sub_fieldi},其中sub_fieldi表示在中心聚類算法中被分到同一類的數(shù)據(jù)字段。

對(duì)劃分好的子空間分別建立基于貝葉斯網(wǎng)絡(luò)的關(guān)聯(lián)模型,從而定位影響業(yè)務(wù)數(shù)據(jù)質(zhì)量的問題字段。計(jì)算每個(gè)Sub_spacei中數(shù)據(jù)字段的Score(θj)值,選出Score(θj)最大的p個(gè)變量作為問題字段輸出,修改問題字段提高風(fēng)電數(shù)據(jù)的數(shù)據(jù)質(zhì)量。

3 應(yīng)用測(cè)試

為驗(yàn)證本研究風(fēng)電數(shù)據(jù)質(zhì)量評(píng)估系統(tǒng)的性能,分別使用文獻(xiàn)[3]系統(tǒng)、文獻(xiàn)[4]系統(tǒng)和本研究系統(tǒng)進(jìn)行實(shí)驗(yàn),對(duì)比3種系統(tǒng)對(duì)數(shù)據(jù)的質(zhì)量評(píng)估效果。實(shí)驗(yàn)環(huán)境如表2所示。

表2 實(shí)驗(yàn)環(huán)境

本研究實(shí)驗(yàn)數(shù)據(jù)通過查詢風(fēng)電歷史數(shù)據(jù)和模擬產(chǎn)生,實(shí)驗(yàn)中模擬的數(shù)據(jù)量超過10萬條,實(shí)驗(yàn)數(shù)據(jù)如表3所示。

表3 實(shí)驗(yàn)數(shù)據(jù)

試驗(yàn)架構(gòu)示意圖如圖5所示。

圖5 風(fēng)電大數(shù)據(jù)試驗(yàn)架構(gòu)示意圖

由于實(shí)驗(yàn)數(shù)據(jù)中可能存在大量確實(shí)數(shù)據(jù)和噪聲值,為避免對(duì)實(shí)驗(yàn)結(jié)果造成影響,對(duì)樣本進(jìn)行實(shí)驗(yàn)之前對(duì)數(shù)據(jù)進(jìn)行預(yù)估并消除實(shí)驗(yàn)數(shù)據(jù)中的噪聲。對(duì)缺失的實(shí)驗(yàn)數(shù)據(jù)進(jìn)行補(bǔ)全和修正,與真實(shí)值更加接近。實(shí)驗(yàn)過程對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行5個(gè)維度的評(píng)估,完成評(píng)估后采用層次分析法將維度進(jìn)行綜合,得到實(shí)驗(yàn)數(shù)據(jù)各維度的權(quán)重分布如圖6所示。

本文系統(tǒng)對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行質(zhì)量評(píng)估參考有關(guān)數(shù)據(jù)源之間的可信度模型,選出實(shí)驗(yàn)數(shù)據(jù)屬性列與數(shù)據(jù)源屬性列相關(guān)程度低的數(shù)據(jù),去除可信度低的數(shù)據(jù)。使用3種系統(tǒng)對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行數(shù)據(jù)質(zhì)量評(píng)價(jià),得到數(shù)據(jù)質(zhì)量的各維度評(píng)價(jià)結(jié)果如圖7所示。

圖7 數(shù)據(jù)質(zhì)量評(píng)價(jià)結(jié)果

對(duì)比3種系統(tǒng)得到的實(shí)驗(yàn)數(shù)據(jù)質(zhì)量評(píng)價(jià)結(jié)果可知,本文系統(tǒng)得到各評(píng)價(jià)維度的評(píng)價(jià)結(jié)果更高,去除低可信度數(shù)據(jù)后,提高了數(shù)據(jù)質(zhì)量各維度的評(píng)價(jià)結(jié)果,評(píng)價(jià)維度中的規(guī)范性和及時(shí)性高達(dá)100%,準(zhǔn)確性為99%,數(shù)據(jù)整體質(zhì)量高達(dá)95%以上。

為驗(yàn)證系統(tǒng)的數(shù)據(jù)評(píng)估效率,測(cè)試系統(tǒng)評(píng)估模型的執(zhí)行效率,設(shè)定實(shí)驗(yàn)數(shù)據(jù)集大小為0～100 MB,每組實(shí)驗(yàn)數(shù)據(jù)集中的數(shù)據(jù)量為0～10 000,文獻(xiàn)[3]系統(tǒng)和文獻(xiàn)[4]系統(tǒng)作為對(duì)比實(shí)驗(yàn),使用3種系統(tǒng)的進(jìn)行數(shù)據(jù)質(zhì)量評(píng)估并記錄評(píng)估時(shí)間,系統(tǒng)的平均運(yùn)行時(shí)間如圖8所示,具體數(shù)據(jù)如表4所示。

表4 系統(tǒng)運(yùn)行時(shí)間

圖8 運(yùn)行時(shí)間

數(shù)據(jù)量在60 M以下時(shí),進(jìn)行數(shù)據(jù)質(zhì)量評(píng)價(jià)系統(tǒng)運(yùn)行時(shí)間不超過15 s,數(shù)據(jù)量增加到100 M時(shí),系統(tǒng)運(yùn)行時(shí)間低至20.08 s。數(shù)據(jù)量達(dá)到100 M時(shí)文獻(xiàn)[3]系統(tǒng)的運(yùn)行時(shí)間達(dá)到63.45 s,文獻(xiàn)[4]系統(tǒng)的運(yùn)行時(shí)間高達(dá)56.47 s,評(píng)估模型的評(píng)估效率較低。

測(cè)試本文系統(tǒng)處理風(fēng)電大數(shù)據(jù)的效率,進(jìn)行數(shù)據(jù)分類實(shí)驗(yàn),為減少原始數(shù)據(jù)噪聲對(duì)分類結(jié)果的影響,去除原始數(shù)據(jù)集中包含的噪聲信息,得到風(fēng)電實(shí)驗(yàn)大數(shù)據(jù)集如表5所示。

表5 風(fēng)電實(shí)驗(yàn)大數(shù)據(jù)集

為確保本研究算法的有效性,排除其他因素的干擾,將表5中的實(shí)驗(yàn)數(shù)據(jù)集隨機(jī)劃分為5個(gè)子集,選擇其中1個(gè)子集作為測(cè)試集進(jìn)行測(cè)試,其他的4個(gè)子集作為訓(xùn)練集。實(shí)驗(yàn)設(shè)計(jì)設(shè)定為60 min,進(jìn)行5次數(shù)據(jù)分類實(shí)驗(yàn),文獻(xiàn)[3]系統(tǒng)和文獻(xiàn)[4]系統(tǒng)作為對(duì)比實(shí)驗(yàn),得到對(duì)測(cè)試集數(shù)據(jù)的分類結(jié)果如圖9所示。

圖9 數(shù)據(jù)分類結(jié)果

根據(jù)5次實(shí)驗(yàn)結(jié)果可知,本研究系統(tǒng)對(duì)風(fēng)電大數(shù)據(jù)集的平均分類準(zhǔn)確率為97.74%,系統(tǒng)處理大數(shù)據(jù)任務(wù)能夠取得較好的分類效果,數(shù)據(jù)質(zhì)量的優(yōu)化有助于提高數(shù)據(jù)集的分類準(zhǔn)確率,其中第4次實(shí)驗(yàn)時(shí)得到的分類準(zhǔn)確率最高為99.1%。

文獻(xiàn)[3]系統(tǒng)的分類準(zhǔn)確率最高為93.8%,文獻(xiàn)[4]系統(tǒng)的分類準(zhǔn)確率最高為95.7%,第2次實(shí)驗(yàn)的分類準(zhǔn)確率最低為91.8%。文獻(xiàn)[3]系統(tǒng)和文獻(xiàn)[4]系統(tǒng)在面對(duì)大量風(fēng)電數(shù)據(jù)集時(shí)處理效果不穩(wěn)定,數(shù)據(jù)分類精度出現(xiàn)一定的波動(dòng),分類準(zhǔn)確率不超過96%,存在錯(cuò)誤分類的情況。

4 總結(jié)

本文基于風(fēng)電大數(shù)據(jù)特征,建立風(fēng)電數(shù)據(jù)質(zhì)量評(píng)估系統(tǒng),結(jié)合海量風(fēng)電信息數(shù)據(jù),對(duì)評(píng)估模型進(jìn)行分析和檢驗(yàn),從風(fēng)電運(yùn)行、市場(chǎng)運(yùn)營和生產(chǎn)管理各個(gè)環(huán)節(jié)描述了影響數(shù)據(jù)質(zhì)量的因素,并建立層次結(jié)構(gòu),提出基于可信度的數(shù)據(jù)質(zhì)量評(píng)估模型,在原有數(shù)據(jù)質(zhì)量評(píng)估維度的基礎(chǔ)上進(jìn)行可信分析,去除不可信數(shù)據(jù)對(duì)5個(gè)維度進(jìn)行評(píng)價(jià),進(jìn)行綜合得到數(shù)據(jù)質(zhì)量評(píng)估結(jié)果。

本文仍存在一些不足之處還需進(jìn)一步改進(jìn),在對(duì)風(fēng)電大數(shù)據(jù)的研究過程中也會(huì)出現(xiàn)新的評(píng)估維度,評(píng)估模型也需不斷更新和完善評(píng)估維度。