風電場數(shù)據(jù)治理方法研究

申文

1.體系及架構(gòu)

1.1體系框架

全面的工業(yè)數(shù)據(jù)治理體系包含四個方面：戰(zhàn)略、機制、專題和實現(xiàn)。

●戰(zhàn)略指企業(yè)愿景和規(guī)劃及決定企業(yè)工業(yè)數(shù)據(jù)治理的目標和原則，不同的企業(yè)愿景需要不同側(cè)重的數(shù)據(jù)治理;

●機制包括數(shù)據(jù)管理的組織和人員、流程和制度：

組織和人員構(gòu)成了數(shù)據(jù)治理的各個相關(guān)方及其對信息的相關(guān)職責;

流程貫穿信息相關(guān)的各個項目或舉措的生命周期：從規(guī)劃到實施到維護到監(jiān)控;

制度是對規(guī)范組織結(jié)構(gòu)和職責、技術(shù)應(yīng)用、流程的官方化文件;

●專題：指數(shù)據(jù)治理各項內(nèi)容，包括數(shù)據(jù)標準、數(shù)據(jù)質(zhì)量、元數(shù)據(jù)管理等;

●實現(xiàn)：使用技術(shù)實現(xiàn)數(shù)據(jù)治理規(guī)范制度、流程、各項治理內(nèi)容的方法和手段;

數(shù)據(jù)管理的體系框架如下圖所示：

1.2總體系統(tǒng)架構(gòu)

風電場數(shù)據(jù)治理系統(tǒng)實現(xiàn)了對各個業(yè)務(wù)系統(tǒng)包括大數(shù)據(jù)平臺中的元數(shù)據(jù)進行管理，制定數(shù)據(jù)質(zhì)量標準和規(guī)則，根據(jù)數(shù)據(jù)質(zhì)量標準對數(shù)據(jù)質(zhì)量進行剖析，將最終剖析的結(jié)果通過評分卡的模式進行分析、打分，實現(xiàn)對整個風電場數(shù)據(jù)質(zhì)量的管理。

為了滿足這些需求，風電數(shù)據(jù)治理系統(tǒng)需要實現(xiàn)對源數(shù)據(jù)層、數(shù)據(jù)導入層（ETL）過程、大數(shù)據(jù)存儲服務(wù)層、以及中間服務(wù)層中的數(shù)據(jù)進行管理。從數(shù)據(jù)治理的角度分析各個系統(tǒng)、軟件及對應(yīng)存儲都屬于數(shù)據(jù)治理的源數(shù)據(jù)，通過適合不同數(shù)據(jù)庫或軟件的橋接器連接各個源數(shù)據(jù)，將采集的數(shù)據(jù)先存儲在緩存區(qū)，再通過系統(tǒng)的內(nèi)部的數(shù)據(jù)處理邏輯分別按照業(yè)務(wù)元數(shù)據(jù)或技術(shù)元數(shù)據(jù)進行管理。

數(shù)據(jù)治理平臺的對外訪問以及報表分析都通過風電的統(tǒng)一認證體系進行管理，數(shù)據(jù)治理系統(tǒng)的用戶權(quán)限需要與風電系統(tǒng)單點登錄服務(wù)器進行集成。

整個數(shù)據(jù)治理系統(tǒng)與外部系統(tǒng)的關(guān)系如下圖所示：

總體架構(gòu)圖主要顯示了風電場數(shù)據(jù)治理相關(guān)系統(tǒng)（數(shù)據(jù)標準管理系統(tǒng)、元數(shù)據(jù)管理系統(tǒng)、數(shù)據(jù)質(zhì)量管理系統(tǒng)）在風電場現(xiàn)有技術(shù)架構(gòu)中的位置及與各外圍源系統(tǒng)的關(guān)系，從圖中可以看出數(shù)據(jù)治理平臺與風電場生產(chǎn)環(huán)境的業(yè)務(wù)系統(tǒng)、大數(shù)據(jù)平臺、分析系統(tǒng)、BI工具和用戶都有數(shù)據(jù)交互。數(shù)據(jù)標準管理系統(tǒng)作為數(shù)據(jù)標準的維護系統(tǒng)，主要實現(xiàn)了對數(shù)據(jù)標準的管理流程，通過數(shù)據(jù)質(zhì)量管理系統(tǒng)和數(shù)據(jù)外圍系統(tǒng)進行交互;元數(shù)據(jù)管理系統(tǒng)與外圍源系統(tǒng)的交互通過接口層實現(xiàn)數(shù)據(jù)交互;數(shù)據(jù)質(zhì)量管理系統(tǒng)可以直接在需要監(jiān)控的系統(tǒng)數(shù)據(jù)庫上直接運行監(jiān)控語句，將運行結(jié)果返回，也可以將監(jiān)控數(shù)據(jù)采集到緩存區(qū)域進行監(jiān)控，并記錄監(jiān)控結(jié)果;數(shù)據(jù)質(zhì)量管理系統(tǒng)與外圍系統(tǒng)的交互通過內(nèi)置的ETL工具或直連方式實現(xiàn)。下圖為數(shù)據(jù)治理系統(tǒng)邏輯架構(gòu)展示：

交付層：信息交付層實現(xiàn)了數(shù)據(jù)治理成果對外發(fā)布的功能，主要滿足業(yè)務(wù)人員對元數(shù)據(jù)信息、數(shù)據(jù)標準和數(shù)據(jù)質(zhì)量查詢需求。信息交付通過兩部分實現(xiàn)，對于數(shù)據(jù)標準查詢、元數(shù)據(jù)查詢、血緣分析、數(shù)據(jù)質(zhì)量全景圖等數(shù)據(jù)質(zhì)量信息和監(jiān)控結(jié)果類的數(shù)據(jù)可以直接通過產(chǎn)品進行查詢和分析;而數(shù)據(jù)質(zhì)量評估成果信息通過報表平臺進行查詢訪問。

接口層：在接口層產(chǎn)品提供了對外接口，滿足了元數(shù)據(jù)管理系統(tǒng)二次開發(fā)的需求。

系統(tǒng)管理層：系統(tǒng)管理層主要由產(chǎn)品中的元數(shù)據(jù)管理軟件、數(shù)據(jù)質(zhì)量管理軟件、數(shù)據(jù)標準管理軟件為用戶提供基本功能完善的元數(shù)據(jù)存儲管理平臺，并支持基于平臺的應(yīng)用服務(wù)定制。豐富的調(diào)用接口和強大的二次開發(fā)指南，保障產(chǎn)品良好的適用性。系統(tǒng)整體在功能上，劃分為存儲層、基本功能層。在存儲層主要實現(xiàn)了存放咨詢成果的產(chǎn)物，例如元數(shù)據(jù)分類框架、元模型、數(shù)據(jù)質(zhì)量標準、數(shù)據(jù)質(zhì)量規(guī)則等信息，在基本功能層實現(xiàn)對元數(shù)據(jù)的分類、元模型的創(chuàng)建、元數(shù)據(jù)的采集、數(shù)據(jù)質(zhì)量監(jiān)控、數(shù)據(jù)質(zhì)量評估等功能。

數(shù)據(jù)獲取層：在數(shù)據(jù)治理系統(tǒng)中需要采集元數(shù)據(jù)、需要監(jiān)控的數(shù)據(jù)和需要評估的數(shù)據(jù)，這些數(shù)據(jù)的采集工作的執(zhí)行周期按照風電場的數(shù)據(jù)管理需求確定，實現(xiàn)時可根據(jù)需要進行配置，采集作業(yè)的調(diào)度由數(shù)據(jù)治理系統(tǒng)進行調(diào)度。對數(shù)據(jù)的監(jiān)控規(guī)則可直接運行在源系統(tǒng)的數(shù)據(jù)庫中，不需要將數(shù)據(jù)抽取存放在數(shù)據(jù)治理平臺的數(shù)據(jù)庫中，減少流程環(huán)節(jié);對于需要統(tǒng)計分析的數(shù)據(jù)，可直接從大數(shù)據(jù)平臺抽取進行分析，具體方法在數(shù)據(jù)質(zhì)量評估功能數(shù)據(jù)流章節(jié)中詳細描述。

源數(shù)據(jù)層：主要描述數(shù)據(jù)治理體系的數(shù)據(jù)源信息，包括數(shù)據(jù)標準的業(yè)務(wù)元數(shù)據(jù);數(shù)據(jù)庫;ETL系統(tǒng)技術(shù)元數(shù)據(jù)信息;大數(shù)據(jù)平臺相關(guān)技術(shù)元數(shù)據(jù)信息;模型設(shè)計文件元數(shù)據(jù)和其他標準元數(shù)據(jù)文件成果。

1.3物理系統(tǒng)架構(gòu)

風電場數(shù)據(jù)治理系統(tǒng)一共由三臺服務(wù)器組成，分別是兩臺應(yīng)用服務(wù)器和一臺數(shù)據(jù)庫服務(wù)器組成，數(shù)據(jù)庫服務(wù)器中的服務(wù)及數(shù)據(jù)存儲都在外掛存儲上，應(yīng)用安裝在兩臺服務(wù)器上，由F5服務(wù)實現(xiàn)負載均衡。整個架構(gòu)如下圖所示：

2.數(shù)據(jù)標準管理平臺

2.1系統(tǒng)功能框架

數(shù)據(jù)標準管理系統(tǒng)前臺主要提供數(shù)據(jù)標準查詢?yōu)g覽、業(yè)務(wù)需求應(yīng)用、系統(tǒng)設(shè)計應(yīng)用、系統(tǒng)設(shè)計評審、數(shù)據(jù)標準新增及與變更的申請和審批流程支持。

數(shù)據(jù)標準管理系統(tǒng)后臺主要負責相關(guān)數(shù)據(jù)標準的存儲、歷史版本管理以及與其他數(shù)據(jù)治理系統(tǒng)和業(yè)務(wù)需求系統(tǒng)彼此對接互相提供支持等功能。數(shù)據(jù)標準系統(tǒng)以主題域，業(yè)務(wù)對象大類，業(yè)務(wù)對象子類，業(yè)務(wù)對象，信息項的邏輯結(jié)構(gòu)對風電場數(shù)據(jù)標準進行存儲與展示。

系統(tǒng)采用業(yè)務(wù)前臺和業(yè)務(wù)后臺邏輯分離的方式，用戶通過瀏覽器操作業(yè)務(wù)前臺并得到所需的結(jié)果信息。業(yè)務(wù)前臺模塊調(diào)用業(yè)務(wù)后臺模塊為用戶提供數(shù)據(jù)服務(wù)。業(yè)務(wù)后臺與其他系統(tǒng)進行數(shù)據(jù)交換。

數(shù)據(jù)標準管理系統(tǒng)用戶端使用瀏覽器并通過統(tǒng)一登錄平臺統(tǒng)一安全認證后操作業(yè)務(wù)前臺的業(yè)務(wù)功能。用戶端可以在辦公網(wǎng)絡(luò)環(huán)境下使用，也可以通過安全控制在互聯(lián)網(wǎng)環(huán)境下使用，比如互聯(lián)網(wǎng)環(huán)境下不允許標準下載操作。

數(shù)據(jù)標準管理系統(tǒng)業(yè)務(wù)后臺與元數(shù)據(jù)管理系統(tǒng)、數(shù)據(jù)質(zhì)量系統(tǒng)、風電大數(shù)據(jù)平臺可以進行數(shù)據(jù)交換。

3.數(shù)據(jù)質(zhì)量管理平臺

數(shù)據(jù)質(zhì)量管理系統(tǒng)通過對KPI指標信息進行采集，對監(jiān)控規(guī)則進行設(shè)置，對異常信息進行告警，出具數(shù)據(jù)質(zhì)量報告等功能，可以滿足風電集控平臺對指標進行監(jiān)控的需求。

對于數(shù)據(jù)質(zhì)量管理來說，對規(guī)則的靈活設(shè)置，對任務(wù)的及時反饋，對結(jié)果的剖析，以及和第三方工具緊密集合是一個產(chǎn)品成敗的關(guān)鍵。對于數(shù)據(jù)質(zhì)量流程，一般框架如下：

●存儲管理

數(shù)據(jù)質(zhì)量管理系統(tǒng)定義了支撐數(shù)據(jù)質(zhì)量監(jiān)控功能并符合風電場平臺標準的元模型結(jié)構(gòu)，包括監(jiān)控對象、采集項、采集規(guī)則以及監(jiān)控規(guī)則等。其中所涉及的元數(shù)據(jù)信息如監(jiān)控對象信息，需要從元數(shù)據(jù)管理系統(tǒng)獲取。質(zhì)量管理人員也可以創(chuàng)建新的元數(shù)據(jù)，來滿足質(zhì)量監(jiān)控的需要。相關(guān)的質(zhì)量信息存儲在數(shù)據(jù)質(zhì)量數(shù)據(jù)庫中。

●采集管理

數(shù)據(jù)質(zhì)量采集模塊由采集服務(wù)器和采集代理組成，采集代理支持分布式部署，采集服務(wù)器對采集代理進行集中管理，支持的功能如下所示：

代理啟動時向服務(wù)器注冊請求，注冊信息包含代理的IP地址、通訊端口、進程ID，啟動時間;

代理每個一段時間要向服務(wù)器發(fā)送心跳檢測信號，心跳間隔時間可配置;

代理在允許結(jié)束時向服務(wù)器發(fā)送注銷請求;

代理可以支持服務(wù)器對代理運行狀態(tài)的查詢;

代理在與服務(wù)器中斷連接后可以保留已運行完畢檢查報告和未運行完的任務(wù)狀態(tài);

代理負責采集數(shù)據(jù)，將采集的格式化成質(zhì)量平臺的數(shù)據(jù)格式，關(guān)聯(lián)相應(yīng)的監(jiān)控對象;

服務(wù)器集中保管所有的采集配置數(shù)據(jù)，代理自動從服務(wù)器獲取相關(guān)的采集信息。

●規(guī)則監(jiān)控管理

數(shù)據(jù)質(zhì)量管理系統(tǒng)的規(guī)則包括數(shù)據(jù)采集規(guī)則、監(jiān)控規(guī)則以及告警規(guī)則等，因采集規(guī)則和告警規(guī)則相對較簡單。

為了實現(xiàn)監(jiān)控規(guī)則的靈活調(diào)度及與業(yè)務(wù)分析過程相結(jié)合，規(guī)則調(diào)度部分支持時間觸發(fā)調(diào)度和規(guī)則依賴調(diào)度兩種方式，具體說明如下。

時間觸發(fā)方式，即按照定時觸發(fā)、循環(huán)觸發(fā)及間隔觸發(fā)的方式對規(guī)則進行調(diào)度。

規(guī)則依賴調(diào)度，即某規(guī)則是否執(zhí)行調(diào)度需要判斷它的前置條件是否滿足，或某規(guī)則執(zhí)行之后，根據(jù)其執(zhí)行的結(jié)果，來決定另一個節(jié)點是否執(zhí)行。此調(diào)度方式可支持數(shù)據(jù)質(zhì)量問題的逐步探查式分析。

●告警管理

數(shù)據(jù)質(zhì)量采集和檢查過程中發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題時，系統(tǒng)會提示某些數(shù)據(jù)或者規(guī)則超過了指定閥值，系統(tǒng)就對這些數(shù)據(jù)做告警處理。告警流程，可以通過數(shù)據(jù)接口的方式，嵌入到數(shù)據(jù)質(zhì)量管理流程中，便于后續(xù)做進一步的處理。

在告警時，客戶需分析查明告警原因，需要具體的明細數(shù)據(jù)，系統(tǒng)提供界面查詢的接口，也提供后端文件的接口，便于后續(xù)的檢查，也可以用于外部前端接口更深入的分析，或者檢查歷史趨勢。

●質(zhì)量報告

數(shù)據(jù)管理系統(tǒng)提供數(shù)據(jù)質(zhì)量日常管理各種報告，包括數(shù)據(jù)質(zhì)量問題相關(guān)的各種明細及匯總報告。質(zhì)量報告模塊集成了內(nèi)置的圖形引擎，支持多種圖形的動態(tài)展示，如柱狀圖、餅圖、折線圖等，可輸出數(shù)據(jù)表格與圖形動態(tài)聯(lián)動的各種數(shù)據(jù)質(zhì)量式樣，也可通過提供外部數(shù)據(jù)接口的方式，輸出復雜的質(zhì)量報告。

4.元數(shù)據(jù)管理平臺

元數(shù)據(jù)接口采用高內(nèi)聚、低耦合的組件式產(chǎn)品架構(gòu)，豐富功能組件，為客戶搭建功能強大的元數(shù)據(jù)管理平臺。向用戶全面開放元數(shù)據(jù)功能調(diào)用接口，并提供整套實施方法論。使用戶在完成元數(shù)據(jù)管理、維護等基礎(chǔ)功能的同時，方便實現(xiàn)二次開發(fā)，滿足風電集控云平臺應(yīng)用的針對性需求。

●元數(shù)據(jù)存儲庫

基于關(guān)系數(shù)據(jù)庫的元數(shù)據(jù)存儲庫，用于實現(xiàn)元數(shù)據(jù)的物理存儲。

●基礎(chǔ)應(yīng)用分析

元數(shù)據(jù)的基本維護管理功能

●高級應(yīng)用分析

通過元數(shù)據(jù)接口，調(diào)用元數(shù)據(jù)及相應(yīng)功能，針對風電集控云平臺需求開發(fā)的應(yīng)用。

4.1功能特性

產(chǎn)品理念，是為用戶提供基本功能完善的元數(shù)據(jù)存儲管理平臺，并支持基于平臺的應(yīng)用服務(wù)定制。

●元數(shù)據(jù)存儲層

包含元數(shù)據(jù)存儲庫，負責承載不同領(lǐng)域的元模型以及相關(guān)的元數(shù)據(jù)。

●元數(shù)據(jù)基本功能層

實現(xiàn)系統(tǒng)對元數(shù)據(jù)的基本功能，針對元數(shù)據(jù)自身的維護和管理。包括元數(shù)據(jù)的維護管理、元模型維護管理，影響分析、差異分析等圖形展現(xiàn)功能，元數(shù)據(jù)版本管理、權(quán)限管理、日志管理、質(zhì)量管理等。

4.2元數(shù)據(jù)管理系統(tǒng)范圍

涵蓋系統(tǒng)數(shù)據(jù)處理流程各個環(huán)節(jié)，各個環(huán)節(jié)中數(shù)據(jù)源所能提供的數(shù)據(jù)類型、結(jié)構(gòu)都需要相對應(yīng)的元數(shù)據(jù)獲取方法。元數(shù)據(jù)管理系統(tǒng)提供統(tǒng)一的數(shù)據(jù)源管理平臺，平臺中集成了針對不同數(shù)據(jù)類型的元數(shù)據(jù)獲取功能插件，可以將包括源系統(tǒng)信息、ETL過程、數(shù)據(jù)庫結(jié)構(gòu)、數(shù)據(jù)模型、業(yè)務(wù)應(yīng)用、前端展示和門戶管理等數(shù)據(jù)源進行統(tǒng)一管理，實現(xiàn)元數(shù)據(jù)的自動獲取。

4.3數(shù)據(jù)模型

元數(shù)據(jù)管理系統(tǒng)具有獨立的元模型管理，實現(xiàn)元模型的建立、關(guān)系的維護等功能。元模型架構(gòu)支持用戶按需完全定制，從而保障用戶隨著時間推移對更多種類元數(shù)據(jù)的管理需要，以及完善現(xiàn)有元數(shù)據(jù)定義的需要，能滿足公司中長期發(fā)展的需求，提高數(shù)據(jù)管控效率。

4.4產(chǎn)品特性

●易操作性

系統(tǒng)的操作功能應(yīng)具備界面友好、操作簡易的特征，體現(xiàn)在系統(tǒng)提供從元模型設(shè)計、元數(shù)據(jù)的變更管理、元數(shù)據(jù)的自動獲取，提供全套圖形化界面支持。對分析功能，例如元數(shù)據(jù)血統(tǒng)分析、影響分析、指標差異分析、一致性分析等分析功能，提供圖形分析界面，幫助客戶直觀理解元數(shù)據(jù)。

●實用性

系統(tǒng)應(yīng)以參數(shù)驅(qū)動配置而非撰寫程序的方式工作，以使系統(tǒng)能夠靈活修改以適應(yīng)風電自身內(nèi)部需求變更的需要。元模型結(jié)構(gòu)決定元數(shù)據(jù)的存儲，系統(tǒng)提供圖形化的元模型定義界面，用戶可以定義風電需求的元數(shù)據(jù)存儲模型，以去驅(qū)動風電的元數(shù)據(jù)需求建設(shè)。另外，提供用戶、安全、等基礎(chǔ)參數(shù)，驅(qū)動整個平臺。

●擴展性

通過定義過濾規(guī)則，可以對要抽取的對象進行過濾或轉(zhuǎn)換。通過規(guī)則的設(shè)置到達對數(shù)據(jù)源抽取、過濾、轉(zhuǎn)換的控制。在任務(wù)調(diào)度功能中進行設(shè)置，可以對抽取任務(wù)的運行時間、周期等執(zhí)行情況進行控制。MIB提供元模型額輔助校驗功能，可對作業(yè)過程和入庫后的元模型進行校驗，并向用戶提供校驗結(jié)果。系統(tǒng)應(yīng)能提供業(yè)務(wù)腳本編寫功能，減少相關(guān)業(yè)務(wù)需求實現(xiàn)對技術(shù)開發(fā)的依賴性，提高業(yè)務(wù)響應(yīng)效率。

●可定制

根據(jù)風電集控云元數(shù)據(jù)管理模板、風險管理相關(guān)元數(shù)據(jù)模板，在元數(shù)據(jù)管理系統(tǒng)定制元數(shù)據(jù)模型，包括各類數(shù)據(jù)對象自身的元數(shù)據(jù)模型以及各數(shù)據(jù)對象與CWM元模型之間的各類關(guān)系。

需要定制元模型的數(shù)據(jù)對象包括：業(yè)務(wù)術(shù)語、業(yè)務(wù)指標、數(shù)據(jù)元素、基礎(chǔ)編碼。以上四類數(shù)據(jù)對象屬于業(yè)務(wù)元數(shù)據(jù)，元數(shù)據(jù)管理系統(tǒng)提供基礎(chǔ)模型，將根據(jù)風電集控云平臺實際需要進行調(diào)整。

5.系統(tǒng)外部連接設(shè)計

5.1輸入接口

數(shù)據(jù)質(zhì)量監(jiān)控系統(tǒng)與外部系統(tǒng)的數(shù)據(jù)交互方式有兩種，一種是通過SQL查詢數(shù)據(jù)庫方式從數(shù)據(jù)庫表中把需要的數(shù)據(jù)采集上來，進行規(guī)則校驗;另一種是通過檢查代理的方式進行數(shù)據(jù)的采集。

所謂的數(shù)據(jù)質(zhì)量檢查代理（Agent）由多個模塊組成，可完成數(shù)據(jù)質(zhì)量監(jiān)控流程中的數(shù)據(jù)采集、檢查、報告等功能，是獲取運行狀態(tài)信息數(shù)據(jù)數(shù)的主要方式。

檢查代理分散在數(shù)據(jù)倉庫系統(tǒng)的各個環(huán)節(jié)上，定時或者實時將運行狀態(tài)數(shù)據(jù)通過基于RMI遠程調(diào)用方式傳給數(shù)據(jù)質(zhì)量處理服務(wù)器。

5.2 輸出接口

數(shù)據(jù)質(zhì)量監(jiān)控系統(tǒng)對第三方提供了全面開放式的接口調(diào)用。中包括告警查詢、規(guī)則管理、任務(wù)管理等主要業(yè)務(wù)功能的豐富的第三方接口調(diào)用。