水電風(fēng)電企業(yè)基礎(chǔ)數(shù)據(jù)清理方法技術(shù)

劉林元

（嘉陵江亭子口水利水電開發(fā)有限公司 四川省蒼溪縣 628400）

隨著大數(shù)據(jù)時(shí)代的來臨，數(shù)據(jù)分析方法和工具不斷進(jìn)步，各種智能分析系統(tǒng)不斷涌現(xiàn)，發(fā)電企業(yè)可以從大量數(shù)據(jù)中獲取新的洞察力，并將其與已知業(yè)務(wù)的各個(gè)細(xì)節(jié)相融合，營造出全新的生產(chǎn)力，促進(jìn)傳統(tǒng)電站向智慧電站轉(zhuǎn)型升級(jí)。為此，我們應(yīng)當(dāng)將數(shù)據(jù)視為發(fā)電企業(yè)的核心資產(chǎn)，即“數(shù)據(jù)資產(chǎn)”

1 數(shù)據(jù)資產(chǎn)

數(shù)據(jù)成為資產(chǎn)，已經(jīng)是行業(yè)共識(shí)，甚至有人建議將數(shù)據(jù)計(jì)入資產(chǎn)負(fù)債表。數(shù)據(jù)資產(chǎn)是指由企業(yè)擁有或者控制的，能夠?yàn)槠髽I(yè)帶來未來經(jīng)濟(jì)利益的，以物理或電子的方式記錄的數(shù)據(jù)資源，如文件資料、電子數(shù)據(jù)等。在企業(yè)中，并非所有的數(shù)據(jù)都構(gòu)成數(shù)據(jù)資產(chǎn)，數(shù)據(jù)資產(chǎn)是能夠?yàn)槠髽I(yè)帶來產(chǎn)生價(jià)值的數(shù)據(jù)資源。

2 數(shù)據(jù)資產(chǎn)管理的痛點(diǎn)和難點(diǎn)

提升數(shù)據(jù)質(zhì)量、降低成本已經(jīng)成為行業(yè)企業(yè)熱點(diǎn)關(guān)注話題。如果不能對(duì)數(shù)據(jù)進(jìn)行有效梳理及精細(xì)化管理，其價(jià)值就得不到很好體現(xiàn)，嚴(yán)重影響數(shù)據(jù)價(jià)值發(fā)揮，甚至?xí)o運(yùn)營管理帶來負(fù)面作用。數(shù)據(jù)資產(chǎn)管理的重要性，主要體現(xiàn)在缺乏統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)周期規(guī)劃混亂、難以統(tǒng)籌業(yè)務(wù)管理、數(shù)據(jù)處理效率低下、數(shù)據(jù)質(zhì)量參差不齊和安全監(jiān)管不到位等。

3 數(shù)據(jù)資產(chǎn)清理

3.1 現(xiàn)場(chǎng)數(shù)據(jù)梳理

（1）針對(duì)水電站站控層和風(fēng)電場(chǎng)控制系統(tǒng)發(fā)電業(yè)務(wù)數(shù)據(jù)進(jìn)行檢查和梳理。檢查和梳理現(xiàn)有站控層系統(tǒng)在一定時(shí)間范圍內(nèi)的全部測(cè)點(diǎn)數(shù)據(jù)，對(duì)其中存在重復(fù)、缺失、異常、錯(cuò)誤、不一致等問題的數(shù)據(jù)進(jìn)行標(biāo)記，并分析其可能產(chǎn)生的原因，形成數(shù)據(jù)評(píng)估報(bào)告。

（2）針對(duì)有問題的數(shù)據(jù)源，深入水電和風(fēng)電機(jī)組內(nèi)部，對(duì)機(jī)組業(yè)務(wù)數(shù)據(jù)和通信規(guī)約進(jìn)行檢查和梳理。對(duì)有深層次問題的數(shù)據(jù)，深入數(shù)據(jù)的源頭，從機(jī)組內(nèi)部通信系統(tǒng)的設(shè)計(jì)和通信規(guī)約進(jìn)行梳理，對(duì)內(nèi)部相關(guān)的測(cè)點(diǎn)進(jìn)行梳理，通過摸排有問題的數(shù)據(jù)和數(shù)據(jù)源，進(jìn)行標(biāo)記，提高電廠業(yè)務(wù)數(shù)據(jù)的完整性和質(zhì)量，形成數(shù)據(jù)排查報(bào)告。

3.2 數(shù)據(jù)清理方法研究

（1）數(shù)據(jù)清理是清洗和管理方法的結(jié)合使用，貫穿數(shù)據(jù)生命周期，從數(shù)據(jù)采集、數(shù)據(jù)標(biāo)準(zhǔn)化、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)訪問使用等各環(huán)節(jié)進(jìn)行不同維度的清理方法研究，為數(shù)據(jù)質(zhì)量的保障提供科學(xué)的方法。

（2）數(shù)據(jù)的生產(chǎn)環(huán)節(jié)，基于數(shù)據(jù)本質(zhì)屬性和生產(chǎn)方式兩個(gè)維度進(jìn)行清洗，保證數(shù)據(jù)從源端到使用端的整個(gè)流向過程中的質(zhì)量，綜合運(yùn)用范圍定義、線性插值，關(guān)聯(lián)判斷等方法。

（3）數(shù)據(jù)管理，從數(shù)據(jù)資產(chǎn)清冊(cè)的梳理和建立，數(shù)據(jù)分類存儲(chǔ)的設(shè)計(jì)、數(shù)據(jù)安全使用和數(shù)據(jù)服務(wù)等方面，對(duì)數(shù)據(jù)進(jìn)行有效的管理，保證數(shù)據(jù)載體的可管理性，使用環(huán)境的可靠性。

3.3 設(shè)計(jì)數(shù)據(jù)治理軟件系統(tǒng)技術(shù)方案

（1）數(shù)據(jù)清理是從始至終的存在，是一個(gè)長期的、專業(yè)性工作，需要合適的軟件系統(tǒng)作為技術(shù)保障。

（2）軟件系統(tǒng)的設(shè)計(jì)要采用主流大數(shù)據(jù)平臺(tái)框架，結(jié)合人工智能等技術(shù)手段。

3.4 數(shù)據(jù)清理驗(yàn)證

使用風(fēng)電、水電兩種類型數(shù)據(jù)，結(jié)合設(shè)計(jì)實(shí)現(xiàn)的數(shù)據(jù)軟件系統(tǒng)，進(jìn)行數(shù)據(jù)清理的設(shè)計(jì)有效性驗(yàn)證。

4 數(shù)據(jù)資產(chǎn)清理方法

數(shù)據(jù)的清洗和管理伴隨著數(shù)據(jù)全生命周期，從數(shù)據(jù)的生產(chǎn)、維護(hù)到最終的使用，都起著至關(guān)重要的作用。

4.1 數(shù)據(jù)生產(chǎn)階段

4.1.1 數(shù)據(jù)屬性維度

數(shù)據(jù)屬性是數(shù)據(jù)的本質(zhì)信息，伴隨數(shù)據(jù)產(chǎn)生，也是數(shù)據(jù)清理的重點(diǎn)部分，按三種分類進(jìn)行清洗和管理。

（1）時(shí)間分類：依據(jù)時(shí)間標(biāo)識(shí)、采用頻率和時(shí)長、停采時(shí)間等信息分類。

（2）模型分類：按照設(shè)備模型、通信模型和信息分類。

（3）源系統(tǒng)分類：通過源系統(tǒng)的特點(diǎn)進(jìn)行清洗和管理分類。

4.1.2 生產(chǎn)方式維度

數(shù)據(jù)的生產(chǎn)方式不同，導(dǎo)致數(shù)據(jù)的獲取通道不同，依據(jù)不同通道的特點(diǎn)進(jìn)行數(shù)據(jù)清理。

（1）數(shù)據(jù)采集：通信協(xié)議的采集、數(shù)據(jù)庫的采集，API 接口采集等。

（2）數(shù)據(jù)抽取：表結(jié)構(gòu)解析，檢索查詢。

（3）衍生計(jì)算：數(shù)據(jù)變形、時(shí)序特征、復(fù)合計(jì)算、關(guān)聯(lián)特征、語義識(shí)別、圖像識(shí)別、數(shù)據(jù)轉(zhuǎn)換等。

4.2 數(shù)據(jù)維護(hù)階段

4.2.1 建立數(shù)據(jù)資產(chǎn)清冊(cè)

（1）檢索模式：建立數(shù)據(jù)標(biāo)識(shí)體系，按設(shè)備域、生產(chǎn)域和管理域三個(gè)角度進(jìn)行定義，明確數(shù)據(jù)檢索模式。

（2）全量數(shù)據(jù)表：建立全量標(biāo)準(zhǔn)數(shù)據(jù)表，明確數(shù)據(jù)存量狀態(tài)，建立數(shù)據(jù)資產(chǎn)表。

（3）主備源數(shù)據(jù)：對(duì)重要數(shù)據(jù)實(shí)行主備模式，保證數(shù)據(jù)安全。

4.2.2 實(shí)現(xiàn)多樣性存儲(chǔ)

（1）時(shí)序庫：用于存儲(chǔ)設(shè)備產(chǎn)生的實(shí)時(shí)數(shù)據(jù)。

（2）關(guān)系庫：用于存儲(chǔ)ERP、設(shè)備臺(tái)賬等數(shù)據(jù)。

（3）非結(jié)構(gòu)庫：用于存儲(chǔ)試驗(yàn)記錄、兩票信息等數(shù)據(jù)。

（4）流媒體庫：用于存儲(chǔ)安全監(jiān)控，巡檢視頻等數(shù)據(jù)。

4.2.3 建立牢固安全保障

（1）鏈路安全：建立數(shù)據(jù)加密通道，共享訪問接口權(quán)限和專網(wǎng)傳輸路徑。

（2）租戶安全：建立多租戶認(rèn)證和權(quán)限管理，實(shí)現(xiàn)數(shù)據(jù)安全訪問。

（3）內(nèi)容安全：完善數(shù)據(jù)存儲(chǔ)策略，保障數(shù)據(jù)安全存儲(chǔ)。

（4）防護(hù)安全：加強(qiáng)部署環(huán)境的安全，分區(qū)分級(jí)進(jìn)行管理。

4.2.4 提供多種數(shù)據(jù)服務(wù)

（1）調(diào)度管理：實(shí)現(xiàn)多數(shù)據(jù)庫之間的關(guān)聯(lián)數(shù)據(jù)調(diào)度。

（2）多租戶管理：實(shí)現(xiàn)多租戶的訪問權(quán)限管理。

（3）數(shù)據(jù)同步：實(shí)現(xiàn)數(shù)據(jù)的自定義目標(biāo)同步。

（4）隔離同步：實(shí)現(xiàn)數(shù)據(jù)跨隔離安全同步。

（5）數(shù)據(jù)檢索：實(shí)現(xiàn)數(shù)據(jù)的多模式檢索服務(wù)。

（6）數(shù)據(jù)調(diào)用：實(shí)現(xiàn)數(shù)據(jù)的本地和遠(yuǎn)端的雙重調(diào)用機(jī)制。

4.3 數(shù)據(jù)使用階段

4.3.1 依據(jù)應(yīng)用場(chǎng)景

（1）實(shí)時(shí)監(jiān)視：對(duì)原始數(shù)據(jù)的實(shí)時(shí)監(jiān)視。

（2）關(guān)聯(lián)展示：對(duì)多個(gè)原始數(shù)據(jù)的綜合關(guān)聯(lián)實(shí)時(shí)展示。

（3）歷史展示：對(duì)歷史數(shù)據(jù)的不同維度的展示。

（4）模型展示：對(duì)特殊機(jī)理模型數(shù)據(jù)的展示。

4.3.2 依據(jù)算法模型

（1）單一量時(shí)間模型：單一監(jiān)測(cè)量的時(shí)間模型。

（2）多個(gè)量時(shí)間模型：多個(gè)監(jiān)測(cè)量的時(shí)間模型。

（3）多個(gè)量關(guān)聯(lián)模型：多個(gè)監(jiān)測(cè)量的關(guān)聯(lián)模型。

（4）多個(gè)量機(jī)理模型：行業(yè)專業(yè)機(jī)理模型，例如頻譜模型，旋轉(zhuǎn)模型等。

（5）多個(gè)量其它模型：主流大數(shù)據(jù)算法類，例如神經(jīng)網(wǎng)絡(luò)，線性回歸等。

5 數(shù)據(jù)資產(chǎn)清理實(shí)施

為滿足本項(xiàng)目所提出的業(yè)務(wù)需求，從不同用戶的使用角度，并能支撐此后需求的加深和擴(kuò)展，本系統(tǒng)必須具有穩(wěn)定高效、便于使用、易于管理、性能可擴(kuò)展、功能易增加等特點(diǎn)。系統(tǒng)架構(gòu)圖如圖1 所示。

5.1 數(shù)據(jù)轉(zhuǎn)換總線

針對(duì)數(shù)據(jù)處理部分，應(yīng)當(dāng)設(shè)置專門的轉(zhuǎn)換總線，對(duì)數(shù)據(jù)處理過程進(jìn)行合理規(guī)劃，統(tǒng)一流程，提煉能夠復(fù)用的組件，進(jìn)行流程組態(tài)化設(shè)計(jì)。

5.1.1 采集輸入

數(shù)據(jù)轉(zhuǎn)換總線中的輸入數(shù)據(jù)，由其他外部系統(tǒng)采集而來，依照相關(guān)協(xié)議的不同，可以支持被動(dòng)接收和主動(dòng)采集兩種方式，主動(dòng)采集模式需要支持調(diào)度設(shè)置，以調(diào)整獲取的頻率，針對(duì)采集的目標(biāo)不同，需要支持通用工業(yè)協(xié)議、私有協(xié)議、數(shù)據(jù)庫、系統(tǒng)、文件等。采集后的數(shù)據(jù)需存放在轉(zhuǎn)換總線的緩存內(nèi)，由后續(xù)其他服務(wù)進(jìn)行處理。

5.1.2 邊緣計(jì)算

數(shù)據(jù)轉(zhuǎn)換總線提供邊緣計(jì)算功能，可通過算法對(duì)緩存內(nèi)的數(shù)據(jù)進(jìn)行計(jì)算、轉(zhuǎn)換。

數(shù)據(jù)轉(zhuǎn)換需要采用組態(tài)化設(shè)計(jì)，將計(jì)算單元封裝為不同的算子，例如過濾、分解、合并、統(tǒng)計(jì)、換算等，多個(gè)算子可以組成不同的處理流程，處理的流程以及順序可以靈活配置。

對(duì)于經(jīng)過邊緣計(jì)算的數(shù)據(jù)，重新編碼，放回緩存中。

5.1.3 緩存輸出

對(duì)于數(shù)據(jù)轉(zhuǎn)換總線中采集到的、計(jì)算后的數(shù)據(jù)，均放置在緩存中，需要將其發(fā)布輸出到其他系統(tǒng)、服務(wù)、文件等目標(biāo)中，針對(duì)不同的目標(biāo)，需要以插件的形式包裝其交互協(xié)議，其余部分應(yīng)當(dāng)采用統(tǒng)一的操作方式，以簡化使用成本。

針對(duì)不同的發(fā)布目標(biāo)，可以支持通用工業(yè)協(xié)議、私有協(xié)議、數(shù)據(jù)庫、系統(tǒng)、文件等目標(biāo)的輸出。

5.1.4 數(shù)據(jù)監(jiān)視

對(duì)于整個(gè)處理過程，需要以組態(tài)的方式進(jìn)行設(shè)計(jì)、配置和管理和監(jiān)控。通過在輸入和輸出端點(diǎn)之間，組裝多個(gè)處理流程，既能直觀地對(duì)處理過程進(jìn)行把控，也使得設(shè)定好的流程一目了然，便于維護(hù)和調(diào)整。同時(shí)組態(tài)過程中，可以對(duì)在不同環(huán)節(jié)查看處理的結(jié)果，以用于轉(zhuǎn)換流程的設(shè)計(jì)和調(diào)試。對(duì)于正常運(yùn)行的流程，還可以統(tǒng)計(jì)每個(gè)節(jié)點(diǎn)的處理情況，例如已處理的總數(shù)。

5.1.5 任務(wù)調(diào)度

處理流程需要對(duì)處理的速率進(jìn)行控制，對(duì)于輸入端，同時(shí)支持主動(dòng)獲取和被動(dòng)接收兩種處理方式，對(duì)于輸出端，支持被動(dòng)調(diào)用和主動(dòng)發(fā)送兩種方式。而在主動(dòng)進(jìn)行獲取和發(fā)送的模式內(nèi)，應(yīng)當(dāng)支持設(shè)定不同的頻率，避免無意義的重復(fù)調(diào)用，在滿足業(yè)務(wù)需求的情況下，合理分配和使用資源。

5.2 數(shù)據(jù)共享及訪問

5.2.1 數(shù)據(jù)檢索

系統(tǒng)應(yīng)當(dāng)提供標(biāo)識(shí)和數(shù)據(jù)的檢索服務(wù)；

針對(duì)標(biāo)識(shí)，需要支持樹狀檢索、條件檢索、精確檢索、模糊檢索等；

對(duì)于時(shí)序數(shù)據(jù)的檢索，需要支持按照標(biāo)識(shí)獲取最新數(shù)據(jù)、按照時(shí)間范圍獲取歷史數(shù)據(jù)的功能，歷史數(shù)據(jù)還需要支持按照一定的方法進(jìn)行稀疏或補(bǔ)全；

對(duì)于關(guān)系數(shù)據(jù)的檢索，需要支持標(biāo)識(shí)檢索、條件檢索、關(guān)聯(lián)檢索、分組統(tǒng)計(jì)等功能。

5.2.2 數(shù)據(jù)調(diào)用

系統(tǒng)應(yīng)當(dāng)提供通用、規(guī)范的Restful 接口，供應(yīng)用以及外部系統(tǒng)調(diào)用數(shù)據(jù)時(shí)使用；

圖1：系統(tǒng)架構(gòu)圖

除被動(dòng)調(diào)用外，還可以采用主動(dòng)發(fā)送的方式，供外部系統(tǒng)獲得數(shù)據(jù)，例如通過數(shù)據(jù)發(fā)送程序，將數(shù)據(jù)發(fā)送到指定的目標(biāo)。

5.2.3 數(shù)據(jù)同步

對(duì)于分布于不同數(shù)據(jù)池內(nèi)的數(shù)據(jù)，應(yīng)當(dāng)提供同步機(jī)制，以滿足不同數(shù)據(jù)池之間的共享需求。數(shù)據(jù)同步需要支持歷史同步和實(shí)時(shí)同步功能，同時(shí)支持增量同步和全量同步兩種模式。針對(duì)不同的數(shù)據(jù)類型，設(shè)定不同的同步頻率和方式。

基于安全的考慮，在某些情況下，進(jìn)行同步的兩個(gè)系統(tǒng)之間，只能單向傳送，在此類情況下就需要同步服務(wù)進(jìn)行支持，針對(duì)不同的隔離系統(tǒng)，其傳送限制也不盡相同，因此需要支持組件化開發(fā)，在面對(duì)新的隔離限制規(guī)則時(shí)，僅開發(fā)相應(yīng)的適配協(xié)議即可。

5.3 數(shù)據(jù)存儲(chǔ)

5.3.1 時(shí)序數(shù)據(jù)庫

時(shí)序庫適合存儲(chǔ)隨時(shí)間進(jìn)行變化的動(dòng)態(tài)數(shù)據(jù)，由于其不需要關(guān)系庫中復(fù)雜的關(guān)聯(lián)關(guān)系，因此檢索時(shí)間窗口內(nèi)的數(shù)據(jù)效率很高，同時(shí)由于數(shù)據(jù)結(jié)構(gòu)簡單，占用存儲(chǔ)空間少，因此可以長期存放高密度數(shù)據(jù)，為基于數(shù)據(jù)的分析工作提供支持。

對(duì)于通過儀器、系統(tǒng)自動(dòng)采集的測(cè)量數(shù)據(jù)，通常滿足以上特點(diǎn)，因此建議采用時(shí)序庫進(jìn)行存儲(chǔ)。

5.3.2 關(guān)系數(shù)據(jù)庫

關(guān)系庫適合以定義好的結(jié)構(gòu)存放具有不同屬性的靜態(tài)信息，且可以在不同信息之間建立關(guān)系，適合存放需要進(jìn)行不同維度關(guān)聯(lián)分析的數(shù)據(jù)，例如設(shè)備臺(tái)賬信息、設(shè)備故障信息、技術(shù)監(jiān)督數(shù)據(jù)等。

5.3.3 其他數(shù)據(jù)庫

對(duì)于無法定義結(jié)構(gòu)的靜態(tài)數(shù)據(jù)，如各類結(jié)構(gòu)圖、人工分析的報(bào)告、圖像、音頻、視頻等數(shù)據(jù)，需使用非結(jié)構(gòu)庫進(jìn)行存放，如對(duì)于文檔類型可采用文檔庫，影音視頻類可采用流媒體庫等，本項(xiàng)目不展開設(shè)計(jì)。

6 結(jié)束語

當(dāng)前專業(yè)數(shù)據(jù)開放共享不足，業(yè)務(wù)數(shù)據(jù)質(zhì)量不高、數(shù)據(jù)對(duì)外價(jià)值未充分體現(xiàn)等問題依然存在，需進(jìn)一步加強(qiáng)數(shù)據(jù)資產(chǎn)化管理，發(fā)揮企業(yè)數(shù)據(jù)資產(chǎn)價(jià)值。云平臺(tái)、大數(shù)據(jù)、物聯(lián)網(wǎng)、移動(dòng)應(yīng)用等新技術(shù)的快速發(fā)展，加快了企業(yè)數(shù)據(jù)整合、數(shù)據(jù)存儲(chǔ)、計(jì)算、分析與挖掘步伐，為能源互聯(lián)網(wǎng)發(fā)展及數(shù)據(jù)共享的實(shí)現(xiàn)奠定了基礎(chǔ)。