基于OpenTSDB數(shù)據(jù)庫的測風(fēng)塔管理系統(tǒng)開發(fā)研究

文 | 包文峰，郭慧斌，張志俊，臧艷艷

現(xiàn)階段，在風(fēng)能資源的開發(fā)和利用中，測風(fēng)塔處于十分重要的地位，通過測風(fēng)塔獲得風(fēng)能資源數(shù)據(jù)是前期風(fēng)能資源選址的重要途徑。但是，隨著風(fēng)電場測風(fēng)數(shù)據(jù)量增多，測風(fēng)塔基本地理信息，不同高度通道的風(fēng)向、風(fēng)速、風(fēng)頻、氣溫、氣壓等基礎(chǔ)數(shù)據(jù)的管理都遇到了重大挑戰(zhàn)，存在因測風(fēng)塔廠家數(shù)據(jù)格式多樣性、通信信號中斷、設(shè)備損壞以及人工處理分析效率低下引起的數(shù)據(jù)缺失、管理困難、質(zhì)量偏差等問題。

目前全國已設(shè)立了數(shù)以萬計的風(fēng)電場測風(fēng)塔，但通過測風(fēng)塔實測值計算出的產(chǎn)能與運行值偏差較大，造成極大資源浪費。測風(fēng)數(shù)據(jù)缺失或異常會為后期數(shù)據(jù)質(zhì)量篩選、數(shù)據(jù)修正、數(shù)據(jù)插補、長期訂正等過程引入很大的不確定性，通常1%風(fēng)速的不確定性會帶來超過3%發(fā)電量的上下浮動，而對于某些對投資效益進行嚴(yán)控的大型風(fēng)電企業(yè)，資本金回報收益率通常在8%至10%。那么，由于測風(fēng)數(shù)據(jù)造成的3%發(fā)電量不確定度可能就決定了風(fēng)電場能否盈利。在市場的競爭中，風(fēng)能資源選擇的優(yōu)劣程度直接影響著業(yè)主的投資效益。所以，測風(fēng)塔數(shù)據(jù)對整機企業(yè)和業(yè)主都具備重要的意義。

針對測風(fēng)塔數(shù)據(jù)管理的問題，本文詳細(xì)介紹了基于微服務(wù)架構(gòu)開發(fā)的測風(fēng)塔管理系統(tǒng)。該系統(tǒng)可以實現(xiàn)測風(fēng)塔高效管理，具備數(shù)據(jù)自動采集、處理及分析功能，并能獲得高質(zhì)量的分析報告。

測風(fēng)塔管理系統(tǒng)方案設(shè)計與實現(xiàn)

一、分布式時序數(shù)據(jù)存儲方案

測風(fēng)塔管理系統(tǒng)要求對數(shù)據(jù)進行秒級處理、不間斷存儲分析和處理，數(shù)據(jù)庫只有具備上述基本功能特性才能滿足使用要求。時序型數(shù)據(jù)庫OpenTSDB是通過HBase存儲所有的時序以構(gòu)建一個分布式、可伸縮的時間序列數(shù)據(jù)庫。它支持秒級數(shù)據(jù)采集、永久存儲，可以做容量規(guī)劃，可以從大規(guī)模的集群（包括集群中的網(wǎng)絡(luò)設(shè)備、操作系統(tǒng)、應(yīng)用程序）中獲取相應(yīng)的metrics并進行存儲、索引以及服務(wù)，從而使這些數(shù)據(jù)更容易讓人理解，如網(wǎng)格化、圖形化等。

基于以上特性，本系統(tǒng)采用OpenTSDB作為業(yè)務(wù)數(shù)據(jù)存儲方案，系統(tǒng)架構(gòu)如圖1所示。采集層通過郵箱對測風(fēng)塔數(shù)據(jù)進行采集；數(shù)據(jù)存儲/處理/分析層通過Spark Streaming、Impala、Spark等將復(fù)雜算法最終推送到文件系統(tǒng)、數(shù)據(jù)庫，實現(xiàn)數(shù)據(jù)的存儲、處理和分析功能；服務(wù)層通過多維分析將結(jié)果在展示層進行數(shù)據(jù)可視化。

根據(jù)現(xiàn)場實際情況，測風(fēng)塔一般需要采集1～2年的數(shù)據(jù)方可為工程實際場景提供分析結(jié)論。測風(fēng)塔數(shù)據(jù)按不同種類分為風(fēng)速、風(fēng)向、氣溫、氣壓、空氣密度等，這些數(shù)據(jù)種類分別通過不同的數(shù)據(jù)通道進行記錄，風(fēng)速、溫度和濕度、氣壓每個通道又細(xì)分為均值、最大值、最小值、標(biāo)準(zhǔn)差四個基礎(chǔ)統(tǒng)計指標(biāo)，風(fēng)向每個通道分為均值和標(biāo)準(zhǔn)差統(tǒng)計指標(biāo)。假設(shè)某一測風(fēng)塔有風(fēng)速、風(fēng)向、溫度和濕度、大氣壓四類傳感器，三個高度層。通常情況下，一個測風(fēng)塔設(shè)立1個溫度和濕度傳感器，1個大氣壓傳感器，每層各1個風(fēng)速、風(fēng)向傳感器。測風(fēng)塔每10分鐘存儲一次采樣數(shù)據(jù)點，一天共存儲144次。計算可知，每個測風(fēng)塔每年將產(chǎn) 生 144×（3×4+3×2+1×4+1×4）×365=136萬個數(shù)據(jù)點。以歷史與現(xiàn)存測風(fēng)塔作為管理對象，假定總測風(fēng)塔數(shù)為500臺，則需要管理的總數(shù)據(jù)點量將近6.8億。隨著對測風(fēng)數(shù)據(jù)采集精度、頻次的提高，此數(shù)據(jù)量將繼續(xù)呈爆炸式增長，例如將測風(fēng)數(shù)據(jù)的采集頻次提高至工業(yè)SCADA級，或者將測風(fēng)數(shù)據(jù)用于工業(yè)控制策略輔助，則每年產(chǎn)生的數(shù)據(jù)點量將達(dá)到0.4萬億，即每秒寫入量將達(dá)到1.29萬。面對如此龐大的數(shù)據(jù)量，傳統(tǒng)的數(shù)據(jù)存儲及分析工具無法提供有效的秒級讀寫支撐，而采用OpenTSDB時序數(shù)據(jù)庫的系統(tǒng)，可以支持秒級存儲，并且具有可擴展、高吞吐量、容錯的特點，所以從根本上規(guī)避了該問題。

二、自動化業(yè)務(wù)流程實現(xiàn)

測風(fēng)塔數(shù)據(jù)一般需要經(jīng)過數(shù)據(jù)產(chǎn)生、收集、處理等幾個階段后方可為數(shù)據(jù)分析提供支撐，傳統(tǒng)模式下的業(yè)務(wù)流程如圖2 所示，數(shù)據(jù)收集和處理均采用人工方式，隨著測風(fēng)塔數(shù)量的增加，不僅處理效率低下，而且增加人力成本。

圖1 系統(tǒng)整體架構(gòu)

圖2 傳統(tǒng)模式下的測風(fēng)業(yè)務(wù)流程

圖3 測風(fēng)塔管理系統(tǒng)業(yè)務(wù)流程

圖4 傳統(tǒng)模式與測風(fēng)塔管理平臺對比

測風(fēng)塔管理系統(tǒng)業(yè)務(wù)流程見圖3，測風(fēng)塔管理系統(tǒng)自動定時（用戶可自由選擇定時周期）接收測風(fēng)塔數(shù)據(jù)郵件，自動統(tǒng)計郵件缺失情況，自動解析測風(fēng)數(shù)據(jù)，自動統(tǒng)計數(shù)據(jù)完整性，根據(jù)預(yù)定義數(shù)據(jù)評估策略自動識別異常數(shù)據(jù)，當(dāng)數(shù)據(jù)缺失或異常率超過預(yù)定義基準(zhǔn)線時自動向用戶報警提示，并對原始數(shù)據(jù)進行自動化數(shù)據(jù)標(biāo)記及數(shù)據(jù)插補前完整性與相關(guān)性測算，提高數(shù)據(jù)準(zhǔn)確度，并減小插補造成的失真；自動完成對原始數(shù)據(jù)的多維度預(yù)處理及預(yù)統(tǒng)計，大幅度縮短統(tǒng)計分析的時間周期。

圖5 測風(fēng)塔郵箱綁定

傳統(tǒng)方式的弊端主要表現(xiàn)為，一方面，測風(fēng)塔原始數(shù)據(jù)及中間過程數(shù)據(jù)均散落在處理人員的單機中，最終轉(zhuǎn)入服務(wù)器的只有處理后的結(jié)果，中間過程數(shù)據(jù)大多未能進行有效留存；另一方面，測風(fēng)塔數(shù)據(jù)的單機處理及分析模式并不利于團隊協(xié)同作業(yè)。由兩種業(yè)務(wù)流程的對比（圖4）可知，系統(tǒng)化的方案從數(shù)據(jù)源頭上以系統(tǒng)本身作為接收方，用戶團隊成員均在同一平臺上進行數(shù)據(jù)處理及分析，為中間過程數(shù)據(jù)留存及協(xié)同一體化工作流程提供了天然的基礎(chǔ)，實現(xiàn)了測風(fēng)塔數(shù)據(jù)的精細(xì)化管理。

測風(fēng)塔管理系統(tǒng)的應(yīng)用實踐

一、數(shù)據(jù)采集功能

測風(fēng)塔管理系統(tǒng)支持多種郵箱和通道配置及附件上傳功能。在平臺中，測風(fēng)塔管理功能與全國地圖頁面測風(fēng)塔庫相互聯(lián)動，統(tǒng)一調(diào)配；快捷便利實現(xiàn)項目的增、刪、改、查等功能；可滿足使用者對精細(xì)管理的要求。

如圖5所示，系統(tǒng)可以錄入新建測風(fēng)塔基本信息，包括測風(fēng)塔編號、名稱、標(biāo)識、所屬項目、經(jīng)緯度等。系統(tǒng)支持csv文件和手動添加兩種通道上傳方式。系統(tǒng)能夠自動解析csv文件，提供文件存儲功能，管理者可將測風(fēng)塔文件、安裝報告、驗收報告和標(biāo)準(zhǔn)報告等上傳至系統(tǒng)存儲，避免文件的亂放亂傳。

二、數(shù)據(jù)處理功能

測風(fēng)塔管理系統(tǒng)支持將txt、csv等格式文件統(tǒng)一轉(zhuǎn)入時序數(shù)據(jù)庫進行解析存儲。平臺嚴(yán)格遵循《風(fēng)電場風(fēng)能資源測量方法》（GB/T18709―2002）等有關(guān)規(guī)范、標(biāo)準(zhǔn)及規(guī)定，保證了數(shù)據(jù)處理結(jié)果的可靠性。用戶通過選擇項目、測風(fēng)塔編號及不同高度通道等，可以查看該測風(fēng)塔原始數(shù)據(jù)。在原始數(shù)據(jù)圖上，通過操作鼠標(biāo)可查看任意時間點的風(fēng)速以及縮放數(shù)據(jù)事件范圍，如圖6所示。通過點擊不同功能按鈕，可以進行原始數(shù)據(jù)查看、磁偏角修正、數(shù)據(jù)篩選、塔影修正、剪切推算和代表年訂正功能操作。此外，還能提供管理者對修正后數(shù)據(jù)的查看功能。例如：界面完整性功能按鈕以彈框形式展示完整性內(nèi)容（圖7），通過數(shù)據(jù)自定義及處理，界面展現(xiàn)該列數(shù)據(jù)完整性狀態(tài)細(xì)節(jié)，并支持管理者對該條數(shù)據(jù)信息的下載。

圖6 原始數(shù)據(jù)查看

圖7 數(shù)據(jù)處理功能完整性展示

三、數(shù)據(jù)分析功能

測風(fēng)塔管理系統(tǒng)基于風(fēng)能資源處理規(guī)范，在數(shù)據(jù)分析模塊中根據(jù)管理者需求，對測風(fēng)塔采集到的數(shù)據(jù)進行定制化分析、計算，并予以直觀顯示，包含風(fēng)速、風(fēng)向、空氣密度、風(fēng)功率密度、風(fēng)切變、湍流等風(fēng)能資源指標(biāo)。管理者對多項目同步管理時，通過選擇項目、測風(fēng)塔編號，設(shè)定時間范圍，可以查看風(fēng)速、風(fēng)向、空氣密度、風(fēng)功率密度、風(fēng)切變、湍流等風(fēng)能資源指標(biāo)。例如：風(fēng)速曲線分析模塊，支持管理者對選定時間范圍內(nèi)風(fēng)速曲線、日變化、月變化、年變化和韋布爾分布的查看，如圖8所示；風(fēng)向曲線分析模塊，支持管理者對風(fēng)向曲線、風(fēng)向玫瑰圖、月變化和年變化的查看，如圖9所示。

結(jié)論及展望

科學(xué)高效的測風(fēng)塔管理系統(tǒng)在風(fēng)能資源開發(fā)利用中有著重要的意義。根據(jù)目前測風(fēng)塔管理系統(tǒng)對已有數(shù)千臺測風(fēng)塔的實際管理能力可以看出，采用時序型數(shù)據(jù)庫OpenTSDB數(shù)據(jù)存儲方案的測風(fēng)塔管理系統(tǒng)表現(xiàn)出了強大的管理能力，實現(xiàn)了自動化業(yè)務(wù)流程，完成了數(shù)據(jù)自動采集、篩選、分析、存儲和提醒，提高了管理效率，為數(shù)據(jù)的安全提供了保障。

圖8 風(fēng)速曲線分析

圖9 風(fēng)向曲線分析

但是，該系統(tǒng)目前主要應(yīng)用在前期風(fēng)能資源選址中，缺乏與其他平臺的聯(lián)動。下一步的研究工作可以圍繞將該系統(tǒng)擴展至整個風(fēng)能資源前、中、后三個周期的整體平臺開展。例如，將分散式管理平臺和項目管理平臺等與該系統(tǒng)進行集成，搭建風(fēng)能資源一站式整體解決方案；在平臺架構(gòu)的基礎(chǔ)上開發(fā)新的功能，例如增加平準(zhǔn)化度電成本（LCOE）、氣象信息等。