基于超融合架構的風電場監(jiān)控中心云化研究

文 | 戴建軍，崔峰，吳樟林，廖元文，湯光浩

經(jīng)過十幾年的高速發(fā)展，我國的風力發(fā)電技術日趨成熟，新技術層出不窮。但作為風力發(fā)電系統(tǒng)重要組成部分的風電機組監(jiān)控系統(tǒng)，卻仍停留在采用傳統(tǒng)的數(shù)據(jù)中心部署方式上，即分別獨立建設計算、存儲、網(wǎng)絡和安全各功能模塊。

這種架構存在的主要缺陷是：（1）安全性低，大部分服務器和存儲資源都是單機使用，并未實現(xiàn)互為熱備份，數(shù)據(jù)丟失后便會造成很大損失。如所有系統(tǒng)都采用雙機備份，實現(xiàn)成本較高。（2）新業(yè)務交付慢，當一個新的系統(tǒng)需要計算資源時，目前平均交付流程在一個月以上，效率非常低。（3）計算資源利用率低，經(jīng)過對8個風電場67臺服務器的抽樣調查，部署的各類業(yè)務系統(tǒng)平均CPU利用率為6%，內存利用率為33%，三年內硬盤空間利用率為30.1%，資源綜合利用率低。

風電行業(yè)競爭日益激烈，傳統(tǒng)風電場監(jiān)控系統(tǒng)部署模式已經(jīng)不能滿足需求。近年來，隨著云計算技術的不斷發(fā)展和完善，基于超融合架構（Hyper-Converged Infrastructure，或簡稱“HCI”）的信息技術部署方式成為一個較好的選擇。

超融合架構的基本原理

超融合架構是指將物理計算資源（CPU、內存）、存儲空間統(tǒng)一集成在單個x86服務器節(jié)點內，若干臺服務器節(jié)點通過簡單疊加，實現(xiàn)所有資源的統(tǒng)一管理、共享分配。超融合平臺可以通過軟件定義的方式實現(xiàn)計算資源虛擬化、存儲空間虛擬化、網(wǎng)絡虛擬化和安全虛擬化。用戶可以非常方便地新建、彈性調整、刪除、備份和快照一臺云主機；可以將多臺物理機的存儲資源融合為一個大的存儲池，再進行適當劃分以便資源共享；可以利用NFV實現(xiàn)云主機所處網(wǎng)絡的自由定義，包括新增交換機、路由器、防火墻，及不同的網(wǎng)絡策略。可以利用安全虛擬化，實現(xiàn)分布式防火墻策略的制定、底層殺毒軟件植入以及態(tài)勢感知的監(jiān)控?；A架構如圖1所示。

圖1 超融合基礎架構

一、計算虛擬化

計算虛擬化一般是指在每臺服務器內安裝虛擬化軟件，構成計算資源池，再通過超融合平臺虛擬化若干云主機，以供不同的用戶和應用程序使用。計算虛擬化使資源動態(tài)分配、靈活調度和跨域共享成為很簡便的事情。

主流的虛擬化軟件通過在硬件和操作系統(tǒng)之間部署的x86虛擬化技術，實現(xiàn)將物理服務器內的CPU、內存、接口資源轉換為一組或者多組可被統(tǒng)一管理、調度和分配的物理資源，再將物理資源邏輯化，能在單個服務器上同時運行多個相互隔離的云主機，各云主機分別占用該物理服務器的部分計算資源。云主機可以通過集群調度的方式實現(xiàn)熱遷移（在不同的物理服務器將副本進行啟機，實現(xiàn)云主機無縫遷移到另一臺物理服務器）。通過在不同的物理服務器存儲不同的云主機配置文件，當某主機宕機時，在其他物理服務器上也能夠自動啟機，以此可實現(xiàn)云主機的高可用性。此外，超融合平臺還可以按業(yè)務變化實現(xiàn)單臺云主機的CPU、內存的手動或自動按需增減。

二、存儲虛擬化

超融合技術可以實現(xiàn)將所有物理服務器的物理磁盤變成邏輯資源池，當云主機需要使用時，可以定義存儲空間大小，這種存儲方式被稱為分布式存儲。

分布式存儲能夠很方便地實現(xiàn)橫向擴展（Scale-out），運行在這種架構上的云主機，可以像傳統(tǒng)層次架構那樣支持vMotion、DRS和快照等功能。由于數(shù)據(jù)通過服務器的主板高速通道進行磁盤間的交互，因此，大大提高了傳輸性能。分布式存儲的另一個重要意義在于安全性和讀寫性能的提升，由于分布式存儲的數(shù)據(jù)不會存在于某一單臺服務器，而是分布存儲到不同的磁盤上（有點類似Raid技術），因此，磁盤讀寫效率會成倍提升。此外，超融合平臺一般支持云主機及其邏輯磁盤的雙備份或三備份，而這些備份都是分散到不同服務器的不同磁盤上（這個資源調度算法是基于超融合平臺算法實現(xiàn)的），因此，某單片磁盤甚至某單臺物理服務器發(fā)生故障都不會影響數(shù)據(jù)安全，并且切換是毫秒級的，用戶不會有感知。

三、網(wǎng)絡虛擬化

在超融合網(wǎng)絡架構里，硬件只需要用到二層交換機，其他的網(wǎng)絡設備全部通過在服務器內建虛擬化服務的方式來實現(xiàn)。為了實現(xiàn)云主機之間、云主機與外部網(wǎng)絡之間的按需通信，網(wǎng)絡虛擬化可以提供虛擬交換機vSwitch、虛擬路由器vRouter、虛擬防火墻vFW、虛擬私有網(wǎng)絡vVPN、虛擬廣域網(wǎng)優(yōu)化vWOC等，這些設備除了可以分別實現(xiàn)傳統(tǒng)網(wǎng)絡設備的功能，還支持東西向流量的VxLAN網(wǎng)絡和南北向與物理網(wǎng)絡的安全連接。

網(wǎng)絡虛擬化帶來的好處是顯而易見的，所有網(wǎng)絡設備以扁平化的方式呈現(xiàn)在一個管理界面內，極大簡化物理部署，非常便于運維與排故。由于這些虛擬的網(wǎng)絡設備置于HA的平臺內，如果一臺服務器宕機，其他服務器馬上就會接管，因此，可靠性比傳統(tǒng)網(wǎng)絡設備高。

四、安全虛擬化

超融合架構下，傳統(tǒng)的防火墻、態(tài)勢感知設備都被虛擬化成不同模塊。通過在不同子網(wǎng)、不同主機之間配置虛擬的分布式防火墻、邊界防火墻、威脅檢測探針、負載均衡和VPN等手段，不僅實現(xiàn)南北向流量的防護，還重點對東西向的流量進行了監(jiān)測和防護。安全虛擬化可以實現(xiàn)2～7層的全方位防護，通過風險掃描、漏洞檢測、Web防護和入侵防御，未知威脅、潛在木馬病毒和勒索病毒都可以被云化的態(tài)勢感知平臺提前感知到。

對云主機而言，一般通過部署殺毒軟件的代理端來實現(xiàn)主機內部的安全。網(wǎng)絡上，通過分布式防火墻的一鍵下發(fā)策略，將云主機之間進行適當隔離，基于協(xié)議和端口的精度可以保證云主機之間的按需通信。

風電場監(jiān)控系統(tǒng)云化方案

一、業(yè)務需求

某風電場共有24臺單機容量為2MW的風電機組，其監(jiān)控中心包含以下子系統(tǒng)：用于風電機組主控制器信息搜集和監(jiān)控的SCADA系統(tǒng)、SCADA數(shù)據(jù)轉發(fā)軟件，用于風電機組大部件振動狀態(tài)監(jiān)測的CMS系統(tǒng)、CMS數(shù)據(jù)轉發(fā)軟件，用于對全場進行風功率調節(jié)的WPPM系統(tǒng)，用于風能預測的風功率預測系統(tǒng)。從運行安全考慮，這些系統(tǒng)全部需要實現(xiàn)雙機熱備。如果按照傳統(tǒng)數(shù)據(jù)中心部署方式成本很高，采用超融合方案則大大簡化了硬件配置，且還能實現(xiàn)互為備份和資源冗余，如表1所示。

表1 超融合與傳統(tǒng)模式部署比較

從硬件對比上來說，超融合方案在服務器數(shù)量、總體配置、占用機柜和能耗上都有明顯優(yōu)勢，而且所有云主機都利用HA實現(xiàn)了熱備能力，這是傳統(tǒng)模式很難做到的。

二、部署方案

在某風電場升壓站機房的服務器機柜內安裝兩臺超融合一體機，并安裝兩臺交換機。在管理平臺內可以看到所有物理機的資源。每臺服務器都有4個網(wǎng)口。其中，Eth1配置為管理口，Eth2配置為數(shù)據(jù)通信口VxLAN，Eth3配置為北向數(shù)據(jù)口，Eth4配置為分布式存儲口。

根據(jù)現(xiàn)場業(yè)務需求，開通6臺云主機。每一臺都根據(jù)實際需求而不是最大需求配置計算資源。選擇名稱、分組、存儲位置和運行位置、CPU、內存、磁盤，以及網(wǎng)絡IP地址配置信息。主機的操作系統(tǒng)可以重新安裝，也可以復制已有的云主機，還可以根據(jù)已有的云主機生成模板并根據(jù)模板新建云主機。超融合平臺支持大部分的服務器操作系統(tǒng)，比如Windows、Linux的各種版本。新增一臺云主機的界面如圖2所示。

圖2 新增云主機

在網(wǎng)絡配置上，只需要將云主機配置到特定的二層交換機下，按需配置防火墻和端口組，并配置好分布式防火墻，以保證按需獲得網(wǎng)絡連通。云主機開通后可以通過遠程桌面（如：Windows RDP、Linux VNC）或者特定工具（如：PuTTY）的方式進行連接。需要特別注意的是，云主機和網(wǎng)絡要開通遠程連接的端口。

此外，還需要配置云主機的備份策略。新建備份組，并為該組添加備份策略。一般備份策略可以按周、天、小時的精度，保留副本則按日、周、月為單位。并在備份組內加入不同的云主機。超融合平臺可以為云主機的系統(tǒng)盤和數(shù)據(jù)盤實現(xiàn)自動備份，一旦系統(tǒng)遭遇病毒或者其他誤操作，便可以很方便地恢復到不同的時間點。

表2 單云主機單虛擬磁盤測試負載描述

三、性能測試

超融合架構相較于傳統(tǒng)部署方式的功能優(yōu)勢是顯而易見的，由于性能可靠，能完全勝任各類業(yè)務的承載。下文以核心關注點之一的虛擬存儲性能為例進行測試說明。

測試目的：最優(yōu)性能測試，測試各種IO模型的性能參數(shù)，用于比較各類平臺。

測試方法：主要通過模板部署若干臺云主機，并接入同一臺虛擬交換機。使用Iometer測試腳本執(zhí)行讀寫操作，并得出結果。

測試配置：3臺物理機（CPU：28核 X 2[Intel(R) Xeon(R) CPU E5-2680 v4 @ 2.40GHz]； 內 存：128GB； 磁盤：2×480GB SSD(SM863a)，6×1T B HDD）；云主機（CPU：8核，內存：4GB，虛擬磁盤：60GB（預分配））；網(wǎng)絡為萬兆；操作系統(tǒng)為Cent OS。

測試模型：4kB、8kB、64kB隨機讀，隨機寫，混合讀寫，隨機寫；128kB、1MB隨機讀，順序讀，混合讀寫，順序寫，如表2所示。

測試內容：（1）單云主機單虛擬磁盤基本指標；（2）單云主機6虛擬磁盤基本指標；（3）集群（15云主機3虛擬磁盤）基本指標。

測試過程：利用Iometer軟件進行實際測試，如圖3所示。測試各個IO模型的隨機讀寫性能和順序讀寫性能（可以評估存儲是否滿足單個應用程序的IO性能需求；也可以根據(jù)需求，選擇其中的一到兩項測試）。腳本會運行2次Iometer，第一次是準備數(shù)據(jù)，第二次才是實際的IO測試。

四、測試結果

本文共測試了單云主機單磁盤、單云主機6虛擬磁盤、集群（15云主機3虛擬磁盤）3種負載，每種負載情況又分為不同塊大小的20種工況，每種工況再分6種IO深度，共進行了360項測試。測試結果表明，各種工況下的平均波動率為0.02%，平均時延小于0.56ms，平均最大時延小于30ms，其中在4kB/15云主機的情況下最高IOPS達到了386318。整體性能較優(yōu)。

圖3 Iometer 測試頁面

圖4 4kB 100%隨機讀測試項六種IO深度測試結果

網(wǎng)絡安全合規(guī)問題

為滿足電監(jiān)會《電力監(jiān)控系統(tǒng)安全防護規(guī)定》（2014）、《風電、光伏和燃氣電廠二次系統(tǒng)安全防護技術規(guī)定（試行）》（2012）和國家能源局《關于印發(fā)電力監(jiān)控系統(tǒng)安全防護總體方案和評估規(guī)范的通知》（國能安全36號文），以及國家電網(wǎng)公司、南方電網(wǎng)公司的相關細則，對于風電場二次系統(tǒng)安全防護工作的要求，須嚴格執(zhí)行“安全分區(qū)、網(wǎng)絡專用、橫向隔離、縱向認證”的要求，傳統(tǒng)的風電場網(wǎng)絡架構如圖5所示。

由圖5可以看出，在計算資源方面，每個系統(tǒng)至少需要獨立配置一套服務器、一套客戶端，數(shù)據(jù)量大的系統(tǒng)還需部署磁盤陣列；在網(wǎng)絡架構方面，風電機組內的工業(yè)以太網(wǎng)交換機與監(jiān)控中心后臺的核心工業(yè)以太網(wǎng)組成環(huán)網(wǎng)，各系統(tǒng)接入核心工業(yè)以太網(wǎng)。在這個架構內，計算資源、存儲是分散式的，每個服務器都只能承載單個業(yè)務。

采用超融合架構后的風電場網(wǎng)絡架構如圖6所示。由圖6可看出，以防火墻為中心，左邊是安全I區(qū)，右邊是安全II區(qū)。安全I區(qū)的物理出口連接的是工業(yè)以太網(wǎng)核心交換機，安全II區(qū)物理出口連接的是正向/反向隔離裝置。防火墻、服務器、交換機、網(wǎng)絡隔離裝置的配置策略與傳統(tǒng)方式完全相同。超融合架構下的風電場完全滿足了監(jiān)管機構的技術要求。

圖5 傳統(tǒng)風電場網(wǎng)絡架構

圖6 超融合網(wǎng)絡架構

總結

風電場監(jiān)控中心采用超融合架構，通過HA實現(xiàn)了所有業(yè)務服務的熱備計算，通過數(shù)據(jù)自動備份實現(xiàn)了所有數(shù)據(jù)的安全備份，通過虛擬化網(wǎng)絡實現(xiàn)了網(wǎng)絡結構的靈活設置，通過安全虛擬化實現(xiàn)了分布式防火墻和底層的殺毒軟件植入。以上的這些改進措施，在很大程度上提高了監(jiān)控中心業(yè)務整體的安全性與整個系統(tǒng)部署的生產效率。該架構計算性能較好，資源利用率高，將云計算技術與工業(yè)場景相結合，創(chuàng)造出良好的經(jīng)濟效益，值得全面推廣。