基于分布式技術的公共機構能耗評價系統(tǒng)中幾個關鍵問題研究

師 磊曹文繼，張維化

(1.內蒙古財經大學 大數(shù)據應用服務中心，內蒙古 呼和浩特 010070；2.內蒙古財經大學職業(yè)學院，內蒙古 呼和浩特 010070；3.內蒙古財經大學 內蒙古自治區(qū)經濟數(shù)據分析與挖掘重點實驗室，內蒙古 呼和浩特 010070)

節(jié)約能源資源是我國經濟社會發(fā)展的重要戰(zhàn)略，公共機構節(jié)能是全社會節(jié)能的重要領域[1]。用科學合理的技術建立有效的能耗定額體系，是進一步推進我國公共機構節(jié)能工作的基礎。目前，我國對公共機構能耗定額的研究方向大致有：一是公共機構能耗定額的分類方法，機構類型劃分時通常采用辦公、醫(yī)療、教育、商業(yè)等方式；二是公共機構能耗定額的制定方法，通常采用單一的數(shù)據統(tǒng)計方法或是數(shù)據統(tǒng)計與軟件模擬相結合的方法；三是能耗數(shù)據來源，一般通過調查統(tǒng)計或實際測量，也可以通過模擬分析的方法得到。而國內以能耗定額為標準，基于大數(shù)據方法為公共機構能耗定制評價體系的研究還是空白。現(xiàn)在，大數(shù)據的浪潮已席卷社會的各行各業(yè)，大數(shù)據的方法和相關技術使得人們對數(shù)據的處理能力顯著提升，那么運用大數(shù)據相關方法和技術，設計公共機構能耗分析與評價系統(tǒng)對能耗數(shù)據進行分析和挖掘，從而對公共機構用能規(guī)律和能耗模式進行更全面的認識和評價，可有效促進公共機構節(jié)能減排，加速人、建筑和城市的和諧發(fā)展。

一、公共機構能耗數(shù)據特征

公共機構的能耗數(shù)據來源主要有三類。第一類是分布在公共機構建筑中的各種能耗采集設備采集的數(shù)據，如電表、水表、熱量表等各類智能表具。該類型的數(shù)據通常采樣周期短，在時間上有著連續(xù)性和漸變性，也就是說可能在短時間內變化緩慢，甚至是沒有變化。同時由于設備數(shù)量多，會出現(xiàn)同一時間有大量數(shù)據提出存儲請求，所以能耗采集設備采集的數(shù)據有著數(shù)據量大及高并發(fā)的特點。第二類是公共機構基礎信息和統(tǒng)計類數(shù)據，其中，公共機構基礎信息包含機構類型、地理位置、用能人數(shù)、建筑面積、汽油消費量等，統(tǒng)計類數(shù)據包括全區(qū)公職人員相關數(shù)據、醫(yī)院住院相關數(shù)據等。該類型數(shù)據一般都是機構用能情況的描述或是無法依靠智能設備實時采集的數(shù)據，通常該類型數(shù)據需要由公共機構管理部門、人社廳、醫(yī)保局等相關單位提供。該類型數(shù)據來源廣、數(shù)據類型多種多樣，所以有著數(shù)據復雜且維度多的特點。第三類是環(huán)境數(shù)據，機構的用能結構與機構類型息息相關，而相同類型機構的總能耗與機構地理位置的環(huán)境也是密不可分的[2]。以內蒙古為例，內蒙古地形呈橫長型，位于北緯37°24′-53°23′，東經97°12′-126°04′之間，橫跨多個經度區(qū)域，各公共機構單位星羅分布，地區(qū)溫度對當?shù)貑挝荒芎脑斐傻挠绊懸巡豢珊雎?，且根據國家機關事務管理局關于印發(fā)《公共機構能耗定額標準編制和應用指南(試行)》〔2019〕5號通知的指導意見[3]，對公共機構能耗定額指標進行編制時要劃分氣候區(qū)域。因此，為科學合理的評估用能機構，制定統(tǒng)一、公平、準確的能耗定額標準，則不得不考慮環(huán)境的影響。第三類數(shù)據通常為公開數(shù)據，可按照一定的規(guī)則，使用程序或腳本從互聯(lián)網爬取。

通過分析國內現(xiàn)有的研究成果，同時與分析內蒙古公共機構能耗評價結果相結合，可以歸納出公共機構能耗數(shù)據有以下幾個特點。

(一)數(shù)據缺失

數(shù)據缺失與異常零值是數(shù)據處理過程中常見的異常數(shù)據，公共機構能耗數(shù)據中有缺失值的主要原因就是用能機構漏報數(shù)據，而異常零值是由于用能機構無法獲取相關用能信息導致。能耗計量設備采集的數(shù)據出現(xiàn)缺失及異常零值，通常因為設備損壞或是數(shù)據傳輸出現(xiàn)問題導致。數(shù)據缺失在程序處理時一般表現(xiàn)為null，在處理過程中比較容易辨認，而異常零值數(shù)據表現(xiàn)為0，該零值是否為異常零值不易辨認，需要結合用能機構其他相關信息綜合判定。

(二)數(shù)據異常

數(shù)據異常通常也稱為數(shù)據突變，公共機構能耗數(shù)據中有數(shù)據異常主要由于用能機構數(shù)據填報人員的誤填造成，具體表現(xiàn)為公共機構用能人數(shù)、建筑面積與使用能耗差異過大，例如機構用能人數(shù)少、面積小，而其能耗遠遠超出平均水平。公共機構實際的建筑面積和用能人數(shù)有多有少，無法通過設定閾值來檢測數(shù)據異常，針對這種情況本設計采用“機構行業(yè)劃分+正態(tài)化”的方法計算能耗合理值范圍來識別數(shù)據異常。能耗計量設備的數(shù)據異常比較容易識別，該類數(shù)據具有連續(xù)性和漸變性，也就是說當數(shù)據在短時間內出現(xiàn)突變則說明該數(shù)據出現(xiàn)異常。

(三)數(shù)據類型和維度多

傳統(tǒng)的能耗定額由于數(shù)據量不大、維度不多，可以比較容易采用數(shù)據統(tǒng)計方法進行評價分析，而為了更加公平、準確制定統(tǒng)一的能耗定額標準，需要引入更多與用能機構相關的信息，這使得在數(shù)據量不斷增多的同時，數(shù)據維度也不斷加大，傳統(tǒng)的統(tǒng)計方法已不能勝任多維數(shù)據的決策分析。例如傳統(tǒng)能耗分析僅需要用能機構的用能人數(shù)、建筑面積、電消費量等基本能耗數(shù)據，而在大數(shù)據背景下制定能耗定額標準還需要地理環(huán)境、用能人員信息、醫(yī)療數(shù)據、教育數(shù)據等多方面數(shù)據的輔助。因此，基于公共機構能耗的多維數(shù)據分布規(guī)律和模式，也是公共機構能耗數(shù)據的一項重要特征。

二、數(shù)據預處理

數(shù)據預處理的目的是保證數(shù)據的完整性、一致性與準確性。通常數(shù)據預處理分為四個步驟，即數(shù)據清洗、數(shù)據集成、數(shù)據降維及數(shù)據轉換。這些步驟在其他領域的數(shù)據預處理過程中得到了廣泛應用，但是，公共機構能耗數(shù)據的特點決定了不能照搬通用數(shù)據預處理的理論，而是要采用針對性的流程與方法。本設計在預處理階段借助東方國信數(shù)據治理平臺，依托其中的元數(shù)據管理系統(tǒng)，構建、管理、維護和使用數(shù)據庫中的數(shù)據，通過該平臺可以清晰地知道有什么數(shù)據、數(shù)據在什么地方、如何利用數(shù)據及更好的理解數(shù)據、發(fā)現(xiàn)和描述數(shù)據的來源和去向?；跀?shù)據治理平臺，本設計構建了能耗數(shù)據分層的處理方式，將數(shù)據劃分為SRC層(源數(shù)據層)、ODS層(數(shù)據運營層)、DWM層(數(shù)據中間層)以及APP層(數(shù)據應用層)，并建立公共機構能耗數(shù)據預處理流程與方法。

首先將原始數(shù)據存儲于SRC層，對其中的能耗數(shù)據進行數(shù)據轉換，標準GB/T 2589-90中規(guī)定了計算公共機構綜合能耗，需要將二次能源(如電能、汽油、柴油等)及其他能源折算為一次能源(如原煤、原油、天然氣等)的當量定額煤，或通過標準中規(guī)定的折算系數(shù)直接計算出能源的定額煤。同時，在計算公共機構綜合能耗時，需要將職工宿舍和對外開放盈利區(qū)域的能耗剔除。在計算嚴寒地區(qū)和寒冷地區(qū)的公共機構能耗定額指標時，還要額外計算采暖建筑面積的供暖能耗。將轉換后的數(shù)據存儲于ODS層，該層為面向主題的數(shù)據運營層，主題按照業(yè)務的分類方式而劃分，SRC層中的數(shù)據經過抽取、清洗等基本操作后裝入本層。然后對SRC層進行數(shù)據清洗，公共機構能耗數(shù)據受獲取渠道、填報人員水平、機構信息完整度等多種因素影響，特別是合署辦公機構沒有分項計量，數(shù)據會產生缺失、零值、機構類型不明等各種異常數(shù)據。初次清洗僅對原始數(shù)據的明顯異常做出處理，公共機構能耗數(shù)據的異常還表現(xiàn)在單位面積能耗、人均能耗、供暖能耗等計算后數(shù)值上，通常的異常值為低于或高于合理值范圍，再經過計算后仍需要再次進行數(shù)據清洗。將初次計算或對數(shù)據做輕度聚合操作后的數(shù)據裝入DWM層，目的是提升公共指標的復用性，減少重復加工。最后是數(shù)據集成，為便于后續(xù)研究，需要將公共機構能源消費數(shù)據及預處理后的結果進行整理，融合到新的數(shù)據庫中，每個公共機構數(shù)據為一條數(shù)據完整的記錄，包含單位名稱、區(qū)域名稱、機構類型、機構分類標簽、用能時間、建筑面積及所有該機構能耗相關數(shù)據。將集成后數(shù)據裝入APP層，提供給數(shù)據分析及展示使用，最終建立完成公共機構的能耗數(shù)據庫，為后續(xù)的分析計算做好數(shù)據基礎準備。

三、數(shù)據存儲設計

(一)數(shù)據庫選型與設計

機構能耗數(shù)據特點為多樣化，各個機構能源消費的類型有很大差別，若使用關系型數(shù)據庫，隨著數(shù)據量的增大，數(shù)據存取的實時性將逐漸下降，會產生大量無用能耗數(shù)據，影響數(shù)據庫性能。且，隨著社會的發(fā)展，公共機構的能源消費種類也會逐漸增加，關系型數(shù)據庫擴展性較差，不能完全滿足存儲需求。因此本文設計優(yōu)先考慮NoSQL數(shù)據庫，通過對比三種主流NoSQL數(shù)據庫(列存儲HBase、鍵值存儲Redis、文檔存儲MongoDB)及關系型數(shù)據庫MySQL，選出最適合公共機構能耗數(shù)據存儲的數(shù)據庫。

通過對數(shù)據庫性能的比對(見表1)。MongoDB在數(shù)據查詢、可操作性方面明顯優(yōu)于其他兩個NoSQL數(shù)據庫，在讀寫性能及水平擴展能力方面也是優(yōu)于一般關系型數(shù)據庫。同時，MongoDB支持分布式編程模型MapReduce、支持海量數(shù)據并行處理。MongoDB文檔型數(shù)據的好處還體現(xiàn)在數(shù)據結構設計階段，可以弱化初始的數(shù)據結構設計；在存儲的時候，如果需要添加新的字段，可以在存儲數(shù)據時直接添加，無需事先設計集合的字段格式，集合擴展極為方便。因此，最終選取MongoDB數(shù)據庫作為能耗數(shù)據存儲系統(tǒng)。

表1 NoSQL數(shù)據庫與典型關系型數(shù)據庫MySQL的比較

本文設計使用3臺服務器組成數(shù)據存儲的分布式集群，采用MongoDB的分布式部署，即分片集群(Sharded Cluster)的部署方式，分片集群將數(shù)據分布到多臺服務器上，可以用這種部署方式來存儲大量數(shù)據并提高系統(tǒng)的讀寫性能。分片集群中包含一個配置服務器(Config Server)，負責存儲集群的信息，主要存儲分片和塊數(shù)據信息；一個路由(MongoS)，負責路由和集群的協(xié)調工作，使得集群成為一個整體；三個分片(Shard)，負責存儲數(shù)據，每個分片都是復制集，用于存儲實際的數(shù)據塊。整個數(shù)據庫集合分成多個塊存儲在不同的 Shard Server中。

(二)數(shù)據庫集合及數(shù)據格式設計

在數(shù)據庫部署完成后，首先需要在數(shù)據庫中建立數(shù)據表，在MongoDB中數(shù)據表被稱為集合，MongoDB在創(chuàng)建集合時很簡單，不需要向關系數(shù)據庫事先設計表的字段格式，而且直接創(chuàng)建空集合，向里面存入數(shù)據就可以了，或者不創(chuàng)建集合，直接存入數(shù)據，系統(tǒng)將自動創(chuàng)建相應的集合。MongoDB的優(yōu)勢就是弱化初始的數(shù)據結構設計，因此在實際數(shù)據存儲中，一個機構的文檔只包含與本機構相關的能源數(shù)據，其他未使用的能源信息或其他不相關的數(shù)據不需要保存到該機構文檔中。

根據前文表述，本設計將預先創(chuàng)建三類集合，分別為實時采集數(shù)據集合、統(tǒng)計數(shù)據集合及環(huán)境數(shù)據集合。實時采集數(shù)據集合與環(huán)境數(shù)據集合根據項目具體情況確定集合數(shù)量，以內蒙古公共機構能耗分析為例，實時采集數(shù)據包含電力數(shù)據集合、供暖數(shù)據集合，環(huán)境數(shù)據集合存儲內蒙古自治區(qū)各盟市旗縣的氣象數(shù)據，用于計算溫度系數(shù)；統(tǒng)計類數(shù)據集合包括公職人員信息集合、住院信息集合及公共機構能耗信息集合。依據內蒙古公共機構能耗分析采集數(shù)據的類型，已在MongoDB集群中創(chuàng)建6個原始數(shù)據集合，為之后的數(shù)據計算提供數(shù)據支撐。

公共機構能耗數(shù)據經計算后需創(chuàng)建結果集合，該集合數(shù)據包含機構基礎信息、原始用能數(shù)據、標準化后用能數(shù)據、機構分類信息、能耗計算數(shù)據等信息，本設計考慮到后期可視化展示的便捷性需求，因此將屬于同一機構的信息封裝到一條數(shù)據中，使用文檔的嵌套格式區(qū)分不同種類信息，具體數(shù)據在嵌套文檔中，以下為單條數(shù)據的幾個主要文檔內容。文檔中“_id”為該條數(shù)據的唯一id；“RawEnergy”為能源消費原始數(shù)據；“StdEnergy”是經標準化之后的能源消費數(shù)據，單位是千克標準煤；“OrgInfo”字段存放機構基礎信息；“OrgCount”字段存放該機構能耗計算結果，如綜合能耗、單位面積能耗、人均能耗、單位面積供暖能耗及各項計算指標是否有效的標志；“OrgArea”是機構所屬的地理位置信息；“OrgClass”是該機構的區(qū)域及行業(yè)分類；若該機構為合署辦公機構，將合署辦公總能耗存儲在“OfcCount”字段中。在計算中如遇到新增分類，可直接以新的嵌套格式加入到該文檔中。

四、數(shù)據計算平臺設計

(一)平臺架構設計

本設計實現(xiàn)了基于Hadoop的能耗大數(shù)據分析平臺架構，在邏輯上分為4層[4]，最底層是數(shù)據存儲層，所有的原始數(shù)據及經過處理后的數(shù)據都為數(shù)據存儲層的輸入，同時數(shù)據存儲層中的數(shù)據為Hadoop平臺及其他的能源管理系統(tǒng)提供支持?；贖adoop數(shù)據存儲層，構建并行計算與數(shù)據處理層，由于計算能耗定額在使用數(shù)據挖掘算法時，需要反復訪問同一數(shù)據集，并對其中多個子集進行操作，因此Hadoop中基礎組件MapReduce將不能滿足計算需求，而Spark的RDD(彈性分布式數(shù)據集)可以提供高效的數(shù)據共享能力，同時還具有高效的容錯能力及可擴展的機器學習算法庫，可以滿足計算需求。除此之外，該層包含統(tǒng)計學習組件和流計算框架等，根據分析任務的不同，選擇合適組件進行數(shù)據處理。Hadoop平臺的頂層是應用層，應用層直接為用戶提供服務，該層擁有統(tǒng)一的系統(tǒng)圖形化界面，提供數(shù)據可視化、數(shù)據挖掘與數(shù)據分析、用戶權限與統(tǒng)一認證、集群運行監(jiān)控和開放能力等服務和功能，各項服務以組件的形式提供，可以根據需求變化動態(tài)增減。整個Hadoop平臺在系統(tǒng)縱向為每一層都提供統(tǒng)一的配置管理，使系統(tǒng)內各組件之間做到“低耦合”“高內聚”。

(二)數(shù)據計算

以內蒙古公共機構能耗評價為例，基于本文設計的系統(tǒng)，第一步對內蒙古各個盟市旗縣近十年的日平均氣溫使用kmeans算法進行聚類[5]，隨機設定3個聚類中心，按照最鄰近原則把待分類樣本點分到各個聚類，然后按平均法重新計算各個聚類的中心，從而確定新的聚類中心。一直迭代，同時依據各盟市的年平均氣溫，最終得到內蒙古自治區(qū)的三個分區(qū)及溫度系數(shù)，分別為極寒區(qū)、寒冷區(qū)A、寒冷區(qū)B。第二步對公共機構類型進行分類。采用“初步匹配和精細聚類”兩步策略，首先對所有公共機構的機構名稱進行相似性匹配，然后在匹配結果的基礎上，以機構的建筑面積、用能人數(shù)及用能種類為數(shù)據特征進行聚類分析，最終得出四個一級分類及十個二級分類。

依據前兩步計算結果，目前已經為所有機構制作了三級標簽，分別為溫度區(qū)、一級行業(yè)分類和二級行業(yè)分類。綜合考慮公共機構所處氣候區(qū)、行業(yè)特點、規(guī)模大小等對用能規(guī)律的影響，基于本文設計公共機構能耗評價系統(tǒng)，使用已制定出不同分類的公共機構能耗定額算法，依據算法要求計算機構能耗得出最終的定額標準結果。表2為內蒙古自治區(qū)教育機構(一級行業(yè)分類)能耗定額標準計算結果。

表2 內蒙古自治區(qū)教育機構單位面積能耗指標

本文依據公共機構能源數(shù)據的特點，設計了具有針對性的數(shù)據預處理流程與方法，以及一種讀寫性能高、橫向擴展便捷的分布式NoSQL 存儲方式；本文設計了基于Hadoop的能耗大數(shù)據分析平臺架構，在滿足能耗算法的并行高效計算要求的基礎上，為后期的數(shù)據可視化展示、機構的能耗監(jiān)測管理等功能提供了可靠的運行基礎；最后基于本文設計的系統(tǒng)，根據內蒙古自治區(qū)地理及公共機構用能類型特征，提出了使用溫度聚類及兩步策略的行業(yè)分類方法，通過實例驗證了本文設計的公共機構能耗分析與評價系統(tǒng)的可行性。