基于Hadoop分布式支持向量機球磨機大數(shù)據建模

高學偉,付忠廣,孫力,張剛(.沈陽工程學院 仿真中心,遼寧 沈陽 036；.華北電力大學 電站設備狀態(tài)監(jiān)測與控制教育部重點實驗室,北京 006)

?

基于Hadoop分布式支持向量機球磨機大數(shù)據建模

高學偉1,2,付忠廣2,孫力1,張剛1
(1.沈陽工程學院 仿真中心,遼寧 沈陽 110136；2.華北電力大學 電站設備狀態(tài)監(jiān)測與控制教育部重點實驗室,北京 102206)

大數(shù)據時代環(huán)境下，火電廠大量數(shù)據被存儲到數(shù)據庫中而不能被充分利用，由于雙進雙出鋼球磨煤機系統(tǒng)的復雜性，很難建立其準確的機理數(shù)學模型，為此提出一種基于大數(shù)據挖掘的建模方法.首先分析影響磨煤機料位的因素，提取現(xiàn)場海量的實際運行數(shù)據，在Hadoop平臺下利用K-Means聚類算法刪除離群點，利用主成分分析法(PCA)降維完成屬性約簡，然后在MapReduce架構上采用分布式支持向量機(D_SVM)建立模型，實現(xiàn)計算并行化.結果表明，采取該方法提高了建模效率，所建立的模型具有很高的精確度，且具有很好的泛化能力，該模型可以用于表征實際料位的特性.

雙進雙出磨煤機；Hadoop平臺；分布式支持向量機；K-Means聚類；主成分分析

磨煤機是火電廠的主要輔機耗電設備,其料位很難直接測量，雙進雙出鋼球磨煤機系統(tǒng)內部過程復雜，是一個強非線性，有時滯和不確定性的系統(tǒng).當前火力發(fā)電廠熱力系統(tǒng)的建模方法主要有機理建模和實驗建模2種，而雙進雙出鋼球磨煤機很難用比較全面地反應各參數(shù)間內在關系的準確機理模型來解釋.文獻[1]利用BP人工神經網絡作為數(shù)據挖掘工具，對雙進雙出球磨機的煤粉磨制過程進行數(shù)據挖掘建模，并得到設備實際運行狀態(tài)的驗證，但其建模精度并不高.文獻[2-4]通過提取現(xiàn)場數(shù)據針對于普通球磨機和中速磨煤機及其制粉系統(tǒng)的建模研究，文獻[5]與文獻[6]利用現(xiàn)場實驗數(shù)據，采用改進后的最小二乘支持向量機算法建立雙進雙出鋼球磨煤機直吹式制粉出力的軟測量模型.文獻[7-9]利用BP人工神經網絡建立了磨煤機功率和出力的數(shù)學模型，對雙進雙出磨煤機的工作參數(shù)進行了計算，取得較好精度.文獻[10]在建立雙進雙出磨煤機機理模型的基礎上建立了神經網絡模型，并求得混合模型，利用粒子群算法優(yōu)化神經網絡權值從而提高模型的精確度.

大數(shù)據時代環(huán)境下，火電廠裝配著龐大的DCS、SIS等系統(tǒng)，機組的大量實際運行數(shù)據以及熱力設備狀態(tài)參數(shù)被存儲到實時數(shù)據庫及歷史數(shù)據庫中.這些海量數(shù)據蘊涵了豐富的、有價值的知識和規(guī)律，可以用于火電廠決策管理、指導操作人員優(yōu)化運行、故障診斷以及過程控制等方面[11]，但這些知識和規(guī)律現(xiàn)在并沒有被充分的利用，造成了數(shù)據資源的巨大浪費.

針對機理建模和實驗建模過程中存在的問題，海量的運行數(shù)據不能充分利用，所以利用大數(shù)據技術，通過采集歷史運行數(shù)據庫中的數(shù)據，建立燃煤發(fā)電廠主要熱力設備或控制過程的數(shù)學模型，成為該專業(yè)領域研究的一個新的方向[12].本文采取大數(shù)據建模方法，從燃煤發(fā)電廠海量實際運行數(shù)據中提取信息，與Hadoop平臺的Mapreduce架構相結合，在云計算的環(huán)境下建立雙進雙出鋼球磨煤機動態(tài)數(shù)學模型，該模型的成功建立為下一步磨煤機料位的精確控制以及制粉系統(tǒng)的優(yōu)化運行打下良好的基礎.

圖1 雙進雙出磨煤機制粉系統(tǒng)示意Fig.1 Schematic diagram of double inlet and double outlet coal mill system

1 問題描述與特征提取

以某350MW機組BBD4360型雙進雙出鋼球磨煤機為研究對象，其制粉系統(tǒng)如圖1所示，原煤倉中的原煤通過兩側給煤機，經過混料箱進入磨煤機筒體，在筒體內研磨成煤粉，煤粉經過一次風干燥并攜帶進入粗粉分離器，經分離后合格的煤粉直接進入鍋爐爐膛燃燒，顆粒較大的煤粉經回粉管返回磨煤機重新研磨.料位直接反映磨煤機進出口煤量的平衡狀態(tài)，是影響磨煤效率的關鍵因素，電廠運行人員主要通過調整給煤量以及入口一次熱風和冷風量來實現(xiàn)制粉系統(tǒng)的控制，完全是根據個人的運行經驗，很難達到制粉系統(tǒng)的精確控制.而影響料位的因素還有很多，通過分析運行過程中DCS畫面主要監(jiān)測和調整的參數(shù)，根據理論研究和運行經驗選取磨煤機料位作為建模輸出變量，選取磨煤機左右兩側的給煤量，入口一次風量及風壓，磨煤機電流和出口溫度，以及旁路一次風量等11個變量通過數(shù)據預處理作為模型的輸入變量.從SIS系統(tǒng)數(shù)據庫中提取20 974條記錄，作為下一步數(shù)據挖掘建模的原始數(shù)據.

2 數(shù)據預處理

球磨機生產運行過程中的工作環(huán)境惡劣，原始運行數(shù)據庫中易存在異常的數(shù)據，且各個參數(shù)間相互耦合，相互影響，具有強相關性，若將以上11個變量均作為模型的輸入，將嚴重影響建模速度，所建立的SVM模型復雜，且容易出現(xiàn)過擬合問題.針對所采集的磨煤機原始數(shù)據，首先采用基于MapReduce框架的K-Means聚類算法進行聚類分析，采取歐氏距離作為距離函數(shù)，計算每個樣本數(shù)據到聚類中心的距離，找出離群的樣本數(shù)據點，達到刪除異常值的目的.然后采用主成分分析法對數(shù)據進行規(guī)約降維，將降維后的數(shù)據作為下一步模型的輸入，減少模型參數(shù)的同時，能夠避免過擬合，降低模型復雜度.

2.1 K-Means聚類算法

數(shù)據預處理中的異常檢測是用來發(fā)現(xiàn)不與其他的樣本對象強相關的部分，而聚類分析是用來查找局部強相關的樣本對象組，因此可以用聚類分析來進行離群數(shù)據點的檢測[13].

K-Means聚類較好地局部性使它能很好地被并行化，Hadoop系統(tǒng)是一個分布式存儲和并行計算系統(tǒng)，MapReduce框架通過有效管理和調度集群的節(jié)點來實現(xiàn)并行化程序的執(zhí)行和數(shù)據處理[14]，用MapReduce實現(xiàn)K-Means算法并行化主要分為3個階段[15]：首先是生成簇過程的并行化，各個從節(jié)點分別讀取分布存儲在各自節(jié)點的數(shù)據集，生成簇集合，用若干簇集合生成第一次迭代的全局簇集合，重復這個過程直到滿足結束條件；然后用之前得到的簇進行聚類操作，數(shù)據點在map階段讀出位于本地的數(shù)據集，輸出每個點及其對應的簇；最后combiner 操作對位于本地包含在相同簇中的點進行 reduce 操作并輸出，得到全局簇集合，按照最終的聚類中心劃分數(shù)據.

由于數(shù)據量巨大且篇幅有限，本文僅以輸入變量中的左側給煤量為例，如圖2所示為左側給煤量的離群點檢查示意圖.

2.2 主成分分析

屬性規(guī)約通過屬性合并創(chuàng)建新屬性維數(shù)，或者直接通過刪除不相關的屬性維數(shù)來減少數(shù)據維數(shù)，從而提高數(shù)據挖掘效率.主成分分析 (PCA,principal component analysis) 算法是將多個指標轉化為幾個少數(shù)綜合指標，識別最重要的幾個特征，可以降低數(shù)據的復雜性，適用于數(shù)值型數(shù)據的約簡，是一種基于多元統(tǒng)計分析的特征提取和數(shù)據降維算法[16].其基本原理是在有一定相關關系的n維參數(shù)的m組數(shù)據樣本點所構成的數(shù)據陣列的基礎上，通過建立較小數(shù)目的綜合變量，使其更集中地反映原來n維參數(shù)中所包含的變化信息，通過數(shù)據集的協(xié)方差矩陣及其特征值分析，可以求得主成分的值，通過將數(shù)據乘上最大的前N個值的特征向量轉換到新的空間，從而達到屬性規(guī)約的目的.

本文采用PCA算法對上述經過離散點檢測后的數(shù)據再進行屬性規(guī)約，達到數(shù)據降維的目的.經過 PCA降維后的運行結果如圖3所示.

圖2 基于K-Means聚類的離散點檢測Fig.2 Discrete side inspection based on K-Means clustering

圖3 主成分分析累積貢獻率Fig.3 Cumulative contribution rate of PCA

從圖3中分析結果可以看出，前4個主成分的累積貢獻率達到90.24%，因此選取前4個主成分時，四維數(shù)據占了原始數(shù)據的90%以上的信息，而數(shù)據的維數(shù)卻大大降低了.

上述離散點檢測過程可以提高模型輸入輸出數(shù)據的質量，提高模型精度，屬性規(guī)約過程可以降低數(shù)據維數(shù)從而縮減建模所需要的時間，使數(shù)據更好地滿足下一步的建模過程.

3 分布式支持向量機(D_SVM)建模

面對海量數(shù)據進行大數(shù)據建模，傳統(tǒng)的數(shù)據挖掘方法以及機器學習算法很難做到在可接受的運算時間內完成建模任務，而在Hadoop云計算平臺上構建分布式支持向量機算法(D_SVM，Distributed support vector machine)，該算法是基于MapReduce 分布式計算框架的，與傳統(tǒng)SVM算法相比，其在處理大數(shù)據集上具有很高的加速比，且可擴展性較好，應用D_ SVM算法，可以高效的完成大數(shù)據的訓練尋優(yōu)建模任務[17-19].

基于Hadoop 云平臺的D_SVM算法與傳統(tǒng)單機 SVM 算法在訓練時間上相比較，當訓練樣本較少時，D_SVM 算法的訓練時間與單機 SVM 算法相比相差不太多，但是隨著訓練數(shù)據樣本記錄條數(shù)的增加，單機SVM 算法的訓練時間呈現(xiàn)指數(shù)級的上升趨勢，當訓練數(shù)據集的樣本數(shù)目相同的情況下，單機的 SVM 算法在訓練時間上要遠遠高于基于Hadoop 云平臺的D_SVM 算法，且隨著訓練樣本數(shù)目的增多，時間增加越明顯，對比效果如圖4所示.

圖4 單機SVM算法與基于Handoop平臺的D_SVM算法訓練時間對比Fig.4 Comparison of training time between single machine SVM algorithm and D_SVM algorithm on Hadoop platform

基于 Hadoop 云平臺D_SVM 算法的實現(xiàn)過程如圖5所示，其主要過程首先向Hadoop云平臺提交作業(yè)，然后通過用戶自定義的 map 函數(shù)和 reduce 函數(shù)實現(xiàn)來Map過程和 Reduce過程，最后輸出結果[20].而用支持向量機回歸實現(xiàn)模型的建立和評價，可分為以下4個步驟，如圖6所示.

本文選擇經過數(shù)據預處理之后19 186條數(shù)據記錄，隨機選取18 000條數(shù)據作為訓練集，剩下的1 186條數(shù)據作為測試集對模型進行評價.由于各變量變化區(qū)間差異很大，建模前先對數(shù)據進行歸一化，轉化公式為

(1)

其中，x為輸入數(shù)據原始值，x′為原始數(shù)據映射到[0，1]空間內的值，max(x)、min(x)分別為x在整個數(shù)據空間上的極大值和極小值.

支持向量機回歸核函數(shù)類型的選擇對模型的性能影響很大，本文選擇RBF核函數(shù)，其表達式為

(2)

圖5 基于Hadoop云平臺的分布式SVM算法的Map和Reduce過程示意Fig.5 Schematic diagram of Map and Reduce process of distributed SVM algorithm based on Hadoop cloud platform

圖6 支持向量機回歸建模流程示意Fig.6 Schematic diagram of modeling process

支持向量機建立模型需要尋找最優(yōu)的懲罰系數(shù)C和核函數(shù)參數(shù)g，本文利用網格搜索交叉驗證方法進行尋優(yōu)得到全局最優(yōu)解.在尋優(yōu)過程中C和g相互獨立，便于進行并行化運算，所以可以利用MapReduce對模型進行訓練.首先將所有的C和g寫入文件中，每行一組參數(shù)上傳到Hadoop云平臺上，然后將訓練集作為輸入，所有的C和g參數(shù)對讀入到list中，在Map階段，把輸入樣本數(shù)據作為value，list中每組C和g參數(shù)對作為key輸出，在Reduce階段，Hadoop按照key排序，將key相同的數(shù)據放在同一機器上，把解析出來的參數(shù)以及整理好的數(shù)據進行訓練，輸出最優(yōu)的C和g參數(shù)對，然后利用最優(yōu)的C和g訓練模型.本文輸出的懲罰系數(shù)C為0.35，核函數(shù)參數(shù)g為4.73，所建立的預測模型的預測值和真實值對比如圖7所示，然后利用測試集測試所建立的模型，測試結果如圖8所示.從圖7、8中可以看出訓練集和測試集的均方誤差MSE分別為0.007 5和0.008 9，這表明所建立的模型正確率很高，而決定系數(shù)R2分別為0.862和0.806，表明模型同樣具有非常好的泛化能力.所以上述建模方法完全可以用于燃煤電廠球磨機動態(tài)模型的建立.

4 結論

給出一種大數(shù)據建模方法，利用燃煤電廠實際運行數(shù)據，通過數(shù)據挖掘方法，建立了制粉系統(tǒng)球磨機的動態(tài)數(shù)學模型.采用并行的K-Means聚類算法刪除離散值，采用主成分分析法完成屬性約減，保證了模型輸入數(shù)據質量，從而提高了建立模型的效率和精度.采用基于Hadoop云計算平臺的D_SVM算法對模型參數(shù)尋優(yōu)過程進行并行化操作，可以大幅縮短建模過程中的訓練時間.建立的最終模型正確率較高，泛化能力強，可以很好地反映磨煤機的動態(tài)運行特性，為下一步磨煤機精確控制以及制粉系統(tǒng)的優(yōu)化運行打下了良好的基礎，從而可以達到提高制粉系統(tǒng)出力以及磨煤機節(jié)能的目的.

圖7 訓練集預測結果對比Fig.7 Comparison of training set prediction results

圖8 測試集預測結果對比Fig.8 Comparison of test set prediction results

[1] 劉福國.基于數(shù)據挖掘的鋼球磨煤機運行特性建模和優(yōu)化[J].煤炭學報，2010，35(5):850-854.DOI:10.13225/j.cnki.jccs.2010.05.035. LIU F G.Performance modeling and optimization of ball mill based on data mining [J].Journal of China Coal Society,2010,35(5),850-854.DOI:10.13225/j.cnki.jccs.2010.05.035.

[2] 張小桃,倪維斗,李政，等.基于現(xiàn)場數(shù)據的中速磨煤機動態(tài)建模研究[J].熱能動力工程,2004,19(6)：614-616.DOI:10.3969/j.issn.1001-2060.2004.06.016. ZHANG X T,NI W D,LI Z,et al.A study of the dynamic modeling of a medium speed pulverizer based on on-site data[J].Journal of Engineering for Thermal Energy and Power,2004,19(6)：614-616.DOI:10.3969/j.issn.1001-2060.2004.06.016.

[3] 劉定平,肖蔚然.應用最小二乘支持向量機和混合遺傳算法的制粉系統(tǒng)優(yōu)化控制[J].動力工程,2007,27(5),728-731.DOI:10.3321/j.issn:1000-6761.2007.05.016. LIU D P,XIAO W R.Optimizing control of pulverizing system based on least square supported vector machine and hybrid genetic algorithms [J].Journal of Power Engineering,2007,27(5)：728-731.DOI:10.3321/j.issn:1000-6761.2007.05.016.

[4] 胡吉.火電廠中速磨煤機制粉系統(tǒng)仿真建模[D].武漢：華中科技大學,2005. HU J.Simulation and modeling of medium speed mill of coal pulverizing system in power plant [D].Wuhan:Huazhong University of Science and Technology,2005.

[5] 馮磊華.雙進雙出鋼球磨煤機直吹式制粉系統(tǒng)建模及控制[D].長沙:中南大學,2012. FENG L H.Modeling and control of direct fired pulverized coal injection system with double inlet and double outlet ball mill[D].Changsha:Central South University,2012.

[6] 馮磊華,桂衛(wèi)華,楊鋒.改進LS-SVM的直吹式制粉出力軟測量建模[J].電機與控制學報,2011,15(11)：79-82.DOI:10.3969/j.issn.1007-449X.2011.11.014. FENG L H,GUI W H,YANG F.Soft sensor modeling for mill output of direct fired system based on improved least squares support vector machines [J].Electric Machines and Control,2011,15(11)：79-82.DOI:10.3969/j.issn.1007-449X.2011.11.014.

[7] 姚樹建.雙進雙出鋼球磨煤機優(yōu)化技術應用研究[D].長春:吉林大學,2005. YAO S J.The Study of the optimization technique application on the BBD Mill [D].Changchun:Jilin University,2005.

[8] 常綠,楊濤,姚樹建,等.基于神經網絡和遺傳算法的磨煤機結構和工作參數(shù)的優(yōu)化[J].熱能動力工程,2007,22(1)：69-72.DOI:10.3969/j.issn.1001-2060.2007.01.017. CHANG L,YANG T,YAO S J,et al.Optimization of structural and operating parameters of a ball mill based on a neural network and genetic algorithm[J].Journal of Engineering for Thermal Energy and Power,2007,22(1)：69-72.DOI:10.3969/j.issn.1001-2060.2007.01.017.

[9] 張繼東,唐國華,姚樹建,等.基于神經網絡算法計算雙進雙出磨煤機工作參數(shù)的研究[J].熱力發(fā)電,2007,5：23-25.DOI:10.3969/j.issn.1002-3364.2007.05.006. ZHANG J D,TANG G H,YAO S J,et al.Study on calculation operating parameters of coal pulverize wish double inlet and double outlet based on neural network[J].Thermal Power Generation,2007,5：23-25.DOI:10.3969/j.issn.1002-3364.2007.05.006.

[10] 曹俠.基于神經網絡的雙進雙出磨煤機混合模型研究[D].沈陽:沈陽工業(yè)大學,2008. CAO X.Study on hybrid model of BBD ball mill based on neural network [D].Shenyang:Shenyang University of Technology，2008.

[11] 萬祥,胡念蘇,韓鵬飛,等.大數(shù)據挖掘技術應用于汽輪機組運行性能優(yōu)化的研究[J].中國電機工程學報,2016,36(2)：459-467.DOI:10.13334/j.0258-8013.pcsee.2016.02.017. WAN X,HU N S,HAN P F,et al.Research on application of big data mining technology in performance optimization of steam turbines[J].Proceedings of the CSEE,2016,36(2)：459-467.DOI:10.13334/j.0258-8013.pcsee.2016.02.017.

[12] 高學偉,付忠廣.基于大數(shù)據分析的雙進雙出鋼球磨煤機建模研究[J].煤炭技術,2016,35(12)：267-270.DOI:10.13301/j.cnki.ct.2016.12.102. GAO X W,FU Z G.Research on modeling of double inlet and double outlet ball mill based on big data analysis[J].Coal Technology,2016,35(12)：267-270.DOI:10.13301/j.cnki.ct.2016.12.102.

[13] 張良均,楊坦,肖鋼,等.MATLAB數(shù)據分析與挖掘實戰(zhàn)[M].北京:機械工業(yè)出版社,2015.

[14] 黃宜華,苗凱翔.深入理解大數(shù)據：大數(shù)據處理與編程實踐[M].北京:機械工業(yè)出版社,2014.

[15] 張亞楠.基于Hadoop云計算平臺的聚類算法并行化研究[D].包頭:內蒙古科技大學,2013. ZHANG Y N.Research on parallel clustering algorithm based on hadoop cloud computing platform[D].Baotou:Inner Mongolia University of Science and Technology,2013.

[16] 齊敏芳,付忠廣,景源,等.基于信息熵與主成分分析的火電機組綜合評價方法[J].中國電機工程學報,2013,33(2)：58-64. QI M F,FU Z G,JING Y,et al.A comprehensive evaluation method of power plant units based on information entropy and principal component analysis[J].Proceedings of the CSEE,2013,33(2)：58-64.

[17] 雷學智.云計算平臺下分布式支持向量機在煤炭行業(yè)分類預測應用[J].煤炭技術,2013,32(11)：248-250.DOI:10.3969/j.issn.1008-8725.2013.11.130. LEI X Z.Application of distributed support vector machine based on cloud platform in coal system[J].Coal Technology,2013,32(11)：248-250.DOI:10.3969/j.issn.1008-8725.2013.11.130.

[18] ?？?基于Hadoop云平臺的分布式支持向量機研究[D].太原:山西師范大學,2014. NIU K.Research of distributed support vector machine (SVM) based on Hadoop cloud platform[D].Taiyuan:Shanxi Normal University,2014.

[19] 崔文斌,溫孚江,牟少敏,等.基于Hadoop的局部支持向量機[J].計算機研究與發(fā)展,2014,51 (S)：116-121. CUI W B,WEN F J,MOU S M,et al.Local support vector machine based on handoop[J].Journal of Computer research and development,2014,51(S)：116-121.

[20] 張奕武.基于Hadoop分布式平臺的SVM算法優(yōu)化及應用[D].中山：中山大學,2012. ZHANG Y W.Optimization and application of svm algorithm based on hadoop distributed platform [D].Zhongshan:Zhongshan University,2012.

(責任編輯：孟素蘭)

Big data modeling of ball mill based on distributed support vector machine on Hadoop platform

GAO Xuewei1,2,FU Zhongguang2,SUN Li1,ZHANG Gang1
(1.Simulation Center,Shenyang Institute of Engineering,Shenyang 110136,China;
2.Key Laboratory of Condition Monitoring and Control for Power Plant Equipment of Ministry of Education,North China Electric Power University,Beijing 102206,China)

In the era of big data environment,a large amount of data in thermal power plant is stored in the database and cannot be fully utilized.Because of the complicated process of the double inlet and double outlet mill system,the mathematical model is difficult to build.A method of modeling based on data mining is presented.The actual operation big data which impact the coal mill material is extracted.First, theK-Means clustering is used to delete outliers,and then the principal component analysis(PCA) is used to complete attribute reduction,at last the distributed support vector machine(D_SVM) is used to build a model on the Hadoop platform in MapReduce framework for the parallel computation.The results show that modeling time is greatly reduced due to the use of the method,and the accuracy and applicability of the model are very high. Therefore the model can be used to represent the actual material properties.

double inlet and double outlet mill;Hadoop platform;D_SVM;K-Means clustering;principal component analysis

2016-04-05

沈陽工程學院科技基金資助項目(LGQN-1051)；遼寧省教育廳創(chuàng)新團隊項目(LT2015018)

高學偉(1982—)，男,河北石家莊人，沈陽工程學院工程師，華北電力大學在讀博士，主要從事電站機組運行優(yōu)化與復雜熱力系統(tǒng)建模仿真研究.E-mail：gxw82425@163.com

10.3969/j.issn.1000-1565.2017.03.014

TP399

A

1000-1565(2017)03-0309-07