一種基于Adaboost和變量篩選的LSSVM工程造價估計方法

黃文濤，周 萍，程錦翔

(1.東南大學 電氣工程學院，江蘇 南京 210096；2.建業(yè)恒安工程管理股份有限公司，江蘇 江陰 214400；3. 南京航空航天大學 機電學院，江蘇 南京 210016)

一種基于Adaboost和變量篩選的LSSVM工程造價估計方法

黃文濤1，周 萍2，程錦翔3

(1.東南大學 電氣工程學院，江蘇 南京 210096；2.建業(yè)恒安工程管理股份有限公司，江蘇 江陰 214400；3. 南京航空航天大學 機電學院，江蘇 南京 210016)

為了實現(xiàn)利用較少的工程信息，快速準確的估計出工程項目的造價，提出了一種基于Adaboost-VIP的工程造價估計方法。首先采用變量投影重要性指標(variable importance in projection, VIP)法對影響工程造價的多個因素進行特征提取，然后利用最小二乘支持向量機作為非線性逼近器，建立工程造價的估計模型。為了進一步提高模型的估計精度，將自適應(yīng)提升算法(Adaboost)與VIP相結(jié)合，利用Adaboost將多個弱造價估計模型進行集成，得到強造價估計模型。同時將該方法應(yīng)用到建筑案例中，結(jié)果表明：VIP方法能有效地對影響因素進行篩選，簡化模型結(jié)構(gòu)；Adaboost-VIP模型與單一的工程造價估計模型相比，具有更高的估計性能。

道路工程；工程造價；自適應(yīng)提升法；變量投影重要性指標；最小二乘支持向量機

0 引 言

在項目建設(shè)前期，快速、準確地估算出工程項目的造價，可以為工程的分析、評估、決策以及科學有效地控制工程成本、提高投資效益提供技術(shù)支持和保障。但由于工程造價受多個因素影響，因素之間存在相互制約，且許多因素存在較大的不確定性，使得工程造價的估計模型具有非線性、多變量、強耦合的特性，模型難以建立。因此如何挖掘構(gòu)建估計模型的重要因素以及研究新型的估計技術(shù)具有重要的意義。

目前常見的工程造價估計方法有很多。傳統(tǒng)方法有定額法、類比法，回歸分析法等[1]。定額法是通過編制預(yù)算文件進行估算，時間長、程序繁雜；類比法利用類比工程的相似性來確定工程造價，精度較差；回歸分析法是一種線性建模方法，無法表征估計模型的非線性特性?？梢姡瑐鹘y(tǒng)的工程造價估算方法難以滿足造價管理的需求。

隨著計算機和非線性建模理論的發(fā)展，一些新的估計技術(shù)不斷出現(xiàn)。魏道升等[2]，楊華龍等[3]提出的基于灰色預(yù)測的工程造價方法，能夠在小樣本工況下做出準確預(yù)測，在較短時間內(nèi)預(yù)測樣本的變化趨勢，解決樣本預(yù)測的不等時序問題，但在灰色預(yù)測模型求解中，生成一次累加序列的緊鄰權(quán)重系數(shù)設(shè)定單一，沒有理論依據(jù)；劉婧等[4]，王建茹[5]采用神經(jīng)網(wǎng)絡(luò)方法對工程造價進行估計，具有較強的非線性逼近能力，但訓(xùn)練需要大量的樣本且易于陷入局部最優(yōu)；舒雋等[6]，胡慶國等[7]采用極限學習機方法對電力線路和高速公路造價進行估計，相對于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)，具有訓(xùn)練速度快、權(quán)重范數(shù)小、泛化性能強的優(yōu)點，但在如何選擇合適的參數(shù)來控制模型復(fù)雜性方面的研究尚有欠缺；周建永[8]，郝寬勝等[9]提出最小二乘支持向量機方法，克服了傳統(tǒng)方法依賴大樣本要求，能夠在訓(xùn)練樣本較少的情況下，獲得較好的估計效果，相比支持向量機，訓(xùn)練時間短，目前在電機、電力、發(fā)酵等領(lǐng)域得到了廣泛應(yīng)用。

另外估計模型中關(guān)鍵因素的篩選至關(guān)重要。冗余信息的剔除和壓縮能夠降低模型的復(fù)雜度，提高模型估計精度。黃崇等[10]，段曉晨等[11]利用PCA對影響因素進行主成分分析，以組合變量代替原始變量，降低了數(shù)據(jù)維度，但PCA是一種常用的無監(jiān)督算法，在進行特征提取時易導(dǎo)致樣本間有用類別信息丟失，且組合后的變量對于工程造價模型失去了物理意義，不易于后期工程造價成本的直接優(yōu)化控制；彭麗群等[12]采用貢獻分析的方法，減少了影響因素個數(shù)，但該方法依賴神經(jīng)網(wǎng)絡(luò)權(quán)值的變化，而由于神經(jīng)網(wǎng)絡(luò)權(quán)值的初始化具有隨機性，使得篩選出的影響因素不固定。

針對上述問題，在最小二乘支持向量機基礎(chǔ)上，筆者提出了一種基于Adaboost-VIP的工程造價估計方法。主要思想是通過變量投影重要性指標方法對影響因素進行特征提取，利用最小二乘支持向量機作為非線性逼近器，建立工程造價估計模型。同時為進一步提高上述模型估計精度，將Adaboost與VIP相結(jié)合，得到工程造價強估計模型。仿真結(jié)果表明,所提方法估計精度高，具有一定實際應(yīng)用價值。

1 變量投影重要性指標

變量投影重要性指標反映自變量在解釋因變量作用時的重要性[13]。第i個自變量的表達式為

(1)

式中：k為自變量個數(shù)；whi為自變量xi在主成分上的權(quán)重，即軸wh的第i個分量；th為得分矩陣T的第h個列分量；Rd(Y；th)為第h個主元對Y的解釋能力。

換而言之，Vvip的值是PLS權(quán)重系數(shù)的加權(quán)平方和，其考慮了PLS的每一個主元的方差貢獻率。Vvip,i值選取將按文獻[14]進行選取。

2 Adaboost-LSSVM算法

Adaboost是一種迭代提升算法，基本思想是把多個不同的弱估計器加以集成，構(gòu)成一個強估計器[15]。筆者首先通過VIP對影響工程造價的因素進行篩選，得到最優(yōu)影響變量，同時利用LSSVM建立估計模型。Adaboost-LSSVM算法是以LSSVM建立的模型作為弱估計器，然后通過Adaboost算法得到由多個弱估計器組成的強估計器，從而實現(xiàn)對工程造價的多模型估計，提高模型估計精度。具體算法流程如下：

Step 1： 訓(xùn)練集樣本{(x1,y1),(x2,y2),…,(xm,ym)}，其中xi為樣本點，yi為對應(yīng)估計值，確定LSSVM作為弱估計器；確定判斷預(yù)報值正確與否的閾值φ(0<φ<1)，假定進行T次循環(huán)迭代，初始化迭代次數(shù)t=1；

Step 2： 當t=1時，初始化訓(xùn)練數(shù)據(jù)的權(quán)重分布Dt(i)=1/m，并根據(jù)輸入輸出維數(shù)，確定LSSVM的結(jié)構(gòu)，初始化誤差εt；

Step 3： 依據(jù)訓(xùn)練數(shù)據(jù)權(quán)重分布訓(xùn)練LSSVM弱估計器，建立估計模型ft(x)→y，然后計算訓(xùn)練集誤差：

(2)

計算ft(x)的誤差率：

(3)

(4)

式中：Zt為標準化因子；同時更新迭代次數(shù)t=t+1。

Step 5： 若t≤T，返回Step 2；否則執(zhí)行Step 6。

Step 6： 組合強估計器：

(5)

3 工程造價估計模型構(gòu)建

影響工程造價的因素有很多，如何篩選影響最大的因素至關(guān)重要。傳統(tǒng)方法通常采用PCA，但PCA是對原始因素的線性組合，得到的變量失去了變量本身實際的物理意義，對工程造價的控制帶來了困難。因此，筆者采用VIP原理對影響因素進行篩選，計算各個因素對工程造價的Vvip值，通過與閾值比較，篩選出最優(yōu)建模變量。

將優(yōu)選的數(shù)據(jù)作為新輸入集，進行歸一化處理，同時利用LSSVM構(gòu)建工程造價估計模型。在此過程中，Adaboost算法通過不斷分配訓(xùn)練樣本，訓(xùn)練得到不同的弱估計模型，然后根據(jù)權(quán)重比例將各弱估計模型進行集成，得到最終的強估計器。模型構(gòu)建原理如圖1。

圖1 模型構(gòu)建原理Fig.1 Principle of constructing models

4 實驗驗證

4.1 數(shù)據(jù)描述

筆者選取21組特征較為相似的建設(shè)工程為樣本[5]。經(jīng)過數(shù)據(jù)檢驗和分析發(fā)現(xiàn)在這些實例中的分項工程(如基礎(chǔ)工程、砌筑工程、門窗工程、裝修工程、地面工程和安裝工程等)占總造價比例相對較大，其中工程類別、建筑面積、混凝土供應(yīng)方等因素對工程造價的影響較大。因此，選取工程等級、混凝土供應(yīng)方、基礎(chǔ)類型、樁基、建筑層數(shù)、門窗工程、砌筑工程、內(nèi)墻裝飾、外墻裝修、地面工程、天棚裝飾、安裝工程、建筑面積等13個工程指標作為影響工程造價的主要因素，其中定量指標為建筑層數(shù)以及建筑面積，其余為定性指標。對于定性指標需要進行量化處理，量化原則如表1，量化后的數(shù)據(jù)如文獻[5]，其中10組為訓(xùn)練數(shù)據(jù)，另外11組為測試數(shù)據(jù)。

表1 定性指標的量化處理

4.2 實驗結(jié)果與分析

上述案例中，所選的13個影響工程造價的關(guān)鍵因素都是根據(jù)經(jīng)驗選取，相互之間可能存在高度耦合，理論性不高。為了選擇對工程造價影響最大的因素以及同時降低估計模型的復(fù)雜度，筆者使用基于Adaboos-VIP的工程造價估計方法。

4.2.1 數(shù)據(jù)處理

為了避免處于不同數(shù)量級的影響因素對模型建立的干擾，需要對影響因素進行歸一化處理，歸一化公式如式(6)：

(6)

式中：x′為歸一化后的數(shù)據(jù)；xmax，xmin分別對應(yīng)各輸入影響因素的最大值和最小值。

4.2.2 計算變量投影重要性指標

根據(jù)VIP理論，利用MATLAB編寫程序，計算出每個影響因素的Vvip值，同時將其按從大到小的順序排序，結(jié)果如圖2。圖2中直方圖上數(shù)字為工程特征編號，虛線標識處為優(yōu)化的Vvip閾值參考線。

圖2 Vvip值排序Fig.2 Sorting of Vvip

4.2.3 優(yōu)化Vvip閾值

通常Vvip理論值為1，但由于該原則約束性較強，根據(jù)此原則篩選出的影響因素缺乏全面性，所建模型估計精度不高。利用文獻[14]中的改進方法，對Vvip閾值進行優(yōu)化，優(yōu)化過程中G作為敏感性和特異性的平方根在[0 1]的范圍內(nèi)變化，Vvip值則在0和理論值1之間變化，G和Vvip隨模型輸入變量數(shù)目的變化而變化，優(yōu)化過程結(jié)果如圖3。其中G越接近1，則說明建模效果越高，此時G=0.936 8，對應(yīng)的Vvip=0.47，輸入變量為9。

圖3 Vvip閾值優(yōu)選Fig.3 Optimization of Vvip threshold values

4.2.4 建立模型

由圖3可知，在優(yōu)選Vvip閾值0.47的作用下，優(yōu)選出9個變量分別為：建筑面積、安裝工程、工程類別、建筑層數(shù)、地面工程、門窗工程、樁基、外墻裝修、混凝土供應(yīng)方。與經(jīng)驗常識中將建筑面積，工程級別以及樓層高度等作為主要影響因素一致，說明該方法篩選的影響因素可靠性高。利用上述變量構(gòu)建造價估計模型。筆者選擇10組弱估計器，LSSVM進行非線性建模。建模過程中，由于LSSVM模型的估計性能和泛化能力與模型超參數(shù)：核參數(shù)寬度c和正則化參數(shù)g有很大關(guān)系，為此，采用交互驗證方法對每一個弱估計器參數(shù)進行優(yōu)化，結(jié)果如表2。

表2 模型優(yōu)化參數(shù)

對表2中10組弱估計模型，利用Adaboost算法對不同模型進行權(quán)重分析集成，得到最終的強估計器。以11組數(shù)據(jù)作為測試數(shù)據(jù)，估計誤差絕對值如圖4。由圖4可知，經(jīng)Adaboost集成后的工程造價強估計器，比單一的估計器具有較高的估計精度，且估計穩(wěn)定，誤差變化較為平穩(wěn)，基本集中在100萬上下波動。其中測試樣本3，4，5，6的估計誤差較低，雖樣本9估計誤差與單一模型估計誤差基本接近，但強估計器的總體誤差優(yōu)于單一估計模型，精度得到了提高。

圖4 估計誤差絕對值Fig.4 Absolute value of estimation error

5 結(jié) 論

針對目前工程造價模型影響因素多而耦合，非線性程度高，單一模型精度低的特點，筆者提出了一種基于Adaboost-VIP的工程造價估計方法。該方法解決了以下幾點問題：

1)通過計算各影響因素對工程造價的Vvip值，確定最優(yōu)影響因素，使得影響因素的選擇既具有理論依據(jù)，又能符合實際經(jīng)驗。

2)傳統(tǒng)工程造價智能估計模型，往往建立在大量數(shù)據(jù)驅(qū)動的基礎(chǔ)上，而實際案例數(shù)據(jù)采集有限，屬于小樣本數(shù)據(jù)。LSSVM適用于小樣數(shù)據(jù)的建模，利用LSSVM建模增加模型的可靠性。

3)針對單一工程造價估計模型估計精度不足的問題，筆者利用Adaboost提升算法對不同工程造價估計模型進行集成，實現(xiàn)工程造價的多模型估計，提高了精度。

4)實際案例仿真結(jié)果表明，所提方法由于影響因素進行了理論篩選，與傳統(tǒng)的模型相比結(jié)構(gòu)上更為簡單。同時通過Adboost算法提升，與單一的模型精度相比精度有所提高，估計結(jié)果符合實際，具有一定的應(yīng)用價值。

[1] 劉潔．基于屬性約束的公路造價優(yōu)化控制方法研究與仿真[J]．科技通報,2014,30(2):38-40． LIU Jie. Highway cost optimization control method and simulation based on the attribute constraints[J].BulletinofScienceandTechnology, 2014, 30(2): 38-40.

[2] 魏道升,李淑燕．基于灰色關(guān)聯(lián)分析的工程造價控制[J]．重慶交通大學學報(自然科學版),2013,32(2):321-324． WEI Daosheng, LI Shuyan. Construction cost control based on grey correlation analysis[J].JournalofChongqingJiaotongUniversity(NaturalScience), 2013, 32(2): 321-324.

[3] 楊華龍,劉金霞,鄭斌．灰色預(yù)測GM(1,1)模型的改進及應(yīng)用[J]．數(shù)學的實踐與認識,2011,41(23):39-46．YANG Hualong, LIU Jinxia, ZHENG Bin. Improvement and application of grey prediction GM(1,1) model[J].MathematicsinPracticeandTheory, 2011, 41(23): 39-46.

[4] 劉婧,葉青．采用BP和RBF神經(jīng)網(wǎng)絡(luò)的廈門市工程造價預(yù)測模型[J]．華僑大學學報(自然科學版),2013,34(5):576-580． LIU Jing, YE Qing. Project cost prediction model based on BP and RBP neural networks in Xiamen city[J].JournalofHuaqiaoUniversity(NaturalScience), 2013, 34(5): 576-580.

[5] 王建茹．基于BP神經(jīng)網(wǎng)絡(luò)的建設(shè)工程造價預(yù)測方法[J]．沈陽建筑大學學報(社會科學版),2014,16(1):42-45． WANG Jianru. Prediction method of construction cost based on BP neural network[J].JournalofShenyangJianzhuUniversity(SocialScience), 2014, 16(1): 42-45.

[6] 舒雋,甘磊．極限學習機方法在電力線路建設(shè)成本估算中的應(yīng)用研究[J]．現(xiàn)代電力,2011,28(4):78-83． SHU Jun, GAN Lei. Research on cost estimation of power lines construction projects based on extreme learning machine method[J].ModernElectricPower, 2011, 28(4): 78-83.

[7] 胡慶國,宋新智．基于優(yōu)化極限學習機的高速公路造價預(yù)測[J]．公路與汽車,2014(2):208-213． HU Qingguo, SONG Xinzhi. Highway construction cost prediction based on optimization of extreme learning machine[J].Highways&AutomotiveApplications, 2014(2): 208-213.

[8] 周建永．支持向量機修正灰色模型在工程價格預(yù)測中的應(yīng)用[J]．科技通報,2013,29(7):147-150． ZHOU Jianyong. Support vector machine grey model in the application of engineering price forecast[J].BulletinofScienceandTechnology, 2013, 29(7): 147-150.

[9] 郝寬勝,張桐林．基于模糊最小二乘支持向量機的建設(shè)工程造價快速預(yù)測方法研究[J]．鐵路工程造價管理,2012,27(3):1-4． HAO Kuansheng, ZHANG Tonglin. Research on project cost fast forecasting method based on the fuzzy least square support vector machine[J].RailwayEngineeringCostManagement, 2012, 27(3): 1-4.

[10] 黃崇,甘國融．基于PCA-BP的高速公路工程造價預(yù)測模型[J]．公路與汽運,2014(5):210-214． HUANG Chong, GAN Guorong. Predicting construction cost model for high-speed road based on PCA-BP[J].Highways&AutomotiveApplications, 2014(5): 210-214.

[11] 段曉晨,郭蘭英,張新寧．新建高鐵工程非線性造價估算方法研究[J]．鐵道學報,2013,35(10):114-122． DUAN Xiaochen, GUO Lanying, ZHANG Xinning. Research on nonlinear estimating methods of whole life-cycle cost for China high-speed railway project [J].JournaloftheChinaRailwaySociety, 2013, 35(10): 114-122.

[12] 彭麗群,張欣莉．基于貢獻分析的神經(jīng)網(wǎng)絡(luò)集成法在工程造價預(yù)測中的研究[J]．經(jīng)營管理者,2009(22): 173-177． PENG Liqun, ZHANG Xinli. Contribution analysis based neural network integration means research in engineering cost prediction[J].Manager’Journal, 2009(22): 173-177.

[13] ZHANG Yonghong, XIA Zhining, QIN Litang, et al. Prediction of blood-brain partitioning: a model based on molecular electronegativity distance vector descriptors[J].JournalofMolecularGraphicsandModelling, 2010, 29(2): 214-220.

[14] CHONG L G, JUN C H. Performance of some variable selection methods when multicollinearity is present[J].ChemometricsandIntelligentLaboratorySystems, 2005, 78(1/2): 103-112.

[15] 姚旭,王曉丹,張玉璽,等．基于AdaBoost和匹配追蹤的選擇性集成算法[J]．控制與決策,2014,29(2):208-214． YAO Xu, WANG Xiaodan, ZHANG Yuxi, et al. Selective ensemble algorithm based on AdaBoost and matching pursuit[J].ControlandDecision, 2014, 29(2): 208-214.

An Estimation Method of Engineering Cost Based on Adaboost and Variable Selection with LSSVM

HUANG Wentao1, ZHOU Ping2, CHENG Jinxiang3

(1. School of Electrical Engineering, Southeast University, Nanjing 210096, Jiangsu, P.R.China; 2. Jianye Heng’an Project Management Incorporated Co., Ltd., Jiangyin 214400, Jiangsu, P.R.China; 3. School of Mechanical & Electrical Engineering, Nanjing University of Aeronautics and Astronautics, Nanjing 210016, Jiangsu, P.R.China)

To realize the fast and accurate prediction of construction engineering cost by using less engineering information, a novel estimation method of engineering cost based on Adaboost-VIP was proposed. Firstly, variable importance in projection (VIP) method was used to extract the multiple factors affecting the engineering cost, and then least squares support vector machine (LSSVM) was used as a nonlinear approximation to establish the estimation model of engineering cost. In order to further improve the estimation precision of the model, Adaboost method was combined with VIP. Some weak predictors were integrated by Adaboost and then a strong predictor was obtained. Meanwhile, the method was applied to the case study of construction. The results indicate that: variable importance in projection method can effectively choose the key influence factors and simplify the structure of the model; compared with the single engineering cost estimation model, the Adaboost-VIP model has higher estimation performance.

highway engineering; engineering cost; Adaboost; variable importance in projection (VIP); least squares support vector machine (LSSVM)

10.3969/j.issn.1674-0696.2016.03.12

2015-05-04；

2015-10-14

江蘇省青年自然科學基金(BK20140538)

黃文濤(1989—)，男，江蘇常熟人，博士研究生，主要從事智能預(yù)測、動態(tài)測量方面的研究。E-mail:hwt109@126.com。

程錦翔(1987—)，男，江蘇興化人，博士研究生，主要從事機電控制方面的研究。E-mail:chengjinxiang528@126.com。

U415;TU723

A

1674-0696(2016)03-054-04