基于Hadoop的工程造價費(fèi)用估算與信息管理系統(tǒng)設(shè)計

蘭溯源

(延安大學(xué)建筑工程學(xué)院，陜西 延安 716000)

隨著我國建筑業(yè)的不斷發(fā)展，工程造價行業(yè)積累了大量的數(shù)據(jù)信息，這些信息的積累，為工程造價信息共享和挖掘奠定了基礎(chǔ)。目前，工程造價行業(yè)還存在一些比較突出的問題，如信息互通困難，使得工程造價單位和管理部門數(shù)據(jù)共享不充分，存在“信息孤島”的現(xiàn)象。同時部分工程造價信息數(shù)據(jù)更新慢，沒有充分體現(xiàn)出其應(yīng)有的價值。如何對這些海量數(shù)據(jù)進(jìn)行存儲和挖掘，提高這些數(shù)據(jù)在工程領(lǐng)域的應(yīng)用效率，成為業(yè)內(nèi)思考和研究的重點。朱淵[1]以輸變電工程為背景，采用Web技術(shù)構(gòu)建了一個可用于輸變電工程造價管理的系統(tǒng)，運(yùn)用該系統(tǒng)工作人員可對工程造價進(jìn)行預(yù)算、及時查看工程進(jìn)度等；周文瓊等[2]采用BIM/BLM構(gòu)建工程決算系統(tǒng)，通過該系統(tǒng)可實現(xiàn)工程決算的可視化。但目前工程造價信息共享不足，“信息孤島”現(xiàn)象依然存在。針對數(shù)據(jù)共享以及考慮到當(dāng)前海量的造價信息存儲、分析問題，本文基于Hadoop架構(gòu)體系構(gòu)建一個可供工程造價行業(yè)查詢工程造價預(yù)算與信息管理的系統(tǒng)，改變當(dāng)前信息共享差、數(shù)據(jù)利用效率低下的狀況，以此為工程造價行業(yè)提供更多有價值的信息，促進(jìn)工程造價行業(yè)的整體發(fā)展。

1 系統(tǒng)角色與需求分析

構(gòu)建工程造價費(fèi)用估算與信息管理系統(tǒng)的目的是利用云計算技術(shù)對工程造價數(shù)據(jù)進(jìn)行挖掘，提高工程造價行業(yè)的信息利用率。根據(jù)設(shè)計目的以及結(jié)合造價行業(yè)的具體業(yè)務(wù)，設(shè)計7種不同的角色，這些角色在該系統(tǒng)中擁有不同的業(yè)務(wù)需求，具體如圖1所示。

圖1 不同角色的業(yè)務(wù)需求分析

從圖1可以看出，工程造價信息管理平臺是以信息的共享和利用為基礎(chǔ)的。信息管理平臺本身就促進(jìn)了整個行業(yè)信息共享的效率，因此在該系統(tǒng)的設(shè)計中，另一個要關(guān)注的問題就是如何利用系統(tǒng)中海量的工程造價信息，提供工程造價估算與預(yù)測功能，為工程管理者提供借鑒與參考。

2 系統(tǒng)整體架構(gòu)搭建

根據(jù)以上的設(shè)計目標(biāo)和業(yè)務(wù)需求，在設(shè)計中首先應(yīng)滿足基本業(yè)務(wù)需求，其次再考慮系統(tǒng)的長遠(yuǎn)發(fā)展，以便擴(kuò)展系統(tǒng)的功能。本系統(tǒng)構(gòu)建目的是實現(xiàn)工程造價行業(yè)信息的共享，促進(jìn)造價業(yè)務(wù)的協(xié)同，并通過投資預(yù)測等功能，為造價行業(yè)提供相關(guān)的決策依據(jù)?？紤]到數(shù)據(jù)量龐大，采用Hadoop架構(gòu)搭建系統(tǒng)，將系統(tǒng)分為數(shù)據(jù)集成層、數(shù)據(jù)存儲層、數(shù)據(jù)處理分析層、數(shù)據(jù)輸出展示層。系統(tǒng)整體架構(gòu)如圖2所示。

通過圖2看出，不同層具有不同的功能。

數(shù)據(jù)集成層是整個系統(tǒng)數(shù)據(jù)的來源，這些數(shù)據(jù)可以來自MySql數(shù)據(jù)庫，也可以來自Sql Servers數(shù)據(jù)庫，還可來自其他的數(shù)據(jù)庫。換句話說，這些數(shù)據(jù)可以是結(jié)構(gòu)型數(shù)據(jù)，也可以是非結(jié)構(gòu)型數(shù)據(jù)，數(shù)據(jù)的類型包括文字、圖片、音頻等。為方便對這些數(shù)據(jù)的存儲和查詢，在數(shù)據(jù)源與數(shù)據(jù)存儲層之間使用Sqoop工具，通過該工具可實現(xiàn)關(guān)系型數(shù)據(jù)庫與Hadoop間的交換。

數(shù)據(jù)存儲層采用HDFS、Hbase等組件，通過分布式文件存儲系統(tǒng)和統(tǒng)一的接口即可完成對不同節(jié)點下文件的訪問。Hbase主要負(fù)責(zé)對非結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行存儲。

數(shù)據(jù)處理分析層采用MapReduce并行處理技術(shù)、Hive技術(shù)等，以完成對數(shù)據(jù)的計算和查詢。通過MapReduce并行技術(shù)提高運(yùn)算速率，采用Hive提高查詢效率。

數(shù)據(jù)輸出展示層則是將查詢的結(jié)果展示給用戶。

3 功能模塊設(shè)計

系統(tǒng)設(shè)置了信息分析與發(fā)布、信息采集、信息檢索、用戶注冊與登錄、數(shù)據(jù)分析、系統(tǒng)維護(hù)與管理等模塊，如圖3所示。

圖3 系統(tǒng)功能模塊

4 系統(tǒng)詳細(xì)設(shè)計

4.1 用戶登錄設(shè)計

進(jìn)入登錄頁面，用戶輸入登錄名和密碼，與后臺服務(wù)器中存儲的登錄名和密碼進(jìn)行比對，如一致則進(jìn)入到工程造價預(yù)算與信息管理系統(tǒng)主界面；如不一致，則返回重新登錄。具體流程如圖4所示。

4.2 工程造價估算模型構(gòu)建

工程造價估算模型的構(gòu)建是本系統(tǒng)的重點。目前，用于工程造價估算的模型很多，其建模方法包括神經(jīng)網(wǎng)絡(luò)算法、灰色關(guān)聯(lián)分析算法等。本文在總結(jié)以往方法優(yōu)缺點的基礎(chǔ)上，選用灰色關(guān)聯(lián)分析算法進(jìn)行工程造價估算模型的建立。該方法的基本思路是根據(jù)序列曲線幾何形狀的相似度[3]，來判斷兩工程的造價之間聯(lián)系是否緊密。

圖4 系統(tǒng)登錄流程設(shè)計

如項目造價變化趨勢一致或者是相似，則認(rèn)為兩者之間的關(guān)聯(lián)度較高；如變化趨勢區(qū)別較大，則認(rèn)為兩者之間的關(guān)聯(lián)度低。對于工程建設(shè)項目來講，影響工程造價的因素很多，因此在進(jìn)行項目投資估算時，通過工程項目特征相似度進(jìn)行關(guān)聯(lián)分析。具體的思路是：選取與待測項目特征比較接近的工程項目若干，然后采用灰色關(guān)聯(lián)度分析法篩選出與待測工程最為接近的n個典型工程，對這些典型工程的平均投資額進(jìn)行計算，最后得到預(yù)測工程的投資額度。

具體測算步驟為：

1)選取測算指標(biāo)，包括工程結(jié)構(gòu)、內(nèi)裝形式、給排水方式等。

2)根據(jù)上述關(guān)鍵指標(biāo)，篩選出同類型的工程項目，然后將估算工程的單方造價與類似項目的特征信息進(jìn)行系數(shù)賦值。本文將該系數(shù)值設(shè)定為0.5。

3)計算估算工程項目與典型工程的關(guān)聯(lián)度。

假設(shè)有P個典型工程，其包含8個特征參數(shù)，分別為結(jié)構(gòu)形式、內(nèi)墻裝飾、外墻裝飾、給排水、暖通、強(qiáng)電、弱電、電梯等，可以得到工程的參數(shù)序列集合Xi：

(1)

①求取t。

(2)

式中：X(1)～X(8)為同類型工程各特征參數(shù)的平均數(shù)；t為選定的特征參數(shù)與同類型工程特征參數(shù)平均數(shù)的差的絕對值。

②找出t中的最大差值tmax和最小差值tmin,并計算關(guān)聯(lián)度系數(shù)：

(3)

式中：moi為關(guān)聯(lián)度系數(shù)；q為第q個特征參數(shù)。

③計算關(guān)聯(lián)度roi：

(4)

式中：n為被比較的特征參數(shù)個數(shù)。

4.3 綜合單價預(yù)測模型構(gòu)建

除整體的工程造價估算以外，還需對某個工程的單項造價進(jìn)行預(yù)測。本文引入殘差自回歸預(yù)測模型對工程的綜合單價進(jìn)行預(yù)測，并采用并行計算技術(shù)，以提高綜合單價預(yù)測的準(zhǔn)確性和計算效率。具體的預(yù)測流程如圖5所示。

4.4 信息聚類設(shè)計

為進(jìn)一步提高Hadoop框架下海量數(shù)據(jù)信息挖掘的效率，引入k均值聚類算法對工程造價庫中的數(shù)據(jù)進(jìn)行聚類。

圖5 綜合單價預(yù)測流程

在聚類算法中，最關(guān)鍵的是確定初始k值和中心點[4-5]。本文使用k均值聚類法對系統(tǒng)中的信息進(jìn)行挖掘分類時，對中心點的選擇進(jìn)行了改進(jìn)，即改變以往只選擇一個中心點作為聚類點的做法，在比較數(shù)據(jù)樣本的距離后，選擇距離盡可能遠(yuǎn)的兩個樣本作為初始的中心點，即對于給定的數(shù)據(jù)集A={x1,x2,…,xm}，xm∈Rd，選擇兩個樣本距離最長的點作為中心點，然后計算每個樣本與這兩個點之間的距離。具體過程設(shè)計為：

1)選取樣本中距離最長的兩點s,t作為中心點，即dst=dmax。

2)分別計算其他樣本與s,t中心點之間的距離。若樣本xi(i=1,2,…,P)與樣本xs和xt的距離存在|xi-xs|<|xi-xt|，則將xi歸入數(shù)據(jù)集As中，反之歸入數(shù)據(jù)集At中。由此得到新的兩類數(shù)據(jù)集As和At。

3)計算新數(shù)據(jù)集As和At中的樣本到xs的距離，分別用d1max和d2max表示，取兩者中的較大者，設(shè)為d3=max{d1max,d2max}，對應(yīng)的數(shù)據(jù)記為xu。若d3>0.5dst,那么將該數(shù)據(jù)標(biāo)記為第三個聚類的中心點。

4)以此類推，直至找不到符合條件的樣本，停止分類。

在運(yùn)行上述算法的同時，運(yùn)用MapReduce分布式處理技術(shù)對數(shù)據(jù)進(jìn)行分布式聚類。

4.5 在線查詢模塊設(shè)計

為提高系統(tǒng)的實用性，在系統(tǒng)中加入在線查詢功能。用戶在輸入關(guān)鍵詞后，可及時查到工程價格信息、材料成本信息、造價指數(shù)等。具體流程如圖6所示。

圖6 在線查詢實現(xiàn)流程

5 系統(tǒng)測試

5.1 測試環(huán)境搭建

為驗證本系統(tǒng)的可行性，需對系統(tǒng)進(jìn)行測試。硬件環(huán)境：部署5臺計算機(jī)，1臺為主節(jié)點，4臺為子節(jié)點。計算機(jī)的CPU為四核 core i7，內(nèi)存為8GHz，硬盤為500G。

軟件環(huán)境：操作系統(tǒng)為Windows 2008 Server；開發(fā)工具為JDK 1.6.25；Hadoop 的版本為Hadoop 0.20.2。

5.2 性能測試

根據(jù)上述的節(jié)點部署，選擇4個子節(jié)點計算機(jī)對數(shù)據(jù)進(jìn)行測試，得到如圖7所示的結(jié)果。

圖7 數(shù)據(jù)處理時間

從圖可以看出，在數(shù)據(jù)相同的情況下，當(dāng)子節(jié)點超過3個時，數(shù)據(jù)處理的速度明顯加快。說明通過分布式部署的方式，可提高大規(guī)模數(shù)據(jù)的處理效率。

5.3 功能測試

以用戶登錄、造價信息查詢?yōu)槔M(jìn)行功能測試。當(dāng)用戶輸入用戶名和密碼后，可直接進(jìn)入到系統(tǒng)主界面。登錄界面如圖8所示。

圖8 登錄界面

對不同區(qū)域的造價信息進(jìn)行查詢，如點擊“成都”→“建筑工程”，可以得到如圖9所示的造價信息界面。

6 結(jié)束語

本文提出的關(guān)聯(lián)度投資估算方法，在一定程度上可快速估算出工程的整體造價，進(jìn)一步拓展了工程管理系統(tǒng)的功能，也促進(jìn)了工程造價行業(yè)信息的共享。本文系統(tǒng)的構(gòu)建借助了大數(shù)據(jù)框架體系，可提高系統(tǒng)運(yùn)行的效率。

圖9 行業(yè)造價信息界面