工程建設(shè)階段大數(shù)據(jù)處理方法研究

宋敏，閻思宇

（吉林建筑大學(xué)）

1 引言

隨著信息技術(shù)在項(xiàng)目施工階段的廣泛應(yīng)用，這一階段已經(jīng)累計(jì)了大量的信息數(shù)據(jù)，當(dāng)前數(shù)據(jù)量正高速擴(kuò)張。在這個(gè)“數(shù)據(jù)大爆炸”的時(shí)代，單單依據(jù)某一方面的數(shù)據(jù)及相關(guān)信息解決問(wèn)題的成效降低，需要人們?cè)邶嫶蟮臄?shù)據(jù)體系中尋找解決問(wèn)題的最優(yōu)方案，然而這些數(shù)據(jù)如果僅僅依靠人力無(wú)法進(jìn)行有效的整合，并展開(kāi)全面的分析，因此對(duì)工程建設(shè)階段如何對(duì)大數(shù)據(jù)進(jìn)行處理的探討顯得尤為重要。

2 工程建設(shè)階段大數(shù)據(jù)處理現(xiàn)狀

建設(shè)工程行業(yè)是數(shù)據(jù)量最大、項(xiàng)目規(guī)模最大的行業(yè)，參與主體多、管理不穩(wěn)定、覆蓋地域范圍廣、耗費(fèi)時(shí)間長(zhǎng)、工作種類繁雜等特征決定了工程項(xiàng)目的信息管理具有多元性。現(xiàn)場(chǎng)管理人員需要花費(fèi)大量的時(shí)間進(jìn)行數(shù)據(jù)收集和分析處理，而因缺乏實(shí)時(shí)的信息數(shù)據(jù)反饋導(dǎo)致的工人窩工、資源浪費(fèi)、安全事故頻發(fā)等現(xiàn)象屢見(jiàn)不鮮，影響項(xiàng)目質(zhì)量、進(jìn)度、成本、安全等目標(biāo)的實(shí)現(xiàn)。例如，工程體量的不斷擴(kuò)大，項(xiàng)目所需資金也隨之提升，這必然產(chǎn)生大量的成本數(shù)據(jù)，傳統(tǒng)的工程造價(jià)管理模式已經(jīng)無(wú)法適應(yīng)大工程項(xiàng)目的建設(shè)，影響工程的進(jìn)度管理以及成本的控制。另外，工程規(guī)模的擴(kuò)大也會(huì)使工程項(xiàng)目基礎(chǔ)數(shù)據(jù)大量擴(kuò)張，傳統(tǒng)的施工信息管理模式不僅容易造成安全隱患，而且無(wú)法保證工程整體質(zhì)量。

3 工程建設(shè)階段數(shù)據(jù)特點(diǎn)

工程建設(shè)階段的數(shù)據(jù)既具有普通信息的特點(diǎn)，具有建設(shè)領(lǐng)域的特殊性，所以工程建設(shè)階段的數(shù)據(jù)通常具有以下特點(diǎn)：

1）數(shù)據(jù)數(shù)量大、內(nèi)容復(fù)雜

隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等新技術(shù)逐步應(yīng)用于項(xiàng)目的施工領(lǐng)域，由此帶來(lái)了數(shù)據(jù)量的爆發(fā)式增長(zhǎng)，同時(shí)工程建設(shè)階段是不同專業(yè)領(lǐng)域及不同參建單位的匯集階段，各專業(yè)之間的數(shù)據(jù)傳遞性較差，大量的技術(shù)性文件分散于各單位。所以工程建設(shè)階段數(shù)據(jù)量巨大，且內(nèi)容復(fù)雜多變。

2）數(shù)據(jù)更新快、關(guān)聯(lián)性強(qiáng)

建設(shè)項(xiàng)目施工階段持續(xù)時(shí)間久，在這期間會(huì)產(chǎn)生許多不確定的因素，數(shù)據(jù)變化頻率高?，F(xiàn)場(chǎng)數(shù)據(jù)會(huì)隨時(shí)根據(jù)項(xiàng)目的進(jìn)展而實(shí)時(shí)更新，更新后的數(shù)據(jù)作為下一階段的參考，所以工程建設(shè)階段的數(shù)據(jù)之間相互依存、相互影響，關(guān)聯(lián)性很強(qiáng)。

3）數(shù)據(jù)格式和表現(xiàn)多樣

由于工程建設(shè)段參建方眾多，但不同參建方使用的軟件和儲(chǔ)存的格式各不相同，所以在建設(shè)項(xiàng)目的推進(jìn)過(guò)程中會(huì)產(chǎn)生各種各樣的結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。

4 工程建設(shè)階段大數(shù)據(jù)處理方法研究

4.1 探討大數(shù)據(jù)處理目的

1）提高數(shù)據(jù)處理效率

由于工程建設(shè)階段大量數(shù)據(jù)的產(chǎn)生，通過(guò)傳統(tǒng)的方法來(lái)提取、整理、分析及利用信息數(shù)據(jù)已經(jīng)無(wú)法提高數(shù)據(jù)及各類信息使用效率，進(jìn)而數(shù)據(jù)及信息的價(jià)值大大降低，因此我們需要通過(guò)探討如何對(duì)數(shù)據(jù)及各類信息進(jìn)行高效的處理，進(jìn)而提高管理效率，實(shí)現(xiàn)信息的增值。

2）有針對(duì)性的輸出數(shù)據(jù)

工程建設(shè)階段會(huì)產(chǎn)生大量的數(shù)據(jù)，部分?jǐn)?shù)據(jù)往往存在無(wú)用、重復(fù)的情況，現(xiàn)場(chǎng)的管理人員在大量的數(shù)據(jù)中無(wú)法迅速準(zhǔn)確的尋找到自身需求相關(guān)內(nèi)容，數(shù)據(jù)使用成效降低，因此我們需要通過(guò)探討如何對(duì)數(shù)據(jù)及各類信息進(jìn)行處理，才能依據(jù)用戶的需求有針對(duì)性的對(duì)數(shù)據(jù)進(jìn)行輸出，提高數(shù)據(jù)的質(zhì)量。

3）充分挖掘數(shù)據(jù)價(jià)值

在以往大數(shù)據(jù)環(huán)境中，數(shù)據(jù)朝單向性方向發(fā)展，關(guān)聯(lián)性較差，無(wú)法深度挖掘數(shù)據(jù)內(nèi)在價(jià)值，因此我們需要通過(guò)探討如何對(duì)數(shù)據(jù)及各類信息進(jìn)行處理，進(jìn)而加強(qiáng)信息數(shù)據(jù)之間的緊密關(guān)系，使數(shù)據(jù)能夠合理利用，以低成本創(chuàng)造高價(jià)值。

4.2 大數(shù)據(jù)處理方法

大數(shù)據(jù)處理方法流程主要分為以下四個(gè)步驟：采集、導(dǎo)入/預(yù)處理、統(tǒng)計(jì)分析及挖掘。

1）采集

大數(shù)據(jù)的采集是指通過(guò)多個(gè)數(shù)據(jù)庫(kù)來(lái)接收各方的數(shù)據(jù)，用戶可通過(guò)這些數(shù)據(jù)庫(kù)進(jìn)行查詢和處理工作。在項(xiàng)目施工過(guò)程中，每天都會(huì)不斷的有全新的數(shù)據(jù)產(chǎn)生，信息采集就是主要對(duì)施工過(guò)程中各類進(jìn)度、成本、質(zhì)量、安全等相關(guān)基礎(chǔ)數(shù)據(jù)的采集，為后續(xù)用戶對(duì)數(shù)據(jù)的查詢、系統(tǒng)分析及輔助用戶決策提供數(shù)據(jù)基礎(chǔ)。

2）導(dǎo)入/預(yù)處理

數(shù)據(jù)采集時(shí)會(huì)有很多數(shù)據(jù)庫(kù)，但是想對(duì)這些大量的數(shù)據(jù)進(jìn)行有效的分析，所以應(yīng)將來(lái)自前端的數(shù)據(jù)導(dǎo)入進(jìn)一個(gè)集中的大型分布式數(shù)據(jù)庫(kù)中，并在此基礎(chǔ)上做一些基本的清洗及預(yù)處理的工作。

3）統(tǒng)計(jì)分析

統(tǒng)計(jì)分析需要利用分布式數(shù)據(jù)庫(kù)，對(duì)儲(chǔ)存在數(shù)據(jù)庫(kù)內(nèi)的海量數(shù)據(jù)進(jìn)行簡(jiǎn)單的分析及分類匯總等。在統(tǒng)計(jì)分析時(shí)應(yīng)秉持服務(wù)理念，從使用者的客觀需求出發(fā)，把在工程建設(shè)階段收集的數(shù)據(jù)通過(guò)應(yīng)用程序與數(shù)學(xué)模型進(jìn)行分析，為施工階段項(xiàng)目管理者做出準(zhǔn)確、合理和科學(xué)的決策提供依據(jù)。

4）挖掘

與統(tǒng)計(jì)分析工程區(qū)別的是，數(shù)據(jù)的挖掘一般沒(méi)有預(yù)先設(shè)置好的條件，主要的方式是通過(guò)現(xiàn)有的數(shù)據(jù)基于各類算法進(jìn)行計(jì)算，從而達(dá)到預(yù)測(cè)的目的，進(jìn)而實(shí)現(xiàn)一些更高級(jí)別的數(shù)據(jù)分析需求。

5 結(jié)語(yǔ)

通過(guò)對(duì)目前工程建設(shè)階段的信息數(shù)據(jù)處理及這一階段的數(shù)據(jù)特征進(jìn)行分析，針對(duì)項(xiàng)目施工階段數(shù)據(jù)處理利用不當(dāng)?shù)惹闆r，提出了探討大數(shù)據(jù)處理的目的及大數(shù)據(jù)處理方法流程，來(lái)解決此類問(wèn)題并提升信息服務(wù)效率，為后續(xù)工程建設(shè)領(lǐng)域如何對(duì)大數(shù)據(jù)進(jìn)行處理提供了基礎(chǔ)。