骨干裝備制造企業(yè)大數(shù)據(jù)平臺(tái)構(gòu)建

侯洪鳳，任 意，張澤宇

（大連科技學(xué)院，遼寧大連116052）

骨干裝備制造企業(yè)大數(shù)據(jù)平臺(tái)構(gòu)建

侯洪鳳，任 意，張澤宇

（大連科技學(xué)院，遼寧大連116052）

如今，制造業(yè)正進(jìn)入大數(shù)據(jù)時(shí)代，因此，針對(duì)遼寧省裝備制造業(yè)兩化融合的現(xiàn)狀，探討大數(shù)據(jù)平臺(tái)構(gòu)建的必要性和可行性，并嘗試構(gòu)建企業(yè)級(jí)大數(shù)據(jù)平臺(tái)，幫助骨干裝備制造企業(yè)開(kāi)辟創(chuàng)新轉(zhuǎn)型途徑。

裝備制造業(yè)；兩化融合；大數(shù)據(jù)平臺(tái)

一、工業(yè)大數(shù)據(jù)

大數(shù)據(jù)不僅指海量數(shù)據(jù)資源，也指能從海量異構(gòu)數(shù)據(jù)資源中有效抽取出富含價(jià)值的信息前沿技術(shù)。大數(shù)據(jù)通常具有數(shù)據(jù)類(lèi)型繁多、數(shù)據(jù)體量巨大、價(jià)值密度低、處理速度快等特點(diǎn)[1-3]。近幾年，大數(shù)據(jù)受到廣泛關(guān)注，在互聯(lián)網(wǎng)、醫(yī)療、金融、電信等行業(yè)引發(fā)了應(yīng)用熱潮。相較而言，制造業(yè)對(duì)大數(shù)據(jù)的利用水平明顯落后于其他行業(yè)[4]。

遼寧省骨干裝備制造企業(yè)經(jīng)過(guò)前期兩化融合前期成果的積累，已經(jīng)成功部署企業(yè)資源計(jì)劃（ERP）、產(chǎn)品數(shù)據(jù)管理系統(tǒng)（PDM）、產(chǎn)品生命周期管理（PLM）等諸多信息化系統(tǒng)，單項(xiàng)應(yīng)用已經(jīng)非常普遍，部分企業(yè)已經(jīng)實(shí)現(xiàn)綜合集成。這些系統(tǒng)應(yīng)用涵蓋了產(chǎn)品的整個(gè)生命周期，從而積累了大量的傳統(tǒng)數(shù)據(jù)。另外，制造企業(yè)通過(guò)內(nèi)嵌入產(chǎn)品中的傳感器及時(shí)獲取機(jī)器運(yùn)轉(zhuǎn)中產(chǎn)生的大量實(shí)時(shí)監(jiān)測(cè)數(shù)據(jù)。最后，隨著互聯(lián)網(wǎng)和工業(yè)深度融合發(fā)展，來(lái)自于外部互聯(lián)網(wǎng)的數(shù)據(jù)，如聲音、符號(hào)、圖形、圖像、視頻等非結(jié)構(gòu)化數(shù)據(jù)也在急劇增長(zhǎng)。上述數(shù)據(jù)都是在工業(yè)領(lǐng)域信息化相關(guān)應(yīng)用中所產(chǎn)生的海量數(shù)據(jù)，因此也被稱(chēng)為工業(yè)大數(shù)據(jù)。由于工業(yè)大數(shù)據(jù)來(lái)源廣泛、數(shù)據(jù)量巨大、類(lèi)型復(fù)雜、信息冗余，給處理和應(yīng)用工業(yè)大數(shù)據(jù)帶來(lái)了極大的挑戰(zhàn)[5]。

二、構(gòu)建大數(shù)據(jù)平臺(tái)的必要性和可行性分析

（一）必要性分析

第一，從企業(yè)自身發(fā)展需求來(lái)看，遼寧省骨干裝備制造企業(yè)兩化融合卓有成效，如沈飛、沈機(jī)、鞍鋼、大連機(jī)床，大連重工等企業(yè)兩化融合已經(jīng)具有較高水平，進(jìn)入了集成提升和創(chuàng)新突破的發(fā)展階段，借助大數(shù)據(jù)可以打造出信息化環(huán)境下的新型能力，實(shí)現(xiàn)企業(yè)跨越式發(fā)展。

第二，新形勢(shì)下，裝備制造企業(yè)面臨巨大的外部壓力。首先，客戶(hù)需求多樣化和緊迫性的要求，對(duì)于產(chǎn)品研制的周期要求越來(lái)越高；其次，產(chǎn)品體系復(fù)雜，對(duì)產(chǎn)品質(zhì)量要求日益增高，全面質(zhì)量控制越來(lái)越受重視；最后，隨著土地、勞動(dòng)力等要素成本的快速上漲，以及資源環(huán)境約束的進(jìn)一步增強(qiáng)，我國(guó)制造業(yè)傳統(tǒng)的低成本競(jìng)爭(zhēng)優(yōu)勢(shì)不斷減弱[6]。這些挑戰(zhàn)根據(jù)傳統(tǒng)方式很難解決，因此需要通過(guò)大數(shù)據(jù)來(lái)驅(qū)動(dòng)創(chuàng)新，加快上市周期，提升產(chǎn)品質(zhì)量，降低研制成本。

（二）可行性分析

技術(shù)可行性分析：在Hadoop、Spark、Storm等開(kāi)源技術(shù)的影響下，大數(shù)據(jù)的技術(shù)壁壘越來(lái)越低，使得開(kāi)展大數(shù)據(jù)業(yè)務(wù)的裝備制造企業(yè)無(wú)需擔(dān)憂(yōu)技術(shù)實(shí)現(xiàn)問(wèn)題，而是重點(diǎn)放到對(duì)需求的挖掘、分析和滿(mǎn)足上。

社會(huì)可行性分析：國(guó)務(wù)院先后出臺(tái)了《中國(guó)制造2025》、《國(guó)務(wù)院關(guān)于積極推進(jìn)“互聯(lián)網(wǎng)+”行動(dòng)的指導(dǎo)意見(jiàn)》，遼寧省政府非常重視大數(shù)據(jù)，先后出臺(tái)了《遼寧省促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)實(shí)施方案》等政策文件。遼寧省計(jì)劃通過(guò)3—5年的探索，培育一批大數(shù)據(jù)骨干企業(yè)，通過(guò)大數(shù)據(jù)提升工業(yè)能力，推動(dòng)老東北工業(yè)基地轉(zhuǎn)型升級(jí)。

管理可行性分析：兩化程度較高的裝備制造企業(yè)采用大數(shù)據(jù)、物聯(lián)網(wǎng)、云計(jì)算等技術(shù)實(shí)現(xiàn)企業(yè)現(xiàn)有信息系統(tǒng)的集成化和智能物聯(lián)網(wǎng)化有著迫切的需求，希望形成產(chǎn)品全生命周期數(shù)據(jù)化管理和全局?jǐn)?shù)據(jù)優(yōu)化分析。企業(yè)的需求為這些核心技術(shù)的落地應(yīng)用提供了良好的環(huán)境[7]。

三、平臺(tái)建設(shè)

大數(shù)據(jù)平臺(tái)的總體目標(biāo)是搭建一個(gè)匯聚、存儲(chǔ)、管理企業(yè)海量數(shù)據(jù)的平臺(tái)，解決數(shù)據(jù)量暴增所帶來(lái)的存儲(chǔ)與計(jì)算問(wèn)題，提供海量數(shù)據(jù)處理和分析能力，為產(chǎn)品全生命周期和企業(yè)生產(chǎn)經(jīng)營(yíng)各環(huán)節(jié)提供有價(jià)值的信息。

企業(yè)級(jí)大數(shù)據(jù)平臺(tái)基于Hadoop平臺(tái)，能提供海量數(shù)據(jù)的分布式存儲(chǔ)和處理。它通盤(pán)考慮各種類(lèi)型的數(shù)據(jù)采集、分級(jí)存儲(chǔ)管理問(wèn)題，以滿(mǎn)足不同數(shù)據(jù)需求[8]。

大平臺(tái)架構(gòu)如圖1所示，包括采集層、數(shù)據(jù)層和能力層，具體介紹如下。

圖1 大數(shù)據(jù)平臺(tái)架構(gòu)

（一）采集層

采集層負(fù)責(zé)多渠道、多層面、快速、準(zhǔn)確的收集數(shù)據(jù)。通過(guò)ETL（抽取、轉(zhuǎn)換、清洗、裝載）過(guò)程，采集加工操作環(huán)境中各信息系統(tǒng)中的數(shù)據(jù)；利用網(wǎng)絡(luò)爬蟲(chóng)Nutch、Crawler、scrapy從互聯(lián)網(wǎng)上收集數(shù)據(jù)；利用大數(shù)據(jù)框架下的Flume+Kofko技術(shù)實(shí)時(shí)收集海量日志；利用第三方數(shù)據(jù)采集技術(shù)獲取客戶(hù)、競(jìng)爭(zhēng)對(duì)手等數(shù)據(jù)；利用數(shù)據(jù)接入技術(shù)實(shí)現(xiàn)多源異構(gòu)海量監(jiān)控?cái)?shù)據(jù)的采集和融合。

（二）數(shù)據(jù)層

大數(shù)據(jù)平臺(tái)架構(gòu)在數(shù)據(jù)層采用數(shù)據(jù)分級(jí)存儲(chǔ)的原則，可根據(jù)情況開(kāi)放不同的數(shù)據(jù)開(kāi)放接口滿(mǎn)足不同需求。

1.將來(lái)自于各企業(yè)信息系統(tǒng)的數(shù)據(jù)，通過(guò)ETL工具進(jìn)行清洗、轉(zhuǎn)換，不做關(guān)聯(lián)操作，將設(shè)計(jì)資源、制造資源、工程數(shù)據(jù)等基礎(chǔ)數(shù)據(jù)加載到公共基礎(chǔ)數(shù)據(jù)庫(kù),將事務(wù)數(shù)據(jù)、運(yùn)營(yíng)數(shù)據(jù)加載到ODS中。

2.利用網(wǎng)絡(luò)爬蟲(chóng)、第三方數(shù)據(jù)采集、監(jiān)控?cái)?shù)據(jù)接入等技術(shù)將海量的流量話(huà)單數(shù)據(jù)、網(wǎng)頁(yè)內(nèi)容數(shù)據(jù)、上網(wǎng)日志數(shù)據(jù)等數(shù)據(jù)加載入Hadoop做長(zhǎng)久保存。Hadoop進(jìn)行非結(jié)構(gòu)化數(shù)據(jù)分析，產(chǎn)生的結(jié)果加載到企業(yè)數(shù)據(jù)倉(cāng)庫(kù)中。

3.清洗、轉(zhuǎn)換后的ODS數(shù)據(jù)，按照某一主題（生產(chǎn)管理、項(xiàng)目管理）構(gòu)造數(shù)據(jù)間的關(guān)聯(lián)映射關(guān)系，經(jīng)過(guò)輕度匯總加載到主題分析庫(kù)中。主題分析庫(kù)經(jīng)過(guò)深度匯總，生成綜合數(shù)據(jù)加載到企業(yè)數(shù)據(jù)倉(cāng)庫(kù)中。

（三）能力層

在數(shù)據(jù)匯聚基礎(chǔ)上利用強(qiáng)大的挖掘技術(shù)、分析技術(shù)、高維可視化技術(shù)等對(duì)數(shù)據(jù)進(jìn)行有效跨域整合，對(duì)上層應(yīng)用提供各種跨域數(shù)據(jù)處理和分析能力。

四、結(jié)論

對(duì)裝備制造企業(yè)來(lái)說(shuō)，大數(shù)據(jù)代表的不僅是一種先進(jìn)的數(shù)據(jù)處理技術(shù)，而更多的是一種管理理念的變革。所以，工業(yè)大數(shù)據(jù)從量的積累到價(jià)值的突破，從讓決策層認(rèn)識(shí)工業(yè)大數(shù)據(jù)到利用大數(shù)據(jù)技術(shù)重塑核心競(jìng)爭(zhēng)力和加快制造業(yè)轉(zhuǎn)型升級(jí)，還需要很長(zhǎng)的路[5]。不同的企業(yè)有不同的基礎(chǔ)和目標(biāo)，裝備制造業(yè)應(yīng)該根據(jù)自身情況選擇由不同應(yīng)用場(chǎng)景驅(qū)動(dòng)大數(shù)據(jù)開(kāi)發(fā)，循序漸進(jìn)，逐步建設(shè)，直到形成服務(wù)于產(chǎn)品全生命周期的實(shí)時(shí)的、整體聯(lián)動(dòng)的IT解決方案。

[1]孟小峰，慈祥.大數(shù)據(jù)管理：概念、技術(shù)與挑戰(zhàn)[J].計(jì)算機(jī)研究與發(fā)展，2013，（1）.

[2]王元卓，靳小龍，程學(xué)旗.網(wǎng)絡(luò)大數(shù)據(jù)：技術(shù)與挑戰(zhàn)[J].計(jì)算機(jī)研究與發(fā)展，2013，（6）.

[3] 鄔賀銓.大數(shù)據(jù)時(shí)代的機(jī)遇與挑戰(zhàn)[J].求是，2013，（4）.

[4] 宮夏屹，等.大數(shù)據(jù)平臺(tái)技術(shù)綜述[J].系統(tǒng)仿真學(xué)報(bào)，2014，（3）.

[5]高嬰勱.工業(yè)大數(shù)據(jù)價(jià)值挖掘路徑[J].中國(guó)工業(yè)評(píng)論，2015，（3）.

[6]張翔，趙群.大數(shù)據(jù)時(shí)代中國(guó)制造業(yè)創(chuàng)新發(fā)展試述[J].中國(guó)制造，2015，（8）.

[7]張潔.大數(shù)據(jù)助力裝備制造業(yè)的智能化[J].電器工業(yè)，2016，（2）.

[8]陳娜，等.基于Hadoop的電信BSS大數(shù)據(jù)平臺(tái)建設(shè)研究[J].電信科學(xué)，2013，（3）.

F426.61

A

1673-291X（2017）35-0026-02

2017-09-23

遼寧省教育廳科學(xué)研究一般項(xiàng)目（W2015076），遼寧省教育科學(xué)“十三五”規(guī)劃項(xiàng)目（JG16DB061），遼寧省大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃項(xiàng)目（201613207000035）

侯洪鳳（1979-），女，山東萊州人，博士研究生，副教授，從事企業(yè)信息化建設(shè)，車(chē)間調(diào)度研究。

[責(zé)任編輯 張宇霞]