生產(chǎn)制造企業(yè)大數(shù)據(jù)分析平臺技術(shù)

孫也

（天津城市建設(shè)管理職業(yè)技術(shù)學院 天津市 300134）

在計算機網(wǎng)絡(luò)技術(shù)、人工智能技術(shù)等技術(shù)的不斷發(fā)展下，一個企業(yè)要想在激烈的市場競爭中立于不敗之地，必須要加大對信息建設(shè)投入力度，企業(yè)內(nèi)部各種信息化系統(tǒng)不斷涌現(xiàn)，因此，企業(yè)形成了大量的數(shù)據(jù)，而大數(shù)據(jù)分析平臺的出現(xiàn)和應(yīng)用可以快速分析和挖掘出有價值的信息數(shù)據(jù)，為進一步提高企業(yè)信息數(shù)據(jù)處理能力打下堅實的基礎(chǔ)。因此，如何科學地設(shè)計和實現(xiàn)大數(shù)據(jù)分析平臺是生產(chǎn)制造企業(yè)必須思考和解決的問題。

1 大數(shù)據(jù)分析平臺框架設(shè)計

為了幫助生產(chǎn)制造企業(yè)更好地制定數(shù)據(jù)處理方案，確保數(shù)據(jù)分析處理工作能夠落實到位，現(xiàn)設(shè)計一款功能完善、適用性強大的大數(shù)據(jù)分析平臺。該平臺不僅可以實現(xiàn)對海量數(shù)據(jù)的收集、分析、挖掘、整理、顯示，還能將數(shù)據(jù)分析結(jié)果顯示與數(shù)據(jù)處理結(jié)果顯示進行充分結(jié)合，為用戶帶來良好的使用體驗。大數(shù)據(jù)分析平臺框架設(shè)計示意圖如圖1所示。

從圖1 中可以看出，大數(shù)據(jù)分析平臺主要包含以下兩種數(shù)據(jù)庫：

圖1：大數(shù)據(jù)分析平臺架構(gòu)圖

（1）企業(yè)數(shù)據(jù)庫。對于生產(chǎn)制造企業(yè)而言，在信息化建設(shè)水平的不斷提高下，大量的過程控制系統(tǒng)、信息化考核系統(tǒng)、企業(yè)資源管理系統(tǒng)等各種系統(tǒng)被廣泛地應(yīng)用于生產(chǎn)制造企業(yè)中，而大數(shù)據(jù)分析平臺要想保證功能實現(xiàn)效果，必須要與以上系統(tǒng)數(shù)據(jù)庫之間建立有效的連接[1]，只有這樣，才能實現(xiàn)對數(shù)據(jù)集的全面獲取，系統(tǒng)數(shù)據(jù)庫在具體的運用中，存儲了大量生產(chǎn)制造企業(yè)在日常管理和經(jīng)營中所產(chǎn)生的數(shù)據(jù)。數(shù)據(jù)庫系統(tǒng)不同，所對應(yīng)的系統(tǒng)開發(fā)商業(yè)存在一定的差異，盡管這些系統(tǒng)數(shù)據(jù)庫在系統(tǒng)結(jié)構(gòu)設(shè)計和功能實現(xiàn)方面存在一定的不同，但是，這些系統(tǒng)數(shù)據(jù)庫在具體的開發(fā)中，主要使用了MySQL、oracle 等傳統(tǒng)關(guān)系型數(shù)據(jù)庫。所以，對這些關(guān)系型數(shù)據(jù)庫進行直接訪問，可以保證數(shù)據(jù)獲取的高效性和針對性。另外，通過對關(guān)系型數(shù)據(jù)庫進行直接訪問，可以保證數(shù)據(jù)收集的全面性和完整性[2]，為有效地滿足數(shù)據(jù)分析處理需求打下堅實的基礎(chǔ)。

（2）分析數(shù)據(jù)庫。分析數(shù)據(jù)庫除了可以用于對平臺配置信息、運行狀態(tài)信息等元信息的存儲外，還用于對生產(chǎn)制造企業(yè)數(shù)據(jù)分析結(jié)果和數(shù)據(jù)處理結(jié)果的存儲。

另外，大數(shù)據(jù)分析平臺還包含平臺管理模塊、業(yè)務(wù)分析模塊兩大模塊，其中，平臺管理模塊主要用于對數(shù)據(jù)集群的自動化管控，為簡化平臺的維護流程發(fā)揮出重要作用。業(yè)務(wù)分析模塊作為大數(shù)據(jù)分析平臺的重要功能模塊，主要包含生產(chǎn)制造企業(yè)數(shù)據(jù)處理流程與數(shù)據(jù)分析流程[3]，該模塊主要借助了數(shù)據(jù)集群環(huán)境，同時，針對生產(chǎn)制造企業(yè)的業(yè)務(wù)處理需求，利用分析數(shù)據(jù)庫存儲和管理數(shù)據(jù)分析結(jié)果和數(shù)據(jù)處理結(jié)果。

2 大數(shù)據(jù)分析平臺功能模塊設(shè)計

2.1 數(shù)據(jù)的獲取和存儲模塊設(shè)計

數(shù)據(jù)的獲取和存儲模塊主要用于對數(shù)據(jù)的獲取和存儲，該模塊在具體的設(shè)計和實現(xiàn)中，首先，要根據(jù)最終的數(shù)據(jù)分析結(jié)果，在原有數(shù)據(jù)庫的基礎(chǔ)上，構(gòu)建相應(yīng)的視圖，同時，還要借助零件供應(yīng)商代碼，確定相應(yīng)的工具編號，并保證編號的唯一性，實現(xiàn)對零件代碼的精確編寫，然后，將在指定的產(chǎn)品上安裝相應(yīng)的零件，并對零件的參數(shù)值進行設(shè)定。此外，還要利用Spark 計算框架，采用并行模式，向關(guān)系型數(shù)據(jù)庫中批量導入相應(yīng)的集群數(shù)據(jù)，同時，為了保證大數(shù)據(jù)分析結(jié)果的精確性和可靠性，還要從產(chǎn)品質(zhì)量評價、零件質(zhì)量檢驗、設(shè)備運行狀態(tài)監(jiān)控等環(huán)節(jié)出發(fā)，完成對數(shù)據(jù)信息模型的構(gòu)建，在此基礎(chǔ)上，采用跨數(shù)據(jù)庫檢索的方式，完成對相應(yīng)的數(shù)據(jù)集的構(gòu)建和利用，只有這樣，才能保證數(shù)據(jù)獲取的全面性和針對性，為實現(xiàn)對數(shù)據(jù)的安全化傳輸、存儲和管理產(chǎn)生積極的影響。另外，生產(chǎn)制造企業(yè)通過利用該模塊，可以根據(jù)零件代碼，確定出合適的零件規(guī)格，并將零件相關(guān)信息導入到相應(yīng)的關(guān)系型數(shù)據(jù)庫中，便于其他人員的查看和調(diào)用。

2.2 大數(shù)據(jù)分析模塊設(shè)計

2.2.1 功能介紹

大數(shù)據(jù)分析模塊主要是指通過分析和產(chǎn)品數(shù)據(jù)，為生產(chǎn)制造企業(yè)構(gòu)建相應(yīng)的產(chǎn)品模型，生產(chǎn)制造企業(yè)通過借助這一產(chǎn)品模型，可以全面了解和把控產(chǎn)品質(zhì)量狀態(tài)，為降低產(chǎn)品質(zhì)量風險打下堅實的基礎(chǔ)。此外，生產(chǎn)制造企業(yè)好可以借助該模塊[4]，對產(chǎn)品過程數(shù)據(jù)、供應(yīng)鏈數(shù)據(jù)等數(shù)據(jù)進行深入地分析和挖掘，從而進一步提高數(shù)據(jù)分析結(jié)果的精確性和真實性，實現(xiàn)篩選出最優(yōu)的供應(yīng)商創(chuàng)造良好的條件。

2.2.2 分析流程

大數(shù)據(jù)分析模塊在具體的設(shè)計中，主要借助了如圖2所示的數(shù)據(jù)分析流程，從圖2 中可以看出，首先，技術(shù)人員要對樣本數(shù)據(jù)進行預處理，并刪除離群數(shù)據(jù)、冗余數(shù)據(jù)和異常數(shù)據(jù)等，在此基礎(chǔ)上，采用數(shù)據(jù)變換的方式，不斷優(yōu)化數(shù)據(jù)特征提取流程[5]。

圖2：數(shù)據(jù)分析流程

其次，要實時提取數(shù)據(jù)特征，完成對相應(yīng)數(shù)據(jù)模型的構(gòu)建，在構(gòu)建數(shù)據(jù)模型期間，要采用數(shù)據(jù)特征計算的方式，構(gòu)建出相應(yīng)的數(shù)據(jù)模型。最后，還要從模型測試、結(jié)果評價兩個方面入手，采用評估評價的方式，對模型的可靠性進行驗證。

2.2.3 功能實現(xiàn)

大數(shù)據(jù)分析模塊在具體的設(shè)計和實現(xiàn)中，要借助Spark 平臺，完成對相應(yīng)產(chǎn)品評價模型框架的設(shè)計，同時，還要利用關(guān)系型數(shù)據(jù)庫，在嚴格按遵守平臺分析數(shù)據(jù)處理相關(guān)標準和要求的基礎(chǔ)上，根據(jù)用戶發(fā)出的http 請求，獲取和匯總數(shù)據(jù)處理結(jié)果[6]，然后，將數(shù)據(jù)清洗、數(shù)據(jù)特征提取、數(shù)據(jù)分析、數(shù)據(jù)挖掘等環(huán)節(jié)出發(fā)，完成對數(shù)據(jù)處理流程的優(yōu)化和完善，以保證產(chǎn)品評價的效率和效果。

2.3 平臺可視化模塊設(shè)計與實現(xiàn)

2.3.1 基于SpringMVC 架構(gòu)設(shè)計

SpringMVC 架構(gòu)主要是指通過將Spring 框架和MVC 模式進行充分結(jié)合后所形成的一種系統(tǒng)設(shè)計框架，該框架主要用于對前端控制器的設(shè)計和管理?？梢暬K處理流程如圖3所示，從圖3 中可以看出，當瀏覽器發(fā)送相應(yīng)的HTTP 請求時，該框架可以對其進行全方位監(jiān)聽，并根據(jù)最終的監(jiān)聽結(jié)果，為系統(tǒng)分配相應(yīng)的控制器，以達到提高數(shù)據(jù)分析結(jié)果和處理結(jié)果精確性和可靠性的目的，此時，前端控制器，根據(jù)所接受到的HTTP 請求，對前端頁面相關(guān)參數(shù)信息進行初步獲取和處理。

圖3：可視化模塊處理流程

此外，還要采用參數(shù)信息調(diào)用的方式[7]，實現(xiàn)對相應(yīng)業(yè)務(wù)模型的調(diào)用和構(gòu)建，在此基礎(chǔ)上，Web 處理器與系統(tǒng)內(nèi)部數(shù)據(jù)庫之間建立起有效的連接，以達到快速交互信息數(shù)據(jù)的目的，同時，還要將數(shù)據(jù)處理結(jié)果傳輸?shù)较鄳?yīng)的控制器中，便于前端控制器借助視圖板引擎功能，對數(shù)據(jù)最終處理結(jié)果進行視圖渲染，以滿足用戶信息交互的需求。

2.3.2 數(shù)據(jù)分析報告生成模塊

為了實時保存和管理數(shù)據(jù)分析結(jié)果，提高數(shù)據(jù)利用率，技術(shù)人員要重視對數(shù)據(jù)分析報告生成模塊的設(shè)計和實現(xiàn)。通過利用該模塊，可以將每次保存下來的數(shù)據(jù)分析結(jié)果生成相應(yīng)的數(shù)據(jù)分析報告。數(shù)據(jù)分析報告生成模塊主要具有以下三種核心功能：

（1）對產(chǎn)品信息進行全方位展示，并采用折線圖、柱狀圖以及餅圖的方式，將產(chǎn)品數(shù)據(jù)生動、直觀地呈現(xiàn)在用戶面前。

（2）采用二次分析的方式，對數(shù)據(jù)分析結(jié)果進行深入分析和挖掘，從而挖掘出更多有價值的信息。

（3）通過利用平臺相關(guān)評價模型，對最終的數(shù)據(jù)分析結(jié)果進行多角度、全方位地分析和評價，確保數(shù)據(jù)分析結(jié)果的可靠性和真實性。

3 結(jié)束語

綜上所述，在大數(shù)據(jù)技術(shù)的應(yīng)用背景下，大數(shù)據(jù)分析平臺在設(shè)計和實現(xiàn)方面取得了很大的突破和創(chuàng)新，該平臺不僅功能強大，通用性強，具有良好的用戶體驗，還在生產(chǎn)制造領(lǐng)域中取得了顯著的應(yīng)用效果，因此，深受廣大用戶的青睞和喜愛。為了方便后期平臺的維護和升級，需要相關(guān)軟件開發(fā)人員再接再厲，用更加優(yōu)雅的代碼擴充更多適用的功能，從而為促進大數(shù)據(jù)分析平臺健康、可持續(xù)發(fā)展，提高其應(yīng)用價值和應(yīng)用前景提供有力的保障。