領(lǐng)域大數(shù)據(jù)應用開發(fā)與運行平臺技術(shù)研究

李紹楊

（吉林省促進中小企業(yè)發(fā)展服務(wù)中心 吉林 長春 130021）

領(lǐng)域大數(shù)據(jù)應用開發(fā)與運行平臺技術(shù)研究

李紹楊

（吉林省促進中小企業(yè)發(fā)展服務(wù)中心 吉林 長春 130021）

伴隨著當前大數(shù)據(jù)技術(shù)高速發(fā)展，對于大數(shù)據(jù)應用系統(tǒng)開發(fā)與運行平臺的開發(fā)工作也取得了重大突破，極大的降低了大數(shù)據(jù)技術(shù)推廣的門檻，使得大數(shù)據(jù)技術(shù)能夠得以被更多的行業(yè)領(lǐng)域所應用。但同時考慮到大數(shù)據(jù)天然存在的多樣性、復雜性與動態(tài)性特征，目前還確立出系統(tǒng)化的大數(shù)據(jù)軟件開發(fā)體系，在具體的領(lǐng)域應用方面還有待開展進一步的研究工作。對此，本文將重點針對領(lǐng)域大數(shù)據(jù)應用開發(fā)與運行平臺技術(shù)展開相關(guān)的研究工作。

領(lǐng)域需求；大數(shù)據(jù)；開發(fā)；運行；平臺技術(shù)

1 引言

要對數(shù)據(jù)展開計算處理，必然離不開軟件系統(tǒng)的支持，無論是在數(shù)據(jù)的搜集、存儲、處理還是實踐應用等方面都要用到軟件。尤其是在當前的大數(shù)據(jù)時代背景下，數(shù)據(jù)處理各環(huán)節(jié)可供選擇的軟件工具多種多樣，因此，這也對于面向領(lǐng)域的大數(shù)據(jù)應用系統(tǒng)建立、運行、優(yōu)化工作均產(chǎn)生了巨大挑戰(zhàn)。本文對目前大數(shù)據(jù)維護管理成本高昂、軟件構(gòu)件選型配置困難等問題，提出了研發(fā)大數(shù)據(jù)應用系統(tǒng)開發(fā)與運行一體化平臺，以期能夠為降低大數(shù)據(jù)應用開發(fā)及后期運維成本提供一些參考。

2 概述

大數(shù)據(jù)系統(tǒng)開發(fā)平臺是直接與用戶產(chǎn)生交互關(guān)系，要能夠?qū)⒏饔脩糸g的集群關(guān)系加以區(qū)分，并同時提供以便捷化的信息添加、刪減及查詢功能，因而，用戶模塊也是集成設(shè)計開發(fā)環(huán)境最為核心的一項構(gòu)成內(nèi)容，基于用戶模塊的控制影響，用戶在應用大數(shù)據(jù)系統(tǒng)開發(fā)與運行一體化平臺之時便應當具備有屬于自身的獨立賬戶，系統(tǒng)可基于對賬戶唯一性的辨別來確保每一名用戶都能夠在系統(tǒng)中獲得一處獨立空間，以確保所部署的大數(shù)據(jù)系統(tǒng)之間達到互為獨立且不發(fā)生影響的狀態(tài)。用戶所提出的需求描述應當能夠?qū)ο到y(tǒng)內(nèi)部各項資源與業(yè)務(wù)做出統(tǒng)一表達，所表述的范圍將會同時覆蓋典型大數(shù)據(jù)應用系統(tǒng)建立所需求的功能性需求。

3 系統(tǒng)性能優(yōu)化

在運行大數(shù)據(jù)應用系統(tǒng)之時，相應的數(shù)據(jù)管理系統(tǒng)會將對各項數(shù)據(jù)信息內(nèi)容進行實時性的搜集，并開展數(shù)據(jù)存儲及索引建立等工作內(nèi)容，以便能夠最大程度的保障對運行數(shù)據(jù)管理需求的充分保障。在這一框架內(nèi)部當中所存儲的數(shù)據(jù)信息也將會被一并輸入于參數(shù)推薦系統(tǒng)內(nèi)，從而獲得詳盡的歷史數(shù)據(jù)信息。

借助于對系統(tǒng)在實時運行時所產(chǎn)生出的日志類型分析，同時由用戶需求以及系統(tǒng)本身的實用性上來展開考量，系統(tǒng)要搜集的信息內(nèi)容通常包括了以下4種類型：

（1）系統(tǒng)內(nèi)部各項集群項目的監(jiān)控時序數(shù)據(jù)信息，具體包括了中央處理器的占用率、網(wǎng)絡(luò)輸出及輸出字節(jié)數(shù)、硬盤寫入與讀取字節(jié)數(shù)等三部分內(nèi)容；

（2）大數(shù)據(jù)構(gòu)件模型數(shù)據(jù)信息；

（3）大數(shù)據(jù)構(gòu)件配置參數(shù)信息；

（4）Spark任務(wù)調(diào)度熟讀信息。

相應的數(shù)據(jù)構(gòu)件信息均通過分布式任務(wù)劃分成最小單元，針對所獲取到的數(shù)據(jù)信息展開預處理分析，而后將所獲得數(shù)據(jù)信息存儲于MongoDB系統(tǒng)內(nèi)部，相應的任務(wù)數(shù)據(jù)格式詳見表1。

表1 任務(wù)數(shù)據(jù)格式匯總

4 領(lǐng)域應用

對于大數(shù)據(jù)技術(shù)的應用，現(xiàn)已逐漸發(fā)展到了產(chǎn)業(yè)互聯(lián)網(wǎng)當中，在本次研究中將從大數(shù)據(jù)在天氣預報與物聯(lián)網(wǎng)中的應用來展開具體分析，前一種主要側(cè)重于跨分析與存儲層系統(tǒng)性能優(yōu)化，后一種則側(cè)重于領(lǐng)域大數(shù)據(jù)應用功能的實現(xiàn)。

4.1 大數(shù)據(jù)在天氣預報中的應用

某其在開展內(nèi)部管理信息化時，借助于工程機械傳感器數(shù)據(jù)來獲取大規(guī)模的數(shù)據(jù)信息，相應的信息也可實時性的經(jīng)由移動網(wǎng)絡(luò)發(fā)送至M2M服務(wù)平臺，同時被存儲于系統(tǒng)數(shù)據(jù)庫內(nèi)，平臺可獲取到企業(yè)在實際生產(chǎn)工作中，來自于各個環(huán)節(jié)的大量數(shù)據(jù)信息，在信息存儲級別達到百億級別后，查詢效率大大降低，難以滿足于實際工作需求，因此開展額一體化平臺建設(shè)，確定出了適當?shù)拇髷?shù)據(jù)應用系統(tǒng)。借助于對工程機械易受損零部件的特征統(tǒng)計，同時應用遠程監(jiān)測技術(shù)與定期維修技術(shù)來對較易受損的零部件損耗量及備用零件需求數(shù)量，展開預測分析，能夠有效降低12%左右的呆滯庫存，全年可節(jié)約庫存費用9800萬元。經(jīng)過對產(chǎn)品的歷史工作狀態(tài)數(shù)據(jù)分析，有助于各專業(yè)找出導致質(zhì)量問題出現(xiàn)的原因，降低因產(chǎn)品損壞而需投入的費用成本。

4.2 大數(shù)據(jù)在物聯(lián)網(wǎng)中的應用

具備高度通用性效果的數(shù)據(jù)平臺技術(shù)，是實現(xiàn)對數(shù)據(jù)信息系統(tǒng)專業(yè)化應用的一項基礎(chǔ)性技術(shù)手段。為應對在氣象預測領(lǐng)域內(nèi)數(shù)據(jù)規(guī)模大、種類多、邏輯復雜等問題，基于一體化平臺開發(fā)出了專業(yè)性更強的氣象大數(shù)據(jù)管理系統(tǒng)。針對氣象數(shù)據(jù)存儲結(jié)構(gòu)實施了優(yōu)化調(diào)整，極大的提高了數(shù)據(jù)查詢效率，并且也可與原本的數(shù)據(jù)存儲系統(tǒng)和諧共存，借助于一體化數(shù)據(jù)處理流程的實施，數(shù)據(jù)應用效率也有了大幅度的提升，基于對標準格式的支持，實現(xiàn)了對數(shù)據(jù)處理流程的精簡優(yōu)化，利用分布式處理手段，大大加快了數(shù)據(jù)分析速率，系統(tǒng)性能有了大幅度的提升。

5 結(jié)語

總而言之，面對當前快速化發(fā)展的大數(shù)據(jù)技術(shù)，如何實現(xiàn)對這一技術(shù)的高效化應用現(xiàn)已被人們所廣泛關(guān)注。大數(shù)據(jù)應用系統(tǒng)其中包括了對于數(shù)據(jù)信息內(nèi)容的收集、存儲、處理、分析等多個焊接，其中每一環(huán)節(jié)都有著多種解決方案，致使大數(shù)據(jù)應用系統(tǒng)的建立面臨巨大考驗。本文就對大數(shù)據(jù)應用的開發(fā)與運行平臺技術(shù)展開了具體分析，探討了對大數(shù)據(jù)應用系統(tǒng)的性能優(yōu)化，并最終就大數(shù)據(jù)的領(lǐng)域應用從天氣預報與物聯(lián)網(wǎng)兩個方面展開了深入研究。

[1]周志陽，陳飛.大數(shù)據(jù)實時計算平臺技術(shù)綜述[J].中國新通信，2017，19(4).

TP311.13 【文獻標識碼】A 【文章編號】1009-5624（2018）01-0046-02