淺談大數(shù)據(jù)分析技術(shù)及其應(yīng)用

袁狄　YuanDi

摘? 要：隨著當(dāng)前社會經(jīng)濟的進步，大數(shù)據(jù)分析技術(shù)已經(jīng)成為各個產(chǎn)業(yè)領(lǐng)域所關(guān)注的重點技術(shù)，科學(xué)合理的大數(shù)據(jù)應(yīng)用可以有效推動各行業(yè)高速發(fā)展;與此同時現(xiàn)階段大數(shù)據(jù)作為可收集整合各種信息，并有效分析計算不同數(shù)據(jù)內(nèi)容的現(xiàn)代化技術(shù)，其價值性是毋庸置疑的，因此了解大數(shù)據(jù)分析特征，掌握其應(yīng)用要點便顯得極為必要。接下來本文將對大數(shù)據(jù)分析技術(shù)及其應(yīng)用進行一定探討，同時結(jié)合實際做好相應(yīng)整理和總結(jié)。

關(guān)鍵詞：大數(shù)據(jù)分析;技術(shù);應(yīng)用

引言

大數(shù)據(jù)分析技術(shù)即對當(dāng)今社會下所產(chǎn)生海量數(shù)據(jù)進行實時分析的一項技術(shù)，其雖然發(fā)展時間比較有限，但發(fā)展速度極快，目前各互聯(lián)網(wǎng)企業(yè)也已經(jīng)推出了各種各樣類型不一的大數(shù)據(jù)分析處理系統(tǒng)，這都進一步提高了整個大數(shù)據(jù)行業(yè)發(fā)展效益。

一、大數(shù)據(jù)分析技術(shù)優(yōu)勢及處理系統(tǒng)

大數(shù)據(jù)分析可看作是一項獨立的可自行清理、轉(zhuǎn)換、建模數(shù)據(jù)的體系，同時其還具有發(fā)現(xiàn)并提供相應(yīng)業(yè)務(wù)決策的特質(zhì)。本質(zhì)上大數(shù)據(jù)分析目的即是從數(shù)據(jù)中提取可用信息，并在此基礎(chǔ)上更進一步的利用信息來進行整合決策，相較于以往的傳統(tǒng)數(shù)據(jù)，大數(shù)據(jù)分析技術(shù)有著明顯的數(shù)據(jù)規(guī)模更大、響應(yīng)速度更快、種類更多、識別難度高、低密度高價值等明顯優(yōu)勢。

就現(xiàn)階段而言，大數(shù)據(jù)分析的運作離不開大數(shù)據(jù)處理系統(tǒng)，其是大數(shù)據(jù)分析的載體，而目前大數(shù)據(jù)處理系統(tǒng)主要是以分布式處理為主，類型上主要有Hadoop、Spark、Storm等。其中Hadoop所具有的開源屬性，使其在并行批量數(shù)目處理框架以及分布式文件方面效果顯著，Hadoop核心架構(gòu)及分布式文件系統(tǒng)與規(guī)模較大的并行計算框架。而Spark處理系統(tǒng)，則是一種內(nèi)存計算可擴展的開源集群計算系統(tǒng)，本身對于處理不同數(shù)據(jù)結(jié)構(gòu)大規(guī)模數(shù)據(jù)效率極佳，結(jié)合實際來看Spark在某種程度上也是對Hadoop系統(tǒng)內(nèi)部分組件功能的優(yōu)化改進。Storm同樣是分布式實時計算系統(tǒng)，其具有十分優(yōu)異的流式計算框架，可開展全內(nèi)存計算，因此Storm在實時計算方面與Hadoop的批量處理有一定相似性[1]。

二、大數(shù)據(jù)分析技術(shù)功能特征

1、先進的機器學(xué)習(xí)特性

大數(shù)據(jù)分析技術(shù)實際實踐期間，仍是以對大數(shù)據(jù)內(nèi)容做專業(yè)、精準(zhǔn)分析計算來體現(xiàn)，要完成這一步驟則必須保障大數(shù)據(jù)分析技術(shù)功能可以正常運行，因此大數(shù)據(jù)分析技術(shù)功能必須具備先進的機器學(xué)習(xí)特性以及高度智能的可視化場景轉(zhuǎn)換特征。機器學(xué)習(xí)作為人工智能的分支技術(shù)，其核心價值便是可以快速有效發(fā)掘數(shù)據(jù)價值，作為大數(shù)據(jù)分析技術(shù)的主要組成功能，機器學(xué)習(xí)水平往往也決定著大數(shù)據(jù)分析技術(shù)的運作水平。

結(jié)合實際來看機器學(xué)習(xí)主要是以學(xué)習(xí)模擬人類、計算機系統(tǒng)與人類用戶的自然語言接口交互、不完整信息處理預(yù)估、構(gòu)造可發(fā)現(xiàn)新事物等內(nèi)容特性來體現(xiàn)，因此機器學(xué)習(xí)之于大數(shù)據(jù)分析，也可看作是以選擇科學(xué)算法解析數(shù)據(jù)，之后再進行學(xué)習(xí)并給出業(yè)務(wù)決策的功能模式。

除此之外隨著近年來人工智能科學(xué)的不斷發(fā)展，對于機器學(xué)習(xí)研究的不斷加深，監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、強化學(xué)習(xí)等理論的完善，進一步細(xì)分了機器學(xué)習(xí)類型，其中監(jiān)督學(xué)習(xí)主要是指人工給定標(biāo)記數(shù)據(jù)讓機器自行識別分析;無監(jiān)督學(xué)習(xí)即輸入數(shù)據(jù)無標(biāo)記，樣本數(shù)據(jù)也沒有類型區(qū)分，機器自行以相似性聚類分析識別其規(guī)律;強化學(xué)習(xí)則是機器在分析數(shù)據(jù)基礎(chǔ)上可自動予以決策，甚至可按照指令做出連續(xù)性決策[2]。

2、高度智能的可視化場景轉(zhuǎn)換

高度智能的可視化場景轉(zhuǎn)換，同樣作為大數(shù)據(jù)分析技術(shù)的主要功能，其是發(fā)現(xiàn)數(shù)據(jù)特征，從而理解規(guī)律的必要依據(jù)，試想要從海量數(shù)據(jù)中進行比對分析，提取可供決策信息，但沒有可視化處理，整個過程乃至結(jié)果則沒有參考依據(jù)，即使專業(yè)人員也很難理解數(shù)據(jù)所涵蓋信息。所以可視化之于大數(shù)據(jù)分析技術(shù)，也可看作是將數(shù)據(jù)按照人們易于理解的形式完全呈現(xiàn)出來，確保抽象的信息被具象化，從而使終端用戶得以迅速理解信息含義以及來源分析過程，從而按照所得數(shù)據(jù)規(guī)律做出更加科學(xué)合理的決策判斷。

目前大數(shù)據(jù)分析技術(shù)可視化功能包含了文本可視化、網(wǎng)絡(luò)可視化、時空數(shù)據(jù)可視化、多維數(shù)據(jù)可視化四種，其中文本可視化即是將文本數(shù)據(jù)重點、特征充分全面的展現(xiàn)出來;網(wǎng)絡(luò)可視化便是將整個大數(shù)據(jù)分析過程各種網(wǎng)絡(luò)聯(lián)接項作實時展現(xiàn)，突出各種網(wǎng)絡(luò)關(guān)系，防止邏輯性錯誤的狀況發(fā)生;時空數(shù)據(jù)可視化則是對特定時間標(biāo)志以及地理位置數(shù)據(jù)能夠予以及時記錄，從而將其作可視化處理;多維數(shù)據(jù)可視化便是對多維度數(shù)據(jù)變量予以分析，確保數(shù)據(jù)庫資源可以高效開發(fā)利用[3]。

三、大數(shù)據(jù)分析技術(shù)應(yīng)用

1、明確系統(tǒng)設(shè)置

大數(shù)據(jù)分析技術(shù)應(yīng)用，必須先設(shè)置完善的大數(shù)據(jù)處理系統(tǒng)，在此基礎(chǔ)上依據(jù)實際情況，假設(shè)針對性的推薦系統(tǒng)，以解決數(shù)據(jù)分析過程中可能出現(xiàn)的信息過載等，比如協(xié)同過濾系統(tǒng)、基于內(nèi)容推薦的過濾系統(tǒng)、知識推薦過濾系統(tǒng)等。

2、數(shù)據(jù)安全管理

數(shù)據(jù)安全管理作為大數(shù)據(jù)分析技術(shù)得以正常運作所不可或缺的一環(huán)，實踐期間則以構(gòu)筑風(fēng)險管理大數(shù)據(jù)體系為基準(zhǔn)，將個人、外部數(shù)據(jù)、企業(yè)內(nèi)部詐騙偵察算法作有效連結(jié)，并將其置入大數(shù)據(jù)分析處理體系中，以此有效偵查各種信用風(fēng)險或者非法信息，通過實時數(shù)據(jù)處理，亦可有效防范病毒侵入和線上攻擊行為。

3、數(shù)據(jù)實時分析

以制造業(yè)為例，制造企業(yè)內(nèi)往往會有傳感器、條形碼、遙測器等產(chǎn)品，這些其實都可看作是大數(shù)據(jù)分析技術(shù)的產(chǎn)物，比如分析遙測數(shù)據(jù)便可識別出機器使用模式;利用條形碼則可直接全程跟蹤貨物生產(chǎn)甚至顧客訂購信息，以此得出利于企業(yè)發(fā)展的決策數(shù)據(jù)。再比如衛(wèi)生保健類企業(yè)直接對患者作一系列關(guān)鍵指標(biāo)監(jiān)控測量，便可在大幅降低人工訪問前提下，有效提升患者健康水平;而通過傳感器所得大數(shù)據(jù)信息，相應(yīng)企業(yè)也能夠及時的予以管控，可以省去大量采集整合時間[4]。

結(jié)束語

綜上所述，大數(shù)據(jù)分析技術(shù)及其應(yīng)用本身具有十分多元的功能特征，其對于社會各行業(yè)領(lǐng)域發(fā)展有著不可替代的促進作用，科學(xué)利用大數(shù)據(jù)分析技術(shù)，也是我國科技生產(chǎn)水平得以不斷提高進步的基礎(chǔ)條件。

參考文獻

[1]? 倪冬云，高寶琪，邢占禮，王志遠(yuǎn)，劉玉龍，王坤.基于大數(shù)據(jù)分析的信息系統(tǒng)故障自動修復(fù)方法[J].電子設(shè)計工程，2020，28（10）：84-87+92.

[2]? 張新坤，胡曉曉.銀行大數(shù)據(jù)應(yīng)用淺析——基于數(shù)據(jù)應(yīng)用場景化案例分析[J].計算機產(chǎn)品與流通，2020（07）：120.

[3]? 張寧，唐嘉儀.大數(shù)據(jù)與輿論研究的“知識圖景”：基于“人與技術(shù)”分析框架[J].新聞與傳播評論，2020，73（03）：87-99.

[4]? 陳銀娣，王三梅.大數(shù)據(jù)時代裝備科技信息研究系統(tǒng)探索——基于高端需求和信息挖掘技術(shù)的裝備科技信息研究方法[J].情報理論與實踐，2020，43（04）：14-17.

作者簡介：袁狄，男，四川遂寧，學(xué)術(shù)研究方向：大數(shù)據(jù)應(yīng)用與技術(shù)。