基于云計(jì)算的大數(shù)據(jù)分析流程優(yōu)化路徑研究

摘要：近年來隨著科技時(shí)代到來，大數(shù)據(jù)、云計(jì)算已成為全球關(guān)注的熱點(diǎn)，云計(jì)算正處于高速發(fā)展的信息時(shí)代，數(shù)據(jù)也成為重要的資源備受關(guān)注。在大數(shù)據(jù)分析流程中，逐漸引入了云計(jì)算技術(shù)對(duì)其進(jìn)行不斷優(yōu)化升級(jí)，從而進(jìn)一步提升數(shù)據(jù)分析效率和質(zhì)量，減少海量數(shù)據(jù)處理時(shí)間，提升系統(tǒng)響應(yīng)能力。加強(qiáng)基于云計(jì)算的發(fā)數(shù)據(jù)分析流程優(yōu)化路徑探析，具有深遠(yuǎn)的現(xiàn)實(shí)意義。

關(guān)鍵詞：云計(jì)算；大數(shù)據(jù)分析；流程優(yōu)化

基于云計(jì)算技術(shù)對(duì)大數(shù)據(jù)分析流程進(jìn)行優(yōu)化，需要立足實(shí)際，結(jié)合大數(shù)據(jù)分析整體處理程序的具體要求，總結(jié)基本的運(yùn)行規(guī)律，并在數(shù)據(jù)存儲(chǔ)與訪問、并行處理、組織與管理方面進(jìn)行不斷探索創(chuàng)新，結(jié)合用戶需求和未來發(fā)展需要，將海量的信息通過有效的系統(tǒng)來進(jìn)行快速整合處理，才能有助于不斷提升大數(shù)據(jù)信息儲(chǔ)存與利用價(jià)值，更好地發(fā)揮數(shù)據(jù)資源應(yīng)有的功能。

1大數(shù)據(jù)基本內(nèi)涵及基本處理流程分析

大數(shù)據(jù)是指通過常規(guī)的手段和方法難以對(duì)海量數(shù)據(jù)進(jìn)行處理，只能依靠高端信息處理技術(shù)和方法對(duì)海量的數(shù)據(jù)在有限的時(shí)間內(nèi)進(jìn)行感知、獲取、加工、管理、處理和共享應(yīng)用的數(shù)據(jù)體系。大數(shù)據(jù)通常具有四個(gè)顯著的特點(diǎn)，分別為體量大、模態(tài)多樣、生成快速以及價(jià)值大密切低。大數(shù)據(jù)技術(shù)是對(duì)傳統(tǒng)數(shù)據(jù)處理技術(shù)和方法的進(jìn)一步升級(jí)，隨著云計(jì)算理念的提出，以及相關(guān)體系內(nèi)部系列技術(shù)的出現(xiàn)，越來越多的云計(jì)算技術(shù)平臺(tái)產(chǎn)生，為大數(shù)據(jù)處理提供了更好的技術(shù)服務(wù)平臺(tái)，對(duì)大數(shù)據(jù)處理流程優(yōu)化也帶來了很大的便利。在數(shù)據(jù)采集階段，隨著計(jì)算機(jī)互聯(lián)網(wǎng)技術(shù)不斷發(fā)展和廣泛應(yīng)用，數(shù)據(jù)來源也日益龐大，生產(chǎn)數(shù)據(jù)的環(huán)節(jié)也在不斷增多，從而大大提高了數(shù)據(jù)的產(chǎn)量，數(shù)據(jù)之間的關(guān)聯(lián)度等也越來越復(fù)雜，對(duì)數(shù)據(jù)采集提出了更高的速度和精度要求。所以需要對(duì)傳統(tǒng)的數(shù)據(jù)整合處理技術(shù)進(jìn)行不斷優(yōu)化升級(jí)，才能夠在最短的時(shí)間內(nèi)將海量復(fù)雜的數(shù)據(jù)通過一定的技術(shù)和方法實(shí)現(xiàn)快速簡(jiǎn)化處理，提高數(shù)據(jù)整合、處理和利用分享水平，更好地為用戶服務(wù)。如果單純地依靠傳統(tǒng)的大數(shù)據(jù)處理技術(shù)，隨著信息量不斷增大，將難以應(yīng)對(duì)未來高產(chǎn)量數(shù)據(jù)信息變化帶來的挑戰(zhàn)。所以需要對(duì)數(shù)據(jù)處理流程進(jìn)行全面整合，并探索更加有效的優(yōu)化處理技術(shù)，才能更好地提升數(shù)據(jù)資源的利用價(jià)值和服務(wù)效能。

2基于云計(jì)算的大數(shù)據(jù)分析流程優(yōu)化路徑分析

2.1基于云計(jì)算的大數(shù)據(jù)分析流程中存儲(chǔ)與訪問技術(shù)優(yōu)化路徑研究

在大數(shù)據(jù)分析流程中存儲(chǔ)與訪問技術(shù)優(yōu)化程序可以分成實(shí)現(xiàn)數(shù)據(jù)流與控制流分離以及不緩存數(shù)據(jù)優(yōu)化兩個(gè)方面。針對(duì)數(shù)據(jù)流與控制流分離方面，在進(jìn)行存儲(chǔ)與訪問技術(shù)優(yōu)化處理過程中，主要是借助云計(jì)算技術(shù)來構(gòu)建一種GFS文件系統(tǒng)，從而分流數(shù)據(jù)流和控制流。在整個(gè)文件系統(tǒng)節(jié)點(diǎn)中涉及很多的集群，每一個(gè)集群都配置了主控服務(wù)器，主控服務(wù)器可以對(duì)系統(tǒng)元數(shù)據(jù)進(jìn)行有效處理，客戶端作為以庫文件形式提供應(yīng)用程序的訪問接口進(jìn)行處理，GFS各個(gè)幾點(diǎn)數(shù)據(jù)會(huì)借助數(shù)據(jù)塊服務(wù)器，從而將數(shù)據(jù)通過文件的形式進(jìn)行儲(chǔ)存，進(jìn)行訪問。數(shù)據(jù)塊服務(wù)器配置數(shù)量需要根據(jù)集群系統(tǒng)的規(guī)模來確定。在整個(gè)GFS文件體系中，分塊存儲(chǔ)的數(shù)據(jù)大小控制在64MB，并建立與數(shù)據(jù)庫相對(duì)應(yīng)的索引號(hào)，這樣便于及時(shí)進(jìn)行查找，并進(jìn)行信息定位有效傳送，將最準(zhǔn)確的信息按照既定的服務(wù)模塊傳輸至客戶端，用戶可以根據(jù)自己的需求進(jìn)行信息讀取等，這樣就可以將主控服務(wù)器與客戶端的數(shù)據(jù)進(jìn)行遠(yuǎn)程有效傳輸，進(jìn)一步降低了主控服務(wù)器承載負(fù)荷，并可以實(shí)現(xiàn)多個(gè)數(shù)據(jù)塊服務(wù)器的同步訪問。

2.2基于云計(jì)算的大數(shù)據(jù)分析流程中并行處理技術(shù)的優(yōu)化路徑研究

并行處理技術(shù)還可以分成邏輯分析技術(shù)與資源配置優(yōu)化兩個(gè)方面。整個(gè)大數(shù)據(jù)分析過程中，通常需要根據(jù)數(shù)據(jù)的邏輯關(guān)系進(jìn)行要素分解，進(jìn)而通過對(duì)比的方式來總結(jié)規(guī)律，并對(duì)主次關(guān)系進(jìn)行研究，進(jìn)一步推理，尋找內(nèi)在聯(lián)系和運(yùn)行規(guī)律。想要不斷提升邏輯分析水平，需要對(duì)問題從分解處理到整合應(yīng)用方面進(jìn)行流程整合與優(yōu)化?？梢越柚朴?jì)算技術(shù)構(gòu)建數(shù)據(jù)處理模型，對(duì)各類數(shù)據(jù)進(jìn)行并行處理，對(duì)任務(wù)按照既定的程序進(jìn)行分解，劃分為不同的數(shù)據(jù)塊單元，隨后進(jìn)行分支并行處理，集約化計(jì)算，這樣將數(shù)據(jù)結(jié)果自動(dòng)生成，完整地體現(xiàn)。與計(jì)算技術(shù)服務(wù)體系在大數(shù)據(jù)問題邏輯分析方面提供強(qiáng)大的技術(shù)保障和服務(wù)支持。在數(shù)據(jù)資源優(yōu)化配置方面，由于數(shù)據(jù)系統(tǒng)比較龐雜，需要對(duì)海量信息進(jìn)行集中處理和優(yōu)化，才能提高資源最大化利用水平，提升使用價(jià)值。

2.3基于云計(jì)算的大數(shù)據(jù)分析流程中組織與管理技術(shù)優(yōu)化路徑研究

在組織與管理技術(shù)優(yōu)化方面，云計(jì)算的優(yōu)勢(shì)主要體現(xiàn)在以下方面：一方面云計(jì)算可以通過對(duì)數(shù)據(jù)模型組織結(jié)構(gòu)進(jìn)行優(yōu)化，設(shè)計(jì)一種基于云計(jì)算技術(shù)的以Bigtable為載體的分布式多維映射表，這樣可以對(duì)數(shù)據(jù)模型中的行、列關(guān)鍵字和時(shí)間戳實(shí)現(xiàn)索引，從而提高數(shù)據(jù)優(yōu)化處理效果。通常情況下Bigtable的最大行關(guān)鍵字為64KB的字符串，列設(shè)計(jì)中引入列族方式減少多樣列關(guān)鍵字的干涉，從而有效提升集中處理效率。在引入時(shí)間戳改進(jìn)體系中，借助Bigtable在數(shù)據(jù)模型中引入非順序處理的時(shí)間戳，從而提高了數(shù)據(jù)項(xiàng)間的價(jià)值關(guān)聯(lián)度，進(jìn)一步提升了數(shù)據(jù)分類整合和處理效率。

3“大數(shù)據(jù)”環(huán)境下計(jì)算機(jī)處理技術(shù)在未來的發(fā)展趨勢(shì)

3.1 云計(jì)算網(wǎng)絡(luò)的發(fā)展方向

在大數(shù)據(jù)時(shí)代下，普通的計(jì)算機(jī)硬件已經(jīng)無法滿足現(xiàn)階段的數(shù)據(jù)需求。傳統(tǒng)的計(jì)算機(jī)硬件構(gòu)建也存在著一些問題，其中比較明顯的就是這些數(shù)據(jù)需求已經(jīng)超過了現(xiàn)階段計(jì)算機(jī)的硬件需求。云計(jì)算網(wǎng)絡(luò)也擁有一定的信息儲(chǔ)存能力，彌補(bǔ)了計(jì)算機(jī)處理數(shù)據(jù)緩慢和效率低下等問題，以此來確保云計(jì)算處理技術(shù)的高效性和便捷性?，F(xiàn)代化的行業(yè)多種多樣，但是無論是哪個(gè)行業(yè)都需要圍繞著網(wǎng)絡(luò)而生存，而企業(yè)的辦公也離不開網(wǎng)絡(luò)。從市場(chǎng)發(fā)展的角度來看，在技術(shù)上也是克服掉一些問題，由于云計(jì)算的使用概率是非常高的，涉及到的行業(yè)比較多，這就導(dǎo)致我們的生活都需要云計(jì)算來提供，但是這僅僅是一個(gè)短期的需求。因此，在未來的發(fā)展中，云計(jì)算也要構(gòu)建在一個(gè)高速、穩(wěn)定的網(wǎng)絡(luò)基礎(chǔ)上，讓網(wǎng)絡(luò)產(chǎn)品廠商能夠提供一些應(yīng)用服務(wù)保證，然后在此基礎(chǔ)上去選擇一些傳輸路徑更高、更穩(wěn)定的產(chǎn)品。

3.2安全信息技術(shù)的發(fā)展方向

在大數(shù)據(jù)背景下，信息泄露的后果是非常嚴(yán)重的，所以在這種情況下也應(yīng)該將信息技術(shù)放置在一個(gè)非常重要的位置上。信息安全中的關(guān)鍵技術(shù)包含了保密、隱蔽和信息認(rèn)證技術(shù)，保密則是防止信息泄露，隱蔽則是用于隱蔽通信、版權(quán)保護(hù)等。而在未來的發(fā)展中，信息安全技術(shù)主要是從網(wǎng)路化、標(biāo)準(zhǔn)化和集成化等多個(gè)方向發(fā)展，這實(shí)際上也是信息安全技術(shù)最主要的發(fā)展方向。同時(shí)，對(duì)于我國(guó)的實(shí)際情況而言，網(wǎng)絡(luò)安全的發(fā)展趨勢(shì)也要向著自主研制的方向發(fā)展，形成一些自己國(guó)家的操作系統(tǒng)和數(shù)據(jù)庫。要知道，確保中國(guó)計(jì)算機(jī)安全的關(guān)鍵則是確保知識(shí)產(chǎn)權(quán)和技術(shù)，盡量從根本上去擺脫掉對(duì)外國(guó)技術(shù)的依賴。最后，在安全技術(shù)不斷發(fā)展的情況下，強(qiáng)化安全技術(shù)的應(yīng)用也是網(wǎng)絡(luò)發(fā)展的重點(diǎn)內(nèi)容。

結(jié)論

基于云計(jì)算的大數(shù)據(jù)分析流程的優(yōu)化路徑，主要是通過大數(shù)據(jù)分析流程中存儲(chǔ)與訪問技術(shù)的優(yōu)化路徑，大數(shù)據(jù)分析流程中組織與管理技術(shù)的優(yōu)化路徑組成。為用戶的訪問操作提供了便利、快捷，也在一定基礎(chǔ)上推動(dòng)了數(shù)據(jù)發(fā)展。

參考文獻(xiàn)

[1]熊俊.基于云計(jì)算的大數(shù)據(jù)分析流程優(yōu)化路徑研究[J].電腦知識(shí)與技術(shù)，2018，15（08）：181-182+185.

[2]趙明哲.基于云計(jì)算的大數(shù)據(jù)分析流程的優(yōu)化路徑[J].中國(guó)新通信，2018，20（21）：37.

[3]王偉鈞.基于云計(jì)算的大數(shù)據(jù)分析流程的優(yōu)化路徑[J].電子技術(shù)與軟件工程，2018（21）：164.

[4]高原.基于大數(shù)據(jù)的ASD公司營(yíng)銷管理組織與流程優(yōu)化研究[D].吉林大學(xué)，2018.

作者簡(jiǎn)介：李旭輝；出生年月：1998.03籍貫：甘肅靖遠(yuǎn)；

（作者單位：蘭州大學(xué)信息科學(xué)與工程學(xué)院）