基于云計算的大數(shù)據(jù)處理及關鍵技術分析

田麗華

（吉林工程技術師范學院應用理學院 吉林省長春市 130052）

云計算技術是互聯(lián)網(wǎng)技術推出的全新計算方式，采用這樣的計算方式能夠根據(jù)網(wǎng)絡平臺不同的需求來實現(xiàn)資源信息的完全共享。共享資源可以包含服務器、儲存器或者應用程序，在這樣的大環(huán)境下不需要管理員就可以做到輕松快捷地將共享資源進行配置。結合大數(shù)據(jù)處理技術能夠對海量的信息進行處理、儲存和管理，能夠隨時查找有效信息。

1 云計算技術概述

云計算的概念較為廣泛，涉及到的內容也較多，但主要提到的還是網(wǎng)絡計算這一部分技術。通過云計算的形式來將數(shù)據(jù)以及信息進行處理加工之后廣泛地傳播出去。云計算具有其他技術所不具備的優(yōu)秀的資源池，可以保存海量信息和數(shù)據(jù)，具有十分遼闊的空間范圍，能夠為用戶提供優(yōu)質的服務，滿足人們的任何需求。對網(wǎng)絡平臺上的信息以及各項資源都能夠進行系統(tǒng)的調整和不斷地完善。云計算的內部同樣也包含了許多的服務項目設施，能夠結合大數(shù)據(jù)的特點對數(shù)據(jù)信息進行有效的處理，也可以通過虛擬技術來對數(shù)據(jù)進行保存，進而達到對數(shù)據(jù)有效管理的最終目的。

2 云技術與大數(shù)據(jù)處理技術的交匯點

新時代背景下，云計算已經(jīng)逐漸發(fā)展成熟，通過優(yōu)質的互聯(lián)網(wǎng)技術能夠將網(wǎng)絡上的資源進行計算、整合、存儲，進而形成豐富的數(shù)據(jù)資源庫，隨時為用戶提供便捷精準的服務。云計算自身具備了無限性、便捷靈活以及透明化的特點，通過采用云計算技術能夠有效對動態(tài)數(shù)據(jù)信息進行處理和分析，操作透明化的同時也能夠保障準確性避免人為失誤。云計算的應用范圍廣泛，不受地域、空間、時間、行業(yè)的限制，各行各業(yè)都可以根據(jù)企業(yè)的實際情況來選用適合自身企業(yè)的云計算模式。云計算能夠高效快捷地處理數(shù)據(jù)資源，更能夠結合用戶的實際需求來進行計算，更有針對性地為客戶提供服務。在云計算的基礎上運用大數(shù)據(jù)處理技術能夠起到強強聯(lián)手的作用。云計算借助網(wǎng)絡快速遞收集信息，大數(shù)據(jù)處理技術則設立用戶所需的平臺來處理收集到的信息，這樣的互相輔助能夠有效地密目大數(shù)據(jù)處理技術中所存在的缺陷，在提供給用戶有效數(shù)據(jù)的同時也能夠提供數(shù)據(jù)存儲以及數(shù)據(jù)處理的服務?？梢哉f云計算能夠充分地發(fā)揮大數(shù)據(jù)處理技術的效果，云計算可以作為大數(shù)據(jù)處理技術的優(yōu)秀載體，將大數(shù)據(jù)處理技術推廣到更多的行業(yè)當中。

3 云計算在大數(shù)據(jù)處理技術中的關鍵技術

3.1 對數(shù)據(jù)隱私的保護

圖1：大數(shù)據(jù)可視化技術在企業(yè)核心業(yè)務中的展現(xiàn)

就網(wǎng)絡技術而言，任何數(shù)據(jù)處理技術在安全保護方面都存在著一定的風險性。任何供應商在提供數(shù)據(jù)計算服務時都會存在著數(shù)據(jù)安全以及數(shù)據(jù)隱私保護風險的問題。云計算平臺采用隱式機制的數(shù)據(jù)存儲方案能夠有效避免了管理密鑰等復雜的數(shù)據(jù)加密過程。雖然不能完全杜絕信息泄露的情況，但極大程度杜絕了因操作失誤以及云服務器自身原因而造成的數(shù)據(jù)泄露情況，采用多個云服務器的聯(lián)合數(shù)據(jù)存儲方案將用戶數(shù)據(jù)分別存儲與不同的云服務器中最后經(jīng)過一個云服務器來統(tǒng)一進行數(shù)據(jù)計算就能夠最大限度抑制數(shù)據(jù)泄露的風險。用戶得到加密數(shù)據(jù)之后只需要解密數(shù)據(jù)就能夠得到有效數(shù)據(jù)。這種數(shù)據(jù)保密存儲方案能夠有效降低投入成本，同時也能夠提升云計算技術當中的數(shù)據(jù)處理效率，有效地提升了用戶數(shù)據(jù)的安全系數(shù)。這種方案的優(yōu)勢在于能夠將數(shù)據(jù)計算結果安全隱私徹底保護起來，在保障數(shù)據(jù)計算準確性的同時也能夠保障計算條目數(shù)體積條目內容的安全隱私。

3.2 數(shù)據(jù)的海量存儲

云計算大數(shù)據(jù)處理技術對數(shù)據(jù)存儲的安全可靠和讀寫效率是這項關鍵技術的基礎內容。云計算存儲通常會采用分布的存儲方式，即將海量的數(shù)據(jù)分別存儲在集群的服務期當中，同時對數(shù)據(jù)進行備份，采用數(shù)據(jù)加密的技術來確保數(shù)據(jù)存儲能夠安全可靠。云計算采用HDFS 存儲系統(tǒng)，HDFS 的容錯功能較高，即使是性能較差的硬件中也能夠使用，具備較大的數(shù)據(jù)吞吐量，能夠應用在任何領域的數(shù)據(jù)收集方面。HDFS 系統(tǒng)能夠采用流式的方法來讀取文件系統(tǒng)中的所有數(shù)據(jù)。在大數(shù)據(jù)處理技術方面經(jīng)常用HDFS 來作為平臺之間遷徙數(shù)據(jù)的系統(tǒng)，這樣讓大數(shù)據(jù)的應用能夠更加方便快捷。

3.3 對數(shù)據(jù)的有效管理

在大數(shù)據(jù)技術的關鍵技術中，存儲是所有數(shù)據(jù)管理的基礎。當數(shù)據(jù)能夠進行妥善存儲之后就能夠對數(shù)據(jù)進行統(tǒng)一的管理。在管理方面，主要分為兩個部分，一個是對大數(shù)據(jù)的相關內容進行管理，另一個則是對大數(shù)據(jù)的具體存儲來進行管理。大數(shù)據(jù)處理技術可以根據(jù)內容來分門別類對數(shù)據(jù)進行管理，要點在于確保數(shù)據(jù)的真實可靠并且完整，這樣的管理才有意義也方便之后對數(shù)據(jù)進行分析。而在數(shù)據(jù)的存儲方面需要采用更容易識別以及更加科學的存儲方式，這樣能夠方便系統(tǒng)在對數(shù)據(jù)內容進行識別時的工作效率，有效提升信息資源的利用率。

3.4 軟硬件環(huán)境的搭建

云計算大數(shù)據(jù)處理技術的算法首先要搭建軟硬件，在云計算的環(huán)境下采用HDFS 作為開源分布的整體框架，采用分布編程模型MapReduce 來進行運行。搭建環(huán)境前，需要安裝Linux 系統(tǒng)作為計算機的集群，在虛擬機組上安裝vim 以及ssh。對主機的名稱和網(wǎng)絡配置進行更改，其中包括了子網(wǎng)的掩碼以及DNS 服務器等，同時也要對計算機群組上的所有etc，hosts 文件進行更改，更改后配置了ssh 就無須登錄密碼了。采用分布式密度峰值聚類算法能夠進行大規(guī)模的高維度數(shù)據(jù)性能的檢測，從檢測結果能夠看出這種算法所得的數(shù)據(jù)點副本個數(shù)的增長較為緩慢，副本的數(shù)量會漸漸變少，這樣就能夠有效地縮短數(shù)據(jù)點之間的距離計算次數(shù)，極大程度地減少了程序執(zhí)行的時間。

3.5 對數(shù)據(jù)的采集

云計算大數(shù)據(jù)處理系統(tǒng)能夠根據(jù)對數(shù)據(jù)采用集中式采集以及分布式采集兩種采集方法。通常會結合實際的數(shù)據(jù)環(huán)境來選擇更加適合更加科學的采集方式。在不同的行業(yè)中，大數(shù)據(jù)采集的過程各有不同，通過對數(shù)據(jù)資源的采集來對信息技術進行精準的計算，這兩種采集方式一方面能夠有效地對數(shù)據(jù)資源進行統(tǒng)一，另一方面也可以十分靈活地對不同的數(shù)據(jù)資源進行采集。采用獨立服務器來對數(shù)據(jù)進行處理，極大程度地提升了數(shù)據(jù)的采集和處理效率，通過云計算來對數(shù)據(jù)進行分門別類的存儲，有效提升了大數(shù)據(jù)的整體處理效率。我國現(xiàn)階段廣泛使用此技術的企業(yè)有國家電網(wǎng)、醫(yī)院等，在系統(tǒng)運行過程中能夠實時監(jiān)控數(shù)據(jù)的運行情況，及時發(fā)現(xiàn)數(shù)據(jù)運行過程中出現(xiàn)的問題，最大限度地保障了企業(yè)數(shù)據(jù)能夠安全存儲，通過計算機系統(tǒng)來設置數(shù)據(jù)群組有效限制了數(shù)據(jù)的訪問權限，對企業(yè)的計算機系統(tǒng)設計流程也能夠起到優(yōu)化的作用。

3.6 大數(shù)據(jù)可視化技術

云計算大數(shù)據(jù)處理技術還擁有可視化的特點，能夠以圖形或者圖表等直觀的方式來讓用戶對數(shù)據(jù)進行查閱或者瀏覽。用戶通過更加直觀的數(shù)據(jù)圖表能夠更加容易地理解信息中的內容?？梢暬夹g能夠清晰地將數(shù)據(jù)運行的規(guī)律展現(xiàn)給用戶，讓用戶有更直觀的概念，如在銀行金融行業(yè)方面能夠展現(xiàn)出階段性的數(shù)據(jù)報表信息，財務人員能夠更加直觀地對數(shù)據(jù)進行對比并且對數(shù)據(jù)進行分析。同時可視化技術也能夠將風險性數(shù)據(jù)信息進行單獨標識，形成更加具體化的視覺結構，便于工作人員加大對風險的關注。通過可視化圖表用戶能夠掌握數(shù)據(jù)的運行規(guī)律制定相應的風險對應措施，降低企業(yè)的經(jīng)濟損失。另外，大數(shù)據(jù)的可視化技術近幾年也應用在建筑行業(yè)的施工過程和管理當中，通過可視化的界面能夠隨時掌握施工的進度和過程，并且對倉庫的材料存儲實現(xiàn)可視化數(shù)據(jù)管理，能夠更加優(yōu)化材料的資源配置，對工程相關數(shù)據(jù)能夠進行精準的判斷，為后期的建設施工打下良好的基礎。單一數(shù)據(jù)的呈現(xiàn)已經(jīng)無法滿足現(xiàn)代人們的需求，相比于對繁瑣、復雜、毫無規(guī)律可尋的數(shù)據(jù)進行閱讀，人們更喜歡對可視化的數(shù)據(jù)圖表行性閱讀，應為人類是視覺動物，對視覺圖像的捕捉能力要絕對優(yōu)于對數(shù)字的閱讀與理解，當前云計算與大數(shù)據(jù)處理技術已經(jīng)逐漸趨于成熟，云計算與大數(shù)據(jù)處理技術的發(fā)展能夠將數(shù)據(jù)可視化的問題完美的解決，通過一系列的技術處理，可以在后臺通過相關技術手段將數(shù)據(jù)從數(shù)據(jù)庫中鉆取后，分門別類的對數(shù)據(jù)進行特定的加工處理，而后將數(shù)據(jù)通過前臺傳送至屏幕最終展現(xiàn)給觀眾，觀眾能夠從例如：圖1 大數(shù)據(jù)可視化技術在企業(yè)核心業(yè)務中的展現(xiàn)中，直觀的感受到當前企業(yè)的業(yè)務具體發(fā)展情況，為企業(yè)的進一步擴張與發(fā)展提供詳細的數(shù)據(jù)支持。

3.7 大數(shù)據(jù)挖掘技術

云計算大數(shù)據(jù)技術能夠采用聯(lián)機分析的技術對不同層次的數(shù)據(jù)信息進行分析和掌握。云計算模式下的大數(shù)據(jù)技術能夠對數(shù)據(jù)的本質進行深層挖掘，通過對數(shù)據(jù)的分析來挖掘出不同數(shù)據(jù)之間的關聯(lián)，采用概念模式報表等形式將關聯(lián)性體現(xiàn)出來。當前我國大數(shù)據(jù)在海量數(shù)據(jù)中的采用的挖掘方法通常是并行的方式，傳統(tǒng)的串行數(shù)據(jù)區(qū)域不足，同時也會消耗過多的時間，工作效率不高。采用分布式的挖掘方法能夠有效地采用多樣綜合的方式來拆分集群，有效減少數(shù)據(jù)的計算時間，同時也能夠提升數(shù)據(jù)計算的準確率。采用云計算大數(shù)據(jù)的挖掘技術比較其他的串行挖掘方式能夠有效對供給系統(tǒng)來進行集群拆分，能夠同時使用多機來進行計算，極大程度降低了數(shù)據(jù)處理的成本投入，有效提升了處理的效率和水平。

4 結束語

綜上所述，大數(shù)據(jù)利用云計算這一有效平臺能夠在進行海量數(shù)據(jù)處理的同時深入挖掘數(shù)據(jù)中的核心內容。采用密度峰值聚類算法來進行分析能夠加大大數(shù)據(jù)處理相關技術的研發(fā)深度，同時，云計算具備強大的存儲能力，能夠讓大數(shù)據(jù)處理技術對海量信息高效處理的同時保障數(shù)據(jù)的安全存儲。社會各個行業(yè)都在廣泛采用云計算大數(shù)據(jù)處理技術，我國的科學技術人員應當充分掌握大數(shù)據(jù)的關鍵技術特點以及其充分的功能優(yōu)勢，更加深層地挖掘大數(shù)據(jù)處理技術在各個行業(yè)的應用價值，在現(xiàn)有技術的基礎上不斷地進行改善和革新，通過開發(fā)更多的新技術來為大數(shù)據(jù)處理服務提供更為高效的服務，這樣才能夠推動大數(shù)據(jù)處理技術的健康可持續(xù)性發(fā)展，進而推動社會和經(jīng)濟的發(fā)展，為國家的建設添磚加瓦。