云計(jì)算技術(shù)在計(jì)算機(jī)大數(shù)據(jù)分析中的應(yīng)用探析

李壽清

（四川工商學(xué)院，四川 成都 611745）

0 引 言

云計(jì)算技術(shù)在大數(shù)據(jù)系統(tǒng)中既可以提高數(shù)據(jù)的運(yùn)行效率，又可以減少運(yùn)作與維護(hù)的支出，在未來(lái)必定會(huì)成為兼具廣泛性與基礎(chǔ)性的一種數(shù)據(jù)處理技術(shù)，同時(shí)能夠有效解決廣大用戶在海量數(shù)據(jù)運(yùn)算處理和資源儲(chǔ)存上的問(wèn)題，不斷提升互聯(lián)網(wǎng)及平臺(tái)的服務(wù)水平。現(xiàn)代社會(huì)已經(jīng)進(jìn)入信息化發(fā)展的新時(shí)代，在研究維度和商業(yè)維度，數(shù)據(jù)均起到了關(guān)鍵作用。在科技的快速發(fā)展下，現(xiàn)代化儲(chǔ)存技術(shù)持續(xù)興起，大眾需要從海量的復(fù)雜化數(shù)據(jù)中挖掘所需的信息。因此，必須對(duì)大數(shù)據(jù)技術(shù)與云計(jì)算技術(shù)展開(kāi)進(jìn)一步的研究，以此強(qiáng)化甄別數(shù)據(jù)的能力。

1 相關(guān)概述

1.1 云計(jì)算技術(shù)

大數(shù)據(jù)本身并不能產(chǎn)生價(jià)值，只有擁有了大規(guī)模的數(shù)據(jù)處理能力，并對(duì)其進(jìn)行計(jì)算、挖掘和分析，將數(shù)據(jù)提煉成有用的信息，才能創(chuàng)造價(jià)值。云計(jì)算是一種基于互聯(lián)網(wǎng)的計(jì)算方式，是并行計(jì)算、網(wǎng)絡(luò)存儲(chǔ)、虛擬化等傳統(tǒng)計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)發(fā)展融合的產(chǎn)物。云計(jì)算技術(shù)能夠通過(guò)網(wǎng)絡(luò)以便捷的、所需的方式進(jìn)入可配置的計(jì)算資源共享池（包括網(wǎng)絡(luò)、服務(wù)器、存儲(chǔ)、應(yīng)用和服務(wù)等），并提高其可用性。云計(jì)算技術(shù)可以有效整合網(wǎng)絡(luò)資源，搭建處理大數(shù)據(jù)的計(jì)算平臺(tái)，高效、低成本地對(duì)大數(shù)據(jù)進(jìn)行存儲(chǔ)與挖掘。大數(shù)據(jù)是生產(chǎn)資料，云計(jì)算技術(shù)是加工大數(shù)據(jù)的手段和平臺(tái)，兩者密不可分。本質(zhì)上，智慧城市建設(shè)是從海量數(shù)據(jù)中挖掘城市運(yùn)行所需的價(jià)值信息，并及時(shí)對(duì)各類業(yè)務(wù)場(chǎng)景給予“智慧化”的響應(yīng)。智慧城市作為一個(gè)由多應(yīng)用、多行業(yè)、復(fù)雜系統(tǒng)組成的綜合體，要從根本上支撐智慧城市龐大系統(tǒng)的高效、安全運(yùn)行，必須考慮基于云計(jì)算的網(wǎng)絡(luò)架構(gòu)?；谫Y源共享池的云計(jì)算能夠有效整合計(jì)算資源，處理更大規(guī)模的數(shù)據(jù)，并且能夠?qū)?shù)據(jù)進(jìn)行深度挖掘，從而為政府決策、企業(yè)發(fā)展以及公眾服務(wù)提供更強(qiáng)大的支撐。因此，云計(jì)算技術(shù)和大數(shù)據(jù)已經(jīng)成為智慧城市建設(shè)的重要基石[1-3]。

1.2 大數(shù)據(jù)技術(shù)

1.2.1 大數(shù)據(jù)的發(fā)展歷程

在牛津英語(yǔ)辭典記載中，“大數(shù)據(jù)”這一專業(yè)術(shù)語(yǔ)在1941 被首次使用。它的前身Hadoop 最初由雅虎公司創(chuàng)建，創(chuàng)建的目的是解決網(wǎng)頁(yè)搜索。此后，由于Hadoop 強(qiáng)大的技術(shù)含量，被Apache Software Foundation 公司引進(jìn)用于開(kāi)源應(yīng)用程序。網(wǎng)絡(luò)愛(ài)好者通過(guò)開(kāi)源應(yīng)用可以修改并分享一些大數(shù)據(jù)。Hadoop自身不是一個(gè)獨(dú)立的產(chǎn)品，是由許多軟件共同組成的生態(tài)系統(tǒng)的一部分。這些軟件的出現(xiàn)實(shí)現(xiàn)了網(wǎng)絡(luò)數(shù)據(jù)信息的全面功能化，使得人們通過(guò)軟件對(duì)數(shù)據(jù)信息進(jìn)行靈活和詳細(xì)的分析與篩選。

用來(lái)儲(chǔ)存大量數(shù)據(jù)的Hadoop 分布式文件系統(tǒng)（Hadoop Distributed File System，HDFS）和MapReduce技術(shù)的高性能并行數(shù)據(jù)處理系統(tǒng)共同組成了Hadoop的構(gòu)架。Hadoop 的構(gòu)架、分布式文件系統(tǒng)以及分布式程序設(shè)計(jì)是大數(shù)據(jù)技術(shù)的核心程序。計(jì)算機(jī)運(yùn)用這些技術(shù)可以將一個(gè)復(fù)雜化的數(shù)據(jù)結(jié)構(gòu)進(jìn)行快速、可靠的分析并基礎(chǔ)化。2015 年，美國(guó)正式發(fā)布了關(guān)于促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)的綱要。隨著計(jì)算機(jī)科研人員的不斷精心設(shè)計(jì)和多方協(xié)調(diào)，大數(shù)據(jù)技術(shù)不斷走向成熟，逐漸形成了安全性、高效性、平穩(wěn)性強(qiáng)且以人為本的服務(wù)大眾的數(shù)據(jù)信息項(xiàng)目。2016 年，大數(shù)據(jù)在技術(shù)信息含量和信息處理技術(shù)上給予了充分的肯定，我國(guó)計(jì)算機(jī)數(shù)據(jù)研究工作者對(duì)大數(shù)據(jù)進(jìn)行了進(jìn)一步的修改和研發(fā)，逐漸將大數(shù)據(jù)應(yīng)用在工業(yè)、制作業(yè)、軍事以及醫(yī)療等各項(xiàng)產(chǎn)業(yè)，建立了跨行業(yè)計(jì)算機(jī)大數(shù)據(jù)網(wǎng)絡(luò)[4-6]。

1.2.2 大數(shù)據(jù)的定義

大數(shù)據(jù)一般指的是在一定時(shí)限內(nèi)不能利用常規(guī)工具采集、處理、管理其相關(guān)內(nèi)容的數(shù)據(jù)集合。大數(shù)據(jù)通常包含以下特點(diǎn)：一是具有大量的數(shù)據(jù)，超過(guò)PB 級(jí)；二是具有豐富的數(shù)據(jù)類型，如音頻、視頻、圖片以及文本等；三是具有很快的處理速度，應(yīng)遵照一秒定律，可在不同類型數(shù)據(jù)中快速取得相關(guān)信息數(shù)據(jù)并進(jìn)行歸納處理；四是具有很低的價(jià)值密度，在大量的數(shù)據(jù)中，有用的數(shù)據(jù)所占比例較少。

1.3 云計(jì)算技術(shù)與計(jì)算機(jī)大數(shù)據(jù)的關(guān)系

從技術(shù)視域來(lái)看，云計(jì)算與大數(shù)據(jù)息息相關(guān)。一臺(tái)單獨(dú)的計(jì)算機(jī)難以有效處理大數(shù)據(jù)，必須要利用分布式結(jié)構(gòu)處理海量的數(shù)據(jù)。由此可見(jiàn)，若想實(shí)現(xiàn)數(shù)據(jù)在云計(jì)算中的應(yīng)用，云計(jì)算需要進(jìn)行實(shí)時(shí)分布式處理。大數(shù)據(jù)計(jì)算模式在云計(jì)算技術(shù)下出現(xiàn)了很大的改變，能夠通過(guò)網(wǎng)絡(luò)為不同的用戶提供動(dòng)態(tài)化、虛擬化的數(shù)據(jù)資源。云計(jì)算資源基于用戶需要進(jìn)行數(shù)據(jù)處理，幫助用戶完成對(duì)網(wǎng)絡(luò)資源的有效瀏覽，大幅提高網(wǎng)絡(luò)資源的應(yīng)用率。

2 大數(shù)據(jù)技術(shù)應(yīng)用的不足

隨著我國(guó)邁入“互聯(lián)網(wǎng)+”時(shí)代，數(shù)據(jù)支持已成為智慧城市建設(shè)的基礎(chǔ)。在大量數(shù)據(jù)信息條件下，大數(shù)據(jù)的實(shí)用性、真實(shí)性、安全隱私等相關(guān)因素成為影響城市發(fā)展的重要瓶頸。社會(huì)大眾在采集并應(yīng)用信息數(shù)據(jù)時(shí)，不局限于按照個(gè)人的喜好進(jìn)行推動(dòng)。在不斷的發(fā)展中，大數(shù)據(jù)已從個(gè)人、企業(yè)上升到社會(huì)層面。有效提高整體產(chǎn)業(yè)的專業(yè)能力與綜合素質(zhì)是大數(shù)據(jù)高速發(fā)展進(jìn)步的基礎(chǔ)條件。此外，大數(shù)據(jù)行業(yè)中的專業(yè)人才不足已成為影響企業(yè)發(fā)展的重要問(wèn)題。大數(shù)據(jù)人才不僅涉及計(jì)算機(jī)人才，而且涉及數(shù)學(xué)、統(tǒng)計(jì)學(xué)、理化等復(fù)合型人才。人才的斷檔不能有效彌補(bǔ)，未來(lái)大數(shù)據(jù)的發(fā)展將面臨嚴(yán)峻的挑戰(zhàn)，影響智慧城市的建設(shè)。

3 計(jì)算機(jī)網(wǎng)絡(luò)安全現(xiàn)狀

隨著網(wǎng)絡(luò)技術(shù)的不斷進(jìn)步，雖然網(wǎng)速明顯提升，但也使計(jì)算機(jī)網(wǎng)絡(luò)安全面臨著越來(lái)越嚴(yán)峻的挑戰(zhàn)。首先，網(wǎng)絡(luò)攻擊種類不斷增多，攻擊面越來(lái)越廣。隨著黑客技術(shù)的不斷進(jìn)步，網(wǎng)絡(luò)攻擊手段不斷升級(jí)，如釣魚(yú)攻擊、勒索軟件攻擊、分布式拒絕服務(wù)（Distributed Denial of Service，DDoS）攻擊、零日漏洞利用攻擊以及人工智能黑客攻擊等，給網(wǎng)絡(luò)安全帶來(lái)了巨大的挑戰(zhàn)。隨著物聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)等技術(shù)的發(fā)展，網(wǎng)絡(luò)連接的設(shè)備數(shù)量和種類不斷增加，網(wǎng)絡(luò)攻擊面也越來(lái)越廣。其次，病毒傳播速度更快。由于技術(shù)的進(jìn)步，數(shù)據(jù)傳輸速度更快，使網(wǎng)絡(luò)中的病毒和惡意軟件也能夠更快地傳播和擴(kuò)散，給用戶的信息安全和網(wǎng)絡(luò)安全帶來(lái)更大的威脅。最后，網(wǎng)絡(luò)安全意識(shí)不足。使用者缺乏網(wǎng)絡(luò)安全知識(shí)，容易受到網(wǎng)絡(luò)攻擊，如通過(guò)弱密碼登錄、接收垃圾郵件等方式，使網(wǎng)絡(luò)攻擊者能夠輕松獲取用戶的個(gè)人信息，降低了網(wǎng)絡(luò)安全系數(shù)。

4 云計(jì)算技術(shù)在計(jì)算機(jī)大數(shù)據(jù)分析中的應(yīng)用分析

4.1 應(yīng)用于營(yíng)銷領(lǐng)域

大數(shù)據(jù)分析以及云計(jì)算技術(shù)的充分融合促進(jìn)了個(gè)性化營(yíng)銷等行業(yè)的發(fā)展。新時(shí)代，人們對(duì)于信息資源越來(lái)越重視。云計(jì)算技術(shù)在營(yíng)銷領(lǐng)域的應(yīng)用，能夠?yàn)榭蛻絷P(guān)系管理和維護(hù)帶來(lái)較大的便捷性。尤其是近年來(lái)，各種電商平臺(tái)的出現(xiàn)，可以實(shí)時(shí)掌握消費(fèi)者的消費(fèi)意向，將購(gòu)買(mǎi)動(dòng)機(jī)轉(zhuǎn)化為購(gòu)買(mǎi)行為。系統(tǒng)會(huì)根據(jù)消費(fèi)者的信息進(jìn)行綜合分析評(píng)估，自動(dòng)記錄，保留消費(fèi)者的瀏覽足跡，包括瀏覽點(diǎn)擊量、頁(yè)面信息、時(shí)間長(zhǎng)短等內(nèi)容，綜合分析用戶的購(gòu)買(mǎi)行為以及現(xiàn)狀，根據(jù)相應(yīng)的內(nèi)容為消費(fèi)者預(yù)測(cè)信息，提供相應(yīng)的推送產(chǎn)品以及內(nèi)容。在營(yíng)銷領(lǐng)域運(yùn)用過(guò)程中，雖然客戶會(huì)察覺(jué)到App 推送自己搜索過(guò)的產(chǎn)品，但不會(huì)泄露用戶的基本信息，還能為用戶推送感興趣的產(chǎn)品，實(shí)現(xiàn)客戶資源的有效應(yīng)用。系統(tǒng)平臺(tái)還會(huì)針對(duì)不同類型的客戶消費(fèi)意向以及客戶數(shù)據(jù)采用針對(duì)性的統(tǒng)計(jì)分析構(gòu)建消費(fèi)數(shù)據(jù)庫(kù)，充分挖掘有價(jià)值、有規(guī)律的信息，為商家營(yíng)銷提供決策支持。

4.2 應(yīng)用于虛擬資源調(diào)度

計(jì)算機(jī)用戶比較重視數(shù)據(jù)資源傳輸過(guò)程的安全性，充分利用云計(jì)算網(wǎng)絡(luò)技術(shù)對(duì)安全模式進(jìn)行創(chuàng)新。大數(shù)據(jù)技術(shù)全面采集各種信息資源，能夠?qū)Y源進(jìn)行儲(chǔ)存管理。信息化的資源調(diào)度過(guò)程能夠保證資源分配和儲(chǔ)存的合理性。隨著時(shí)代的發(fā)展，借助大數(shù)據(jù)分析以及計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)，能夠監(jiān)控?cái)?shù)據(jù)傳輸?shù)恼麄€(gè)全過(guò)程，保證數(shù)據(jù)傳輸?shù)耐ǖ腊踩?，建立資源優(yōu)化技術(shù)體系，對(duì)虛擬技術(shù)進(jìn)行數(shù)據(jù)處理，合理劃分虛擬資源，完善計(jì)算機(jī)應(yīng)用以及技術(shù)服務(wù)體系，杜絕發(fā)生網(wǎng)絡(luò)安全問(wèn)題。

4.3 在政務(wù)服務(wù)領(lǐng)域中的應(yīng)用

一方面，采用云計(jì)算技術(shù)能夠?qū)崿F(xiàn)政務(wù)服務(wù)的智能化和移動(dòng)化管理，有利于促進(jìn)“掌上政務(wù)”創(chuàng)新，簡(jiǎn)化政務(wù)服務(wù)流程，打破政務(wù)服務(wù)各個(gè)業(yè)務(wù)系統(tǒng)之間的數(shù)據(jù)壁壘，將政務(wù)服務(wù)結(jié)為“一張網(wǎng)”，整合傳統(tǒng)的業(yè)務(wù)辦理窗口功能，統(tǒng)一由服務(wù)臺(tái)受理，之后進(jìn)行分類，下發(fā)給對(duì)接部門(mén)，簡(jiǎn)化業(yè)務(wù)辦理流程，盡可能實(shí)現(xiàn)政務(wù)服務(wù)的一次性辦理、全網(wǎng)通辦、100%網(wǎng)上申報(bào)，提高政務(wù)服務(wù)事項(xiàng)的審批速度和服務(wù)質(zhì)量，構(gòu)建和完善居民自主自助服務(wù)體系，通過(guò)多終端、多渠道隨時(shí)為廣大人民群眾提供自動(dòng)化的服務(wù)咨詢、業(yè)務(wù)辦理、投訴申報(bào)等政務(wù)服務(wù)。另一方面，采用云計(jì)算技術(shù)能夠使政府各個(gè)部門(mén)之間實(shí)現(xiàn)政務(wù)服務(wù)信息資源的實(shí)時(shí)共享，有利于提高政府?dāng)?shù)據(jù)開(kāi)發(fā)利用效率和辦事效率，促進(jìn)政府和廣大人民群眾更好地進(jìn)行互動(dòng)。廣大人民群眾也能更好地輔助和監(jiān)督政府開(kāi)展社會(huì)管理，解決實(shí)質(zhì)性問(wèn)題。

5 云計(jì)算技術(shù)在計(jì)算機(jī)大數(shù)據(jù)分析中的應(yīng)用建議分析

5.1 加強(qiáng)計(jì)算機(jī)數(shù)據(jù)的存儲(chǔ)及篩選力度

在大數(shù)據(jù)時(shí)代，海量數(shù)據(jù)間存在某種聯(lián)系，與用戶和企業(yè)的實(shí)際需要緊密相關(guān)，但并非全部都有實(shí)用價(jià)值。因此，對(duì)這些關(guān)鍵信息進(jìn)行準(zhǔn)確過(guò)濾和存儲(chǔ)，對(duì)于用戶和企業(yè)都具有意義。計(jì)算機(jī)工作人員根據(jù)時(shí)代特征與企業(yè)的實(shí)際需要，將大量的數(shù)據(jù)進(jìn)行有機(jī)整合，并通過(guò)智能技術(shù)篩選出具有較高應(yīng)用價(jià)值的數(shù)據(jù)供用戶或企業(yè)使用，從而更好地利用這些數(shù)據(jù)降低垃圾信息的數(shù)量。在加強(qiáng)計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)和篩選方面，必須大力發(fā)展數(shù)據(jù)挖掘和云計(jì)算技術(shù)。數(shù)據(jù)挖掘技術(shù)利用現(xiàn)代的數(shù)據(jù)處理技術(shù)，對(duì)海量、復(fù)雜的數(shù)據(jù)進(jìn)行進(jìn)一步處理，充分挖掘數(shù)據(jù)之間的內(nèi)在聯(lián)系，然后利用計(jì)算機(jī)技術(shù)將數(shù)據(jù)靈活地運(yùn)用到用戶和公司。在數(shù)據(jù)挖掘技術(shù)的支撐下，計(jì)算機(jī)資料的存儲(chǔ)和傳送更加有效，符合員工和公司的實(shí)際需要。云計(jì)算不但可以處理資料，還可以存儲(chǔ)計(jì)算機(jī)資料，對(duì)于資料的篩選有很大的幫助。

5.2 計(jì)算機(jī)硬件性能和質(zhì)量建設(shè)

隨著信息技術(shù)的飛速發(fā)展，計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)和傳輸技術(shù)的發(fā)展離不開(kāi)計(jì)算機(jī)硬件性能與質(zhì)量的提高。計(jì)算機(jī)的硬件故障通常表現(xiàn)為早期故障、中期故障以及晚期故障。因此，計(jì)算機(jī)專業(yè)人員要強(qiáng)化計(jì)算機(jī)硬件性能和質(zhì)量建設(shè)，可以從2 個(gè)方面著手。一是計(jì)算機(jī)網(wǎng)絡(luò)的優(yōu)化。當(dāng)前計(jì)算機(jī)軟件和硬件質(zhì)量與國(guó)際上的應(yīng)用標(biāo)準(zhǔn)存在差距，對(duì)計(jì)算機(jī)技術(shù)的發(fā)展非常不利。為了使計(jì)算機(jī)網(wǎng)絡(luò)達(dá)到最佳化，必須大力發(fā)展計(jì)算機(jī)網(wǎng)絡(luò)，提高計(jì)算機(jī)硬件性能和質(zhì)量。二是要加強(qiáng)計(jì)算機(jī)軟件和硬件質(zhì)量建設(shè)的協(xié)同合作。在大數(shù)據(jù)時(shí)代，資訊存儲(chǔ)及傳輸技術(shù)的發(fā)展要求各方面共同努力，大力發(fā)展資訊處理技術(shù)。目前，計(jì)算機(jī)工業(yè)的發(fā)展特點(diǎn)及時(shí)代的變化讓很多企業(yè)承擔(dān)著資訊科技的研發(fā)工作，為大數(shù)據(jù)時(shí)代計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)與傳輸提供了必要的支持與保障。

6 結(jié) 論

當(dāng)前科學(xué)技術(shù)迅速發(fā)展，大數(shù)據(jù)技術(shù)以及互聯(lián)網(wǎng)技術(shù)得到了廣泛應(yīng)用，給人們的工作生活帶來(lái)了較大的便利。大數(shù)據(jù)以及云計(jì)算屬于新興的領(lǐng)域，必須要完善相應(yīng)的技術(shù)，明確安全風(fēng)險(xiǎn)處理，推動(dòng)我國(guó)社會(huì)各項(xiàng)工作的發(fā)展創(chuàng)新。企業(yè)在進(jìn)行技術(shù)應(yīng)用時(shí)，要深化數(shù)據(jù)分析技術(shù)和云計(jì)算網(wǎng)絡(luò)技術(shù)的優(yōu)勢(shì)，消除大數(shù)據(jù)分析和計(jì)算網(wǎng)絡(luò)技術(shù)帶來(lái)的風(fēng)險(xiǎn)，加快專業(yè)人才的培養(yǎng)，更好地發(fā)揮其價(jià)值，提高數(shù)據(jù)處理效率及指標(biāo)，滿足企業(yè)的新時(shí)代發(fā)展要求。