云計(jì)算技術(shù)在計(jì)算機(jī)大數(shù)據(jù)分析中的運(yùn)用

開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

DOI：10.16661/j.cnki.1672-3791.2311-5042-3966作者簡(jiǎn)介：汪虎（1979—），男，本科，講師，研究方向?yàn)橛?jì)算機(jī)。

摘要：互聯(lián)網(wǎng)和信息技術(shù)的快速發(fā)展，大量的數(shù)據(jù)被產(chǎn)生和積累，這些數(shù)據(jù)往往具有高維、高速和多樣的特點(diǎn)，傳統(tǒng)的數(shù)據(jù)處理技術(shù)已無法有效處理和分析這些海量數(shù)據(jù)，因此大數(shù)據(jù)分析技術(shù)應(yīng)運(yùn)而生。基于云計(jì)算技術(shù)的彈性計(jì)算能力、高效的儲(chǔ)存和數(shù)據(jù)管理功能、實(shí)現(xiàn)分布式計(jì)算和并行處理，提出云計(jì)算技術(shù)在計(jì)算機(jī)大數(shù)據(jù)分析中的具體應(yīng)用，分別是構(gòu)建高效的數(shù)據(jù)處理模型、創(chuàng)建計(jì)算機(jī)網(wǎng)絡(luò)分析模塊、打造易于讀取的數(shù)據(jù)儲(chǔ)存平臺(tái)、實(shí)現(xiàn)安全掃描和鏈路加密，進(jìn)而保證大數(shù)據(jù)的收集、處理和分析都能更高效。

關(guān)鍵詞：云計(jì)算技術(shù) ?大數(shù)據(jù)分析 ?數(shù)據(jù)儲(chǔ)存??分布式計(jì)算

中圖分類號(hào)：TP311.13

大數(shù)據(jù)是指數(shù)據(jù)量大、速度快、種類多、價(jià)值密度低的數(shù)據(jù)集合，對(duì)大數(shù)據(jù)進(jìn)行分析，可以采用云計(jì)算技術(shù)，通過網(wǎng)絡(luò)提供計(jì)算資源、存儲(chǔ)資源和應(yīng)用服務(wù)。云計(jì)算基于虛擬化技術(shù)，將計(jì)算和存儲(chǔ)等資源集中管理，云計(jì)算技術(shù)為計(jì)算機(jī)大數(shù)據(jù)分析提供了靈活、高效、可擴(kuò)展的計(jì)算和存儲(chǔ)資源，幫助用戶更好的處理和利用大數(shù)據(jù)，發(fā)現(xiàn)數(shù)據(jù)中蘊(yùn)含的價(jià)值和見解。

1云計(jì)算技術(shù)應(yīng)用在計(jì)算機(jī)大數(shù)據(jù)中的作用

1.1提供彈性計(jì)算能力

大數(shù)據(jù)分析通常需要大量的計(jì)算資源來處理海量數(shù)據(jù)，而云計(jì)算平臺(tái)可以根據(jù)用戶需求動(dòng)態(tài)分配和釋放計(jì)算資源的能力，這種彈性計(jì)算能力使用戶能夠根據(jù)實(shí)際需求靈活地調(diào)整計(jì)算資源，而無需關(guān)注硬件設(shè)備的細(xì)節(jié)。云計(jì)算平臺(tái)可以根據(jù)用戶的需求自動(dòng)擴(kuò)展或縮減計(jì)算資源，以滿足不同規(guī)模和復(fù)雜度的計(jì)算任務(wù)，這意味著用戶可以在需要更多計(jì)算資源時(shí)快速擴(kuò)展，而在需求減少時(shí)可以釋放多余的資源，從而實(shí)現(xiàn)成本的優(yōu)化和資源的高效利用。彈性計(jì)算能力的優(yōu)勢(shì)在于用戶可以根據(jù)需求實(shí)時(shí)調(diào)整計(jì)算資源，無需預(yù)先安排或購買額外的硬件設(shè)備。這種按需分配的計(jì)算模式可以幫助用戶避免資源的浪費(fèi)，并且能夠應(yīng)對(duì)不確定的計(jì)算需求[1]。

1.2高效的儲(chǔ)存和數(shù)據(jù)管理功能

大數(shù)據(jù)分析需要處理和存儲(chǔ)海量的數(shù)據(jù)，而云計(jì)算平臺(tái)提供了高可用性、可擴(kuò)展性和安全性的存儲(chǔ)服務(wù)，可以幫助用戶存儲(chǔ)和管理大規(guī)模的數(shù)據(jù)，云存儲(chǔ)服務(wù)可以根據(jù)需求進(jìn)行彈性擴(kuò)展，滿足不同規(guī)模數(shù)據(jù)的存儲(chǔ)需求。而且，云存儲(chǔ)提供了高可靠性和數(shù)據(jù)冗余的機(jī)制，確保數(shù)據(jù)的安全性和可靠性。此外，云計(jì)算平臺(tái)還支持?jǐn)?shù)據(jù)管理功能，例如數(shù)據(jù)備份、數(shù)據(jù)遷移、數(shù)據(jù)復(fù)制和數(shù)據(jù)歸檔等，這些功能可以幫助用戶有效地管理和維護(hù)大數(shù)據(jù)，確保數(shù)據(jù)的完整性和可用性。通過云計(jì)算平臺(tái)提供的高效的存儲(chǔ)和數(shù)據(jù)管理功能，用戶可以更好地處理和利用大數(shù)據(jù)，從中獲取有價(jià)值的信息和見解。同時(shí)，云計(jì)算平臺(tái)的彈性存儲(chǔ)和數(shù)據(jù)管理能力，可以根據(jù)實(shí)際需求進(jìn)行靈活調(diào)整，避免了資源浪費(fèi)和成本的浪費(fèi)。

1.3實(shí)現(xiàn)分布式計(jì)算和并行處理

大數(shù)據(jù)分析任務(wù)通常需要處理龐大的數(shù)據(jù)集，并進(jìn)行復(fù)雜的計(jì)算和分析操作。云計(jì)算平臺(tái)的應(yīng)用，則為其提供了分布式計(jì)算和并行處理的能力，將大數(shù)據(jù)分析任務(wù)分解為多個(gè)子任務(wù)，并在多臺(tái)計(jì)算機(jī)上同時(shí)進(jìn)行處理。通過分布式計(jì)算，可以將大數(shù)據(jù)集劃分為小的數(shù)據(jù)塊，并在多個(gè)計(jì)算節(jié)點(diǎn)上同時(shí)進(jìn)行處理，以提高數(shù)據(jù)處理的效率和速度。每個(gè)計(jì)算節(jié)點(diǎn)可以獨(dú)立處理分配給它的數(shù)據(jù)塊，并將處理結(jié)果進(jìn)行合并，以得到最終的分析結(jié)果。并行處理則是指多個(gè)計(jì)算節(jié)點(diǎn)同時(shí)執(zhí)行相同的操作，以加速數(shù)據(jù)分析的過程。通過并行處理，可以充分利用云計(jì)算平臺(tái)提供的計(jì)算資源，快速處理大規(guī)模的數(shù)據(jù)集。分布式計(jì)算和并行處理的結(jié)合，可以充分發(fā)揮云計(jì)算平臺(tái)的計(jì)算能力，提高大數(shù)據(jù)分析的效率和速度。同時(shí)，云計(jì)算平臺(tái)還提供了任務(wù)調(diào)度和資源管理的功能，可以自動(dòng)分配和管理計(jì)算資源，提供更好的性能和可擴(kuò)展性。通過應(yīng)用云計(jì)算技術(shù)，用戶可以更快地進(jìn)行大數(shù)據(jù)分析，并處理更復(fù)雜的任務(wù)，這有助于提高數(shù)據(jù)分析的效果，并發(fā)現(xiàn)數(shù)據(jù)中的隱藏信息和趨勢(shì)[2]。

2計(jì)算機(jī)大數(shù)據(jù)分析中云計(jì)算技術(shù)的具體應(yīng)用

2.1構(gòu)建高效的數(shù)據(jù)處理模型

在計(jì)算機(jī)大數(shù)據(jù)分析中，云計(jì)算技術(shù)可以幫助構(gòu)建高效的數(shù)據(jù)處理模型，以提高數(shù)據(jù)處理的效率和準(zhǔn)確性。首先需要采集數(shù)據(jù)，并將數(shù)據(jù)存儲(chǔ)到云計(jì)算平臺(tái)上?？梢允褂酶鞣N數(shù)據(jù)采集工具、傳感器、API等方式來獲取數(shù)據(jù)，將其存儲(chǔ)到云存儲(chǔ)服務(wù)中。在進(jìn)行數(shù)據(jù)分析之前，需要對(duì)數(shù)據(jù)進(jìn)行預(yù)處理和清洗，以去除無效數(shù)據(jù)、處理缺失數(shù)據(jù)、處理異常數(shù)據(jù)等，可以使用數(shù)據(jù)預(yù)處理工具，如Pandas、NumPy、Scikit-learn等對(duì)數(shù)據(jù)進(jìn)行清洗和處理。使用云計(jì)算平臺(tái)提供的數(shù)據(jù)處理和分析工具，如MapReduce、Spark、Hadoop等對(duì)數(shù)據(jù)進(jìn)行分析和處理，可以選擇合適的分析算法，如聚類分析、分類分析、關(guān)聯(lián)規(guī)則挖掘等方法，對(duì)數(shù)據(jù)進(jìn)行分析和挖掘。通過云計(jì)算平臺(tái)的分布式計(jì)算和并行處理能力，將數(shù)據(jù)分解為多個(gè)子任務(wù)，并在多個(gè)計(jì)算節(jié)點(diǎn)上同時(shí)進(jìn)行處理，例如：利用云計(jì)算平臺(tái)提供的計(jì)算資源，充分發(fā)揮計(jì)算能力和速度，并提高數(shù)據(jù)處理的效率。最后，使用數(shù)據(jù)可視化工具，如Tableau、D3.js等將分析結(jié)果可視化，以便于用戶更好地理解和利用數(shù)據(jù)。也可以使用報(bào)告生成工具，如Jupyter Notebook等生成數(shù)據(jù)分析報(bào)告，以便于分享和傳播分析結(jié)果。此外，需要對(duì)數(shù)據(jù)處理模型進(jìn)行評(píng)估和迭代，以進(jìn)一步提高數(shù)據(jù)分析的準(zhǔn)確性和效率，例如，使用交叉驗(yàn)證、誤差分析等方法對(duì)模型進(jìn)行評(píng)估，找到模型的不足之處，并進(jìn)行改進(jìn)和優(yōu)化。總的來說，構(gòu)建高效的數(shù)據(jù)處理模型需要經(jīng)過數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、數(shù)據(jù)分析、分布式計(jì)算和并行處理、數(shù)據(jù)可視化和報(bào)告生成、模型評(píng)估和迭代等多個(gè)步驟。通過云計(jì)算平臺(tái)提供的各種工具和服務(wù)，可以更好地處理和利用大數(shù)據(jù)，并挖掘出有價(jià)值的信息和見解。

2.2創(chuàng)建計(jì)算機(jī)網(wǎng)絡(luò)分析模塊

在應(yīng)用云計(jì)算技術(shù)來創(chuàng)建計(jì)算機(jī)網(wǎng)絡(luò)分析模塊的時(shí)候，需要先采集計(jì)算機(jī)網(wǎng)絡(luò)數(shù)據(jù)，包括網(wǎng)絡(luò)流量數(shù)據(jù)、日志數(shù)據(jù)、性能指標(biāo)數(shù)據(jù)等，會(huì)使用網(wǎng)絡(luò)監(jiān)控工具、日志采集器等方式來獲取網(wǎng)絡(luò)數(shù)據(jù)，并將數(shù)據(jù)存儲(chǔ)到云計(jì)算平臺(tái)上。在進(jìn)行網(wǎng)絡(luò)分析之前，需要對(duì)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行預(yù)處理和清洗，以去除無效數(shù)據(jù)、處理異常數(shù)據(jù)等[3]。例如：可以使用數(shù)據(jù)預(yù)處理工具（如Pandas、NumPy、Spark等）對(duì)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行清洗和處理。通過云計(jì)算平臺(tái)提供的數(shù)據(jù)處理和分析工具（如Spark、Hadoop、Elasticsearch等）對(duì)網(wǎng)絡(luò)流量數(shù)據(jù)進(jìn)行分析。可以分析網(wǎng)絡(luò)流量的來源、目的、流量模式、異常流量等，以發(fā)現(xiàn)網(wǎng)絡(luò)性能問題、安全隱患等。對(duì)網(wǎng)絡(luò)安全日志進(jìn)行分析，以檢測(cè)潛在的安全威脅、異常行為等?？梢允褂萌罩痉治龉ぞ?、安全信息與事件管理系統(tǒng)（SIEM）等進(jìn)行安全日志分析，發(fā)現(xiàn)網(wǎng)絡(luò)安全事件和威脅。

此外，也要對(duì)網(wǎng)絡(luò)設(shè)備的性能指標(biāo)進(jìn)行分析，如帶寬利用率、延遲、丟包率等，例如：可以使用性能監(jiān)控工具、網(wǎng)絡(luò)管理系統(tǒng)（NMS）等進(jìn)行性能指標(biāo)分析，進(jìn)而發(fā)現(xiàn)網(wǎng)絡(luò)性能問題和瓶頸。使用Kibana、Grafana等數(shù)據(jù)可視化工具，將網(wǎng)絡(luò)分析結(jié)果進(jìn)行可視化，以便于用戶更好地理解和利用分析結(jié)果。也可以使用報(bào)告生成工具，如Jupyter Notebook等生成網(wǎng)絡(luò)分析報(bào)告，以便于分享和傳播分析結(jié)果。最后需要對(duì)網(wǎng)絡(luò)分析模塊進(jìn)行評(píng)估和優(yōu)化，以提高分析的準(zhǔn)確性和效率，利用統(tǒng)計(jì)分析、機(jī)器學(xué)習(xí)算法等對(duì)模型進(jìn)行評(píng)估和優(yōu)化，找到模型的不足之處，并進(jìn)行改進(jìn)和優(yōu)化。通過云計(jì)算平臺(tái)提供的各種工具和服務(wù)，可以更好地分析和管理計(jì)算機(jī)網(wǎng)絡(luò)，發(fā)現(xiàn)網(wǎng)絡(luò)問題、提高網(wǎng)絡(luò)性能和安全性。

2.3打造易于讀取的數(shù)據(jù)儲(chǔ)存平臺(tái)

在計(jì)算機(jī)大數(shù)據(jù)分析應(yīng)用中，打造易于讀取的數(shù)據(jù)存儲(chǔ)平臺(tái)，需要考慮數(shù)據(jù)的可靠性、可擴(kuò)展性和易讀性。選擇適合大數(shù)據(jù)存儲(chǔ)的云存儲(chǔ)服務(wù)，如亞馬遜S3、Azure Blob Storage、Google Cloud Storage等，這些云存儲(chǔ)服務(wù)提供了高可靠性、高擴(kuò)展性和低成本的存儲(chǔ)解決方案。在將數(shù)據(jù)存儲(chǔ)到云平臺(tái)之前，需要設(shè)計(jì)合適的數(shù)據(jù)結(jié)構(gòu)，以便于后續(xù)的讀取和分析。這可能涉及到選擇合適的數(shù)據(jù)格式，如JSON、Parquet、Avro等，以及設(shè)計(jì)合適的數(shù)據(jù)存儲(chǔ)層次結(jié)構(gòu)。接下來就要進(jìn)行數(shù)據(jù)采集和上傳，將需要分析的數(shù)據(jù)采集并上傳至云存儲(chǔ)平臺(tái)，可以通過各種數(shù)據(jù)傳輸工具、API或者直接將數(shù)據(jù)集成到云計(jì)算平臺(tái)中實(shí)現(xiàn)[4]。

另外，要對(duì)上傳的數(shù)據(jù)進(jìn)行索引和元數(shù)據(jù)管理，以便于后續(xù)的快速檢索和讀取，可以通過云存儲(chǔ)平臺(tái)提供的元數(shù)據(jù)管理服務(wù)或者自定義索引服務(wù)實(shí)現(xiàn)。確保數(shù)據(jù)的安全性和可靠性，設(shè)置數(shù)據(jù)備份策略并定期進(jìn)行數(shù)據(jù)備份，可以通過云存儲(chǔ)平臺(tái)提供的備份服務(wù)或者自動(dòng)化備份腳本實(shí)現(xiàn)。對(duì)數(shù)據(jù)存儲(chǔ)平臺(tái)進(jìn)行性能優(yōu)化，以提高數(shù)據(jù)讀取的速度和效率，選擇合適的存儲(chǔ)類型、數(shù)據(jù)分區(qū)、數(shù)據(jù)壓縮、緩存等。設(shè)置數(shù)據(jù)的訪問權(quán)限和安全策略，以保護(hù)數(shù)據(jù)的隱私和安全，可以通過云存儲(chǔ)平臺(tái)提供的訪問控制服務(wù)或者自定義權(quán)限管理模塊實(shí)現(xiàn)。最后，通過云計(jì)算平臺(tái)提供的數(shù)據(jù)可視化和分析工具，如Power BI、Tableau、QuickSight等，對(duì)存儲(chǔ)在云平臺(tái)上的數(shù)據(jù)進(jìn)行可視化和分析，以發(fā)現(xiàn)數(shù)據(jù)中的見解和價(jià)值。通過以上步驟，可以打造易于讀取的數(shù)據(jù)存儲(chǔ)平臺(tái)，為大數(shù)據(jù)分析應(yīng)用提供高效、可靠的數(shù)據(jù)存儲(chǔ)和管理解決方案。

3結(jié)語

綜上所述，在計(jì)算機(jī)大數(shù)據(jù)分析中應(yīng)用云計(jì)算技術(shù)，可以讓大數(shù)據(jù)處理更加高效，滿足大數(shù)據(jù)分析的各項(xiàng)需求。在進(jìn)行應(yīng)用時(shí)，主要是從數(shù)據(jù)處理、網(wǎng)絡(luò)分析、數(shù)據(jù)儲(chǔ)存、安全加密等方面入手，使得計(jì)算機(jī)大數(shù)據(jù)分析更加全面、安全，提高數(shù)據(jù)處理的效率和速度。

參考文獻(xiàn)

[1]趙琳.云計(jì)算技術(shù)在計(jì)算機(jī)大數(shù)據(jù)分析中的應(yīng)用探析[J].現(xiàn)代工業(yè)經(jīng)濟(jì)和信息化，2023，13（2）：175-177.

[2]魏鏡酈.云計(jì)算技術(shù)在計(jì)算機(jī)大數(shù)據(jù)分析中的應(yīng)用思考[J].現(xiàn)代工業(yè)經(jīng)濟(jì)和信息化，2022，12（9）：76-78.

[3]米杰.云計(jì)算技術(shù)在計(jì)算機(jī)大數(shù)據(jù)分析中的應(yīng)用研究[J].河南科技，2022，41（6）：16-19.

[4]梁昊.云計(jì)算技術(shù)在計(jì)算機(jī)大數(shù)據(jù)分析中的運(yùn)用：評(píng)《云計(jì)算與大數(shù)據(jù)》[J].科技管理研究，2020，40（16）：267.

[5]黨瑾雯.媒介環(huán)境學(xué)視角下“云計(jì)算”技術(shù)研究[D].蘭州：蘭州大學(xué)，2022.

[6]余慶輝.基于云計(jì)算技術(shù)的微電網(wǎng)大數(shù)據(jù)平臺(tái)設(shè)計(jì)與開發(fā)[D].杭州：浙江工業(yè)大學(xué)，2020.