云環(huán)境下大數(shù)據(jù)計算機處理技術(shù)應(yīng)用研究

袁小勇

摘??要：云環(huán)境中，通過大數(shù)據(jù)可以實現(xiàn)冗余信息的處理與分析，通過數(shù)據(jù)挖掘等技術(shù)手段的支持可以實現(xiàn)信息資源的優(yōu)化與處理。為了充分滿足云環(huán)境中數(shù)據(jù)處理的需求，通過現(xiàn)代技術(shù)手段綜合分析，可以切實保障信息數(shù)據(jù)的安全性。大數(shù)據(jù)時代，計算機技術(shù)高度發(fā)展，可以實現(xiàn)多種信息數(shù)據(jù)以及資源的整合，對于國家、企業(yè)以及群眾的信息安全具有重要的影響。在云環(huán)境中為了實現(xiàn)信息數(shù)據(jù)處理的安全性、高效性，要基于實際狀況對信息數(shù)據(jù)的采集、存儲以及安全管理等方面進(jìn)行綜合分析。

關(guān)鍵詞：云環(huán)境??云存儲技術(shù)??大數(shù)據(jù)??計算機處理技術(shù)

中圖分類號：TP393

Research?on?the?Application?of?Computer?Processing?Technology?for?Big?Data?in?the?Cloud?Environment

YUAN??Xiaoyong

（Guizhou?Vocational?College?of?Economics?and?Business，?Duyun，?Guizhou?Province，558000?China）

Abstract：?In?the?cloud?environment，?the?processing?and?analysis?of?redundant?information?can?be?achieved?through?big?data，?and?the?optimization?and?processing?of?information?resources?can?be?achieved?through?technical?means?such?as?data?mining.?In?order?to?fully?meet?the?needs?of?data?processing?in?the?cloud?environment，?comprehensive?analysis?through?modern?technological?means?can?effectively?ensure?the?security?of?information?data.?In?the?era?of?big?data，?computer?technology?is?highly?developed，?and?it?can?achieve?the?integration?of?various?information?data?and?resources，?which?has?an?important?impact?on?the?information?security?of?the?country，?enterprises?and?the?public.?In?order?to?achieve?the?security?and?efficiency?of?information?data?processing?in?the?cloud?environment，?it?is?necessary?to?conduct?a?comprehensive?analysis?of?the?collection，?storage?and?security?management?of?information?data?based?on?actual?conditions.

Key?Words：?Cloud?environment;?Cloud?storage?technology;?Big?data;?Computer?processing?technology

云環(huán)境中，通過大數(shù)據(jù)可以實現(xiàn)冗余信息的處理與分析，通過數(shù)據(jù)挖掘等技術(shù)手段的支持可以實現(xiàn)信息資源的優(yōu)化與處理。為了充分滿足云環(huán)境中數(shù)據(jù)處理的需求，通過現(xiàn)代技術(shù)手段綜合分析，可以切實保障信息數(shù)據(jù)的安全性。

1云環(huán)境下大數(shù)據(jù)計算機處理流程

在云環(huán)境中合理應(yīng)用大數(shù)據(jù)等技術(shù)手段，可以實現(xiàn)數(shù)據(jù)的挖掘與處理，在數(shù)據(jù)處理中主要就是利用計算機技術(shù)進(jìn)行數(shù)據(jù)信息的抽取、處理與集成數(shù)據(jù)、分析數(shù)據(jù)，通過處理之后的信息數(shù)據(jù)可以根據(jù)實際需求形成報表與圖表等不同的方式，便于用戶分析處理。通過標(biāo)準(zhǔn)化的方式進(jìn)行數(shù)據(jù)處理可以挖掘信息數(shù)據(jù)的內(nèi)在價值，提高信息數(shù)據(jù)資源的利用效率。

1.1數(shù)據(jù)抽取

在云環(huán)境中通過大數(shù)據(jù)進(jìn)行信息數(shù)據(jù)的采集分析，在網(wǎng)絡(luò)技術(shù)之下可以拓展范圍，實現(xiàn)數(shù)據(jù)信息的綜合處理。而數(shù)據(jù)連接復(fù)雜，為了提高采集精度以及速度，則要綜合實際狀況合理應(yīng)用大數(shù)據(jù)等技術(shù)手段[1]。

1.2處理與集成數(shù)據(jù)

在數(shù)據(jù)分析之前要通過技術(shù)手段對多種信息數(shù)據(jù)進(jìn)行集成化處理，通過格式化、噪聲處理等操作之后進(jìn)行數(shù)據(jù)集合，如果數(shù)據(jù)采集標(biāo)準(zhǔn)尚未統(tǒng)一，則無法實現(xiàn)數(shù)據(jù)結(jié)構(gòu)的抑制性，會對后期的數(shù)據(jù)分析效率以及精確性產(chǎn)生影響。因此，在處理中要應(yīng)用統(tǒng)一的數(shù)據(jù)進(jìn)行采集分析，保障信息數(shù)據(jù)精準(zhǔn)全面。

1.3分析數(shù)據(jù)

分析數(shù)據(jù)主要就是通過大數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘，在采集數(shù)據(jù)倉庫與存儲發(fā)掘等工具支持之下，對大數(shù)據(jù)與傳統(tǒng)的數(shù)據(jù)差異性進(jìn)行綜合性的分析，通過多元化的方式提供服務(wù)[2]。

1.4數(shù)據(jù)分析

通過大數(shù)據(jù)進(jìn)行數(shù)據(jù)分析，可以在系統(tǒng)支持之下進(jìn)行可視化的方案數(shù)據(jù)設(shè)置，基于模擬分析數(shù)據(jù)結(jié)果則可以了解各項信息，根據(jù)不同客戶的需求提供形象化的結(jié)果，充分提高決策制定的科學(xué)性。

2云環(huán)境下大數(shù)據(jù)計算機處理技術(shù)

2.1云存儲技術(shù)

2.1.1數(shù)據(jù)收集以及加工技術(shù)

在信息數(shù)據(jù)的處理與加工中獲得信息數(shù)據(jù)要根據(jù)要求進(jìn)行存儲、檢測以及利用。而在信息數(shù)據(jù)的傳輸中在多種因素的影響之下會出現(xiàn)丟失、損壞等問題，為了提高信息數(shù)據(jù)的安全性，要綜合實際狀況進(jìn)行數(shù)據(jù)安全管理，提高數(shù)據(jù)傳輸?shù)陌踩?。通過分析傳輸?shù)那?，了解安全隱患問題，基于標(biāo)準(zhǔn)進(jìn)行判斷分析，及時處理存在的異常問題，保障傳輸通道安全的基礎(chǔ)上進(jìn)行數(shù)據(jù)的處理則可以降低安全隱患問題。在云環(huán)境中，做好信息數(shù)據(jù)的收集以及處理，通過篩選技術(shù)進(jìn)行信息的分析，剔除冗余、錯誤性的信息數(shù)據(jù)，通過信息加工技術(shù)優(yōu)化完善，則可以切實增強數(shù)據(jù)安全性[3]。

2.1.2數(shù)字整合處理技術(shù)

通過數(shù)據(jù)參數(shù)核算與分析，可以利用網(wǎng)絡(luò)平臺進(jìn)行數(shù)據(jù)參數(shù)的綜合分析、處理，有效提高了數(shù)字計算能力。隨著現(xiàn)代技術(shù)手段的提高，數(shù)字整合技術(shù)也實現(xiàn)了創(chuàng)新優(yōu)化，在大數(shù)據(jù)平臺上融合數(shù)字整合技術(shù)手段，根據(jù)技術(shù)應(yīng)用的特征拓展范圍，可以實現(xiàn)多元化的發(fā)展，充分增強了數(shù)字計算的高效性。

2.2云安全與云計算處理技術(shù)

2.2.1云安全技術(shù)

網(wǎng)絡(luò)安全問題是人們必須要重視的問題之一，通過云安全技術(shù)進(jìn)行數(shù)據(jù)安全處理可以有效降低安全隱患問題，保障信息數(shù)據(jù)的安全性。通過云安全技術(shù)進(jìn)行系統(tǒng)中各項風(fēng)險隱患的識別以及綜合分析，可有效降低非法入侵與病毒侵蝕等問題的出現(xiàn)，充分保障系統(tǒng)運行安全性。通過云安全技術(shù)實現(xiàn)病毒查殺以及安全管理，可以切實提高系統(tǒng)運行的安全性。

2.2.2云計算技術(shù)

云計算技術(shù)具有強大的功能，可有效降低信息資源的損耗性問題，提高信息利用效率。計算機信息在應(yīng)用中會產(chǎn)生大量的信息數(shù)據(jù)，這些數(shù)據(jù)冗余復(fù)雜，通過計算方式進(jìn)行優(yōu)化可以快速實現(xiàn)目標(biāo)信息的處理以及優(yōu)化。通過云計算技術(shù)，根據(jù)用戶的需求與等級等設(shè)置提供更加具有針對性的復(fù)雜，通過定制化的服務(wù)增強滿意度，無需人工操作進(jìn)行優(yōu)化處理，則可以實現(xiàn)多任務(wù)的有效開展。

2.3虛擬化處理技術(shù)

虛擬化技術(shù)的應(yīng)用可以充分保障數(shù)據(jù)信息資源的科學(xué)配置，便于信息數(shù)據(jù)的存儲管理。在應(yīng)用中根據(jù)程序、網(wǎng)絡(luò)以及操作等不同內(nèi)容進(jìn)行系統(tǒng)設(shè)置。利用技術(shù)形成虛擬軟件，則可以根據(jù)用戶需求進(jìn)行處理，通過服務(wù)器進(jìn)行程序與設(shè)備的連接，則可以連接多臺終端設(shè)備。用戶通過升級等方式可以實現(xiàn)系統(tǒng)的優(yōu)化，有效降低維修負(fù)荷等問題[4]。

3云環(huán)境下大數(shù)據(jù)計算機處理技術(shù)應(yīng)用研究

3.1?Hadoop?處理技術(shù)

基于?Hadoop?處理技術(shù)進(jìn)行平臺建設(shè)，其作為一種MAP算法框架結(jié)構(gòu)，通過分布式框架特征進(jìn)行模塊化處理，在分布文化與數(shù)據(jù)庫虛體支持之下可以構(gòu)建完善的大數(shù)據(jù)處理框架系統(tǒng)。實現(xiàn)對程序的綜合分析以及管理，有利于進(jìn)行大規(guī)模集成化的工程處理。

Hadoop?技術(shù)中最為顯著的優(yōu)勢就是處理模型?MapReduce?的Map?映射函數(shù)屬于本地計算方式，在進(jìn)行數(shù)據(jù)輸出中可以實現(xiàn)在本地計算機中進(jìn)行運算分析，但是受到計算節(jié)點資源的影響，因此在處理中要綜合數(shù)據(jù)分布狀況進(jìn)行綜合分析，如果節(jié)點數(shù)量高于處理片數(shù)則要進(jìn)行遠(yuǎn)程化的處理。因此，在運算中要分析處理的數(shù)據(jù)片數(shù)，Map?映射函數(shù)的公式如下。（1）

式（1）中：其中表示的是Map函數(shù)讀取的階段代價；則表示任務(wù)數(shù)所占節(jié)點中的任務(wù)比例；S表示的是要處理的數(shù)據(jù)總量參數(shù)；表示磁盤讀取速度；網(wǎng)絡(luò)通信速度；表示的是函數(shù)代價；表示的是數(shù)據(jù)片輸入條；?表示系統(tǒng)函數(shù)總數(shù)。

Map函數(shù)可以基于輸入不同的數(shù)據(jù)進(jìn)行映射處理，通過系統(tǒng)進(jìn)行函數(shù)計算結(jié)構(gòu)的排序，整個過程為混洗過程，系統(tǒng)中會根據(jù)數(shù)據(jù)結(jié)果進(jìn)行磁盤存儲。

3.2?MapReduce?技術(shù)提供重要支持

云環(huán)境中，通過計算機技術(shù)分析大數(shù)據(jù)，通過分布或者并行的方式進(jìn)行數(shù)據(jù)信息的處理，基于?MapReduce?技術(shù)，對技術(shù)接口定義優(yōu)化，進(jìn)行數(shù)據(jù)的調(diào)查分析，通過計算則可以進(jìn)行數(shù)據(jù)集合的處理與拆分，通過碎片化處理進(jìn)行數(shù)據(jù)片段的集成化處理，構(gòu)建對應(yīng)鍵值，配置數(shù)據(jù)片段，則可以進(jìn)行大規(guī)模的集群節(jié)點的設(shè)置，根據(jù)鍵值的有效性則可以實現(xiàn)對任務(wù)的集合化處理。在處理中要基于?MapReduce?特征進(jìn)行分析，提高信息數(shù)據(jù)處理效率，通過云計算技術(shù)對數(shù)據(jù)進(jìn)行綜合性的處理，可以實現(xiàn)?tb?級的處理，在平臺中可以根據(jù)具體的需要，通過SDFS寬帶數(shù)據(jù)處理等多種技術(shù)手段，在計算機服務(wù)集群的支持之下進(jìn)行數(shù)據(jù)節(jié)點的擴展，進(jìn)而有效增強數(shù)據(jù)處理的綜合效率與質(zhì)量。

3.3大數(shù)據(jù)處理模型框架的建設(shè)

通過大數(shù)據(jù)技術(shù)進(jìn)行處理，主要就是基于MapReduce算法進(jìn)行數(shù)據(jù)的映射與劃分，在處理中要做好紙模塊的劃分與參數(shù)的控制處理。通過框架系統(tǒng)進(jìn)行分布式的管理，在系統(tǒng)中輸入信息數(shù)據(jù)，通過數(shù)據(jù)進(jìn)行智能化的信息數(shù)據(jù)采集，根據(jù)設(shè)計的目標(biāo)參數(shù)執(zhí)行各項任務(wù)。對數(shù)據(jù)信息的處理，通過MapReduce技術(shù)則可以有效滿足數(shù)據(jù)轉(zhuǎn)移與分析的目的。基于云計算框架進(jìn)行分布式的管理，根據(jù)系統(tǒng)需求進(jìn)行綜合處理，基于API技術(shù)支撐則可以滿足不同的需求[5]。

在大數(shù)據(jù)處理框架系統(tǒng)的配置中，要根據(jù)需求對任意配置點進(jìn)行定量評估，則可以實現(xiàn)自動化的配置，基于黑盒性能建模，進(jìn)行數(shù)據(jù)收集與模型訓(xùn)練，通過遺傳算法進(jìn)行自動配置。實現(xiàn)高位配置空間的自動化配置與處理。遺傳算法可以實現(xiàn)最優(yōu)解的優(yōu)化處理，實現(xiàn)自動化的配置。評估中假設(shè)含有n個虛擬的性能模型，獲得真實性能公式為式（2）中：U表示不確定度；n表示虛擬性能模型；p表示預(yù)測結(jié)果；U越大則性能模型的整體精度產(chǎn)生的影響也越大，在進(jìn)行大數(shù)據(jù)處理中則可以基于?conf程序進(jìn)行性能測試，執(zhí)行?conf，將其在訓(xùn)練數(shù)據(jù)集中處理，實現(xiàn)性能模型的更新優(yōu)化。

3.4優(yōu)化方法

3.4.1深網(wǎng)數(shù)據(jù)感知

深網(wǎng)數(shù)據(jù)感知主要的功能就是實現(xiàn)對海量信息數(shù)據(jù)的研究與分析處理，深網(wǎng)數(shù)據(jù)萬網(wǎng)絡(luò)規(guī)模為常規(guī)網(wǎng)絡(luò)的400～450倍左右。而深網(wǎng)的數(shù)據(jù)構(gòu)成以及處理模式與常規(guī)網(wǎng)絡(luò)具有一定的差異性。在深網(wǎng)結(jié)構(gòu)中無法確定訪問路徑以及信息，通過大數(shù)據(jù)進(jìn)行分析，深網(wǎng)通過兩套差異性的系統(tǒng)進(jìn)行計算處理并有效融合，可以提高性功能。

3.4.2數(shù)據(jù)索引技術(shù)

非關(guān)系數(shù)據(jù)庫是基于大數(shù)據(jù)建立的新型數(shù)據(jù)庫，可以實現(xiàn)對非關(guān)系的信息數(shù)據(jù)的平行性存儲與管理，此種方式可以有效增強信息數(shù)據(jù)的承載能力，在處理中可以實現(xiàn)對多種數(shù)據(jù)結(jié)構(gòu)的優(yōu)化，構(gòu)建高效能的存儲模式。進(jìn)而為數(shù)據(jù)索引等工作提供實時性的信息數(shù)據(jù)支持。非關(guān)系數(shù)據(jù)庫具有較強的自適應(yīng)能力與可擴展性，信息數(shù)據(jù)處理能力顯著，可有效信息數(shù)據(jù)存儲方式。

4結(jié)語

在云環(huán)境下，綜合時代發(fā)展特征，做好大數(shù)據(jù)計算機技術(shù)的優(yōu)化與更新處理，才可以切實提高核心競爭能力。在大數(shù)據(jù)計算機技術(shù)的應(yīng)用中要做好傳輸效率與安全分析，重視信息存儲以及安全管理，利用多種計算機技術(shù)進(jìn)行優(yōu)化完善，切實保障信息數(shù)據(jù)的安全性、完整性、高效性，這樣才可以有效推動社會經(jīng)濟的發(fā)展。

參考文獻(xiàn)

[1] 孫云.基于云環(huán)境的大數(shù)據(jù)計算機處理技術(shù)分析[J].長江信息通信，2022，35（11）：158-160.

[2] 夏慧琳.云環(huán)境下大數(shù)據(jù)計算機處理技術(shù)應(yīng)用研究[J].軟件，2022，43（9）：173-175.

[3] 王莉，孟強.腦機接口技術(shù)運用中自然人的意思自治與責(zé)任承擔(dān)[J].北京理工大學(xué)學(xué)報（社會科學(xué)版），2023，25（6）：68-82.

[4] 何錫點，朱仲馬，張曉兵.云原生模式下體系聯(lián)動的綜合運維技術(shù)[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，?2023，?（12）：?62-65.

[5] 劉朝，朱莉芳，接標(biāo)，等.基于局部鄰域濾波的對抗攻擊檢測方法[J].信息安全學(xué)報，2023，8（6）：84-93.

[6]?翟峰.生態(tài)環(huán)境大數(shù)據(jù)平臺建設(shè)及其資源規(guī)劃運行探析[J].決策咨詢，?2023（5）：?57-61.