淺析云環(huán)境下的大數(shù)據(jù)關(guān)鍵技術(shù)

胡瑩

摘要：云環(huán)境下，大數(shù)據(jù)技術(shù)的應(yīng)用有利于提供豐富的數(shù)據(jù)信息資源，滿足人們獲取信息資源需要。同時(shí)，為促進(jìn)其作用有效發(fā)揮，應(yīng)該提高技術(shù)水平，確保大數(shù)據(jù)技術(shù)的安全與可靠，使其更好發(fā)揮作用。該文對(duì)云環(huán)境下的大數(shù)據(jù)關(guān)鍵技術(shù)進(jìn)行初步的探討和分析，并分析了大數(shù)據(jù)關(guān)鍵技術(shù)面臨的挑戰(zhàn)，提出相應(yīng)的完善措施，希望能為實(shí)際工作開(kāi)展提供啟示。

關(guān)鍵詞：云環(huán)境；大數(shù)據(jù)；關(guān)鍵技術(shù)；節(jié)能技術(shù)；數(shù)據(jù)容錯(cuò)技術(shù)

當(dāng)今世界，計(jì)算機(jī)和信息技術(shù)迅猛發(fā)展。云計(jì)算和大數(shù)據(jù)逐漸滲透到人們的日常生活和學(xué)習(xí)當(dāng)中，為人們生活和工作提供便利。同時(shí)，為促進(jìn)其作用有效發(fā)揮，應(yīng)該把握大數(shù)據(jù)的關(guān)鍵技術(shù)，促進(jìn)技術(shù)水平提高，促進(jìn)其作用有效發(fā)揮，更好滿足人們生活和工作需要，讓云計(jì)算和大數(shù)據(jù)技術(shù)有效服務(wù)于人們的生活與工作。

1.云環(huán)境下大數(shù)據(jù)關(guān)鍵技術(shù)的作用

技術(shù)需求是大數(shù)據(jù)關(guān)鍵技術(shù)開(kāi)發(fā)和應(yīng)用首先需要明白的內(nèi)容，對(duì)后續(xù)技術(shù)開(kāi)發(fā)和具體應(yīng)用發(fā)揮指導(dǎo)作用。具體是指對(duì)云環(huán)境下大數(shù)據(jù)技術(shù)在性能、功能、設(shè)計(jì)等方面的期望。需求分析的目的是闡述大數(shù)據(jù)技術(shù)的目的及意義，為大數(shù)據(jù)技術(shù)作用的發(fā)揮和有效應(yīng)用提供指導(dǎo)。

1.1為大數(shù)據(jù)技術(shù)的應(yīng)用創(chuàng)造條件

計(jì)算機(jī)和大數(shù)據(jù)技術(shù)在應(yīng)用中，不僅推動(dòng)信息技術(shù)的現(xiàn)代化，還能提升技術(shù)管理水平。尤其是在數(shù)據(jù)應(yīng)用和處理工作中，更需要開(kāi)發(fā)相應(yīng)的技術(shù)系統(tǒng)，把握大數(shù)據(jù)的關(guān)鍵技術(shù)，順應(yīng)這種趨勢(shì)，對(duì)大數(shù)據(jù)進(jìn)行有效處理，促進(jìn)工作水平提高。同時(shí)在技術(shù)開(kāi)發(fā)和應(yīng)用過(guò)程中，還要考慮技術(shù)的可擴(kuò)展性以及與其他技術(shù)的兼容性，為技術(shù)升級(jí)和更新創(chuàng)造良好條件。大數(shù)據(jù)關(guān)鍵技術(shù)應(yīng)用中，應(yīng)該進(jìn)行綜合全面考慮，應(yīng)用信息技術(shù)和互聯(lián)網(wǎng)技術(shù)，進(jìn)行技術(shù)管理、系統(tǒng)管理、用戶(hù)管理等各項(xiàng)功能操作，為大數(shù)據(jù)的有效利用，作用的充分發(fā)揮創(chuàng)造條件。

1.2促進(jìn)大數(shù)據(jù)技術(shù)管理水平提高和作用的有效發(fā)揮

總的來(lái)說(shuō)，云環(huán)境下，大數(shù)據(jù)處理流程如圖1所示，其關(guān)鍵技術(shù)具備以下幾項(xiàng)功能：滿足技術(shù)更新和升級(jí)需要，注意技術(shù)研發(fā)和創(chuàng)新，大數(shù)據(jù)技術(shù)具備讓管理員與用戶(hù)互動(dòng)的功能，采用科學(xué)管理模式促進(jìn)技術(shù)管理效率提高，大數(shù)據(jù)技術(shù)滿足系統(tǒng)開(kāi)發(fā)，技術(shù)創(chuàng)新和發(fā)展的需要。在具備這些功能的前提下，合理進(jìn)行云環(huán)境下的信息系統(tǒng)設(shè)計(jì)，促進(jìn)大數(shù)據(jù)技術(shù)管理水平提高，為大數(shù)據(jù)技術(shù)水平提升和作用的充分發(fā)揮創(chuàng)造便利。

2.云環(huán)境下大數(shù)據(jù)關(guān)鍵技術(shù)的類(lèi)型

云環(huán)境下，大數(shù)據(jù)技術(shù)的類(lèi)型更加豐富，作用更為明顯，能有效滿足系統(tǒng)運(yùn)行需要，為人們生活和工作提供便利。具體來(lái)說(shuō)，大數(shù)據(jù)關(guān)鍵技術(shù)包括以下幾種類(lèi)型。

2.1JSP技術(shù)

大數(shù)據(jù)和云環(huán)境的具體應(yīng)用中，為保證數(shù)據(jù)安全可靠，應(yīng)該注重先進(jìn)技術(shù)的應(yīng)用，為人們使用計(jì)算機(jī)構(gòu)建先進(jìn)、安全、可靠的工作平臺(tái)。同時(shí)也方便信息資料查閱，滿足人們使用信息資源的需要。同時(shí)，在云環(huán)境大數(shù)據(jù)支持下，能夠加快設(shè)備運(yùn)行速度，方便信息資料查詢(xún)，讓使用計(jì)算機(jī)的工作流程得到簡(jiǎn)化，有利于提升工作效率。云環(huán)境下，JSP技術(shù)的組件性能較高，技術(shù)難度低，方便信息資料的使用和維護(hù)。并且系統(tǒng)的獨(dú)立性強(qiáng)度，具有兼容性特征，能夠重復(fù)使用，操作起來(lái)簡(jiǎn)單方便，具有良好的兼容性，可以有效滿足大數(shù)據(jù)運(yùn)行需要，為各項(xiàng)活動(dòng)開(kāi)展創(chuàng)造條件。具體工作中，JSP技術(shù)向客戶(hù)端發(fā)出請(qǐng)求，并在服務(wù)器支持下轉(zhuǎn)換和編譯，高效處理發(fā)出的請(qǐng)求，滿足人們使用的需要。

2.2Java Bean技術(shù)

JavaBean技術(shù)是一段Java小程序，利用Java語(yǔ)言編寫(xiě)，結(jié)構(gòu)簡(jiǎn)單，使用方便，在系統(tǒng)運(yùn)行中發(fā)揮積極作用，它的主要構(gòu)成內(nèi)容包括屬性、事件、方法。每個(gè)JavaBean技術(shù)可以實(shí)現(xiàn)一個(gè)較為獨(dú)特的功能，通過(guò)對(duì)該技術(shù)的組合和應(yīng)用，可以生成新的應(yīng)用程序，為人們使用計(jì)算機(jī)創(chuàng)造條件。JavaBean還能實(shí)現(xiàn)一次性編寫(xiě)，使用簡(jiǎn)單，操作方便，不受時(shí)間和地點(diǎn)束縛，為云環(huán)境下使用該技術(shù)提供便利。

2.3JDBC技術(shù)

具體是指Java數(shù)據(jù)庫(kù)連接技術(shù)，主要構(gòu)成內(nèi)容包括接口和類(lèi)，采用的是Java語(yǔ)言進(jìn)行編寫(xiě)，可用于執(zhí)行SQL語(yǔ)句。具體的程序開(kāi)發(fā)和應(yīng)用中，利用Java語(yǔ)言就可以完成數(shù)據(jù)庫(kù)應(yīng)用程序的編寫(xiě)任務(wù)。大數(shù)據(jù)環(huán)境下，JDBC技術(shù)具有重要作用，可以建立與數(shù)據(jù)庫(kù)之間的密切聯(lián)系，方便數(shù)據(jù)庫(kù)信息傳遞和使用，并有效處理數(shù)據(jù)庫(kù)的返回結(jié)果。通過(guò)JDBC技術(shù)的應(yīng)用，能提高系統(tǒng)性能，確保工作平臺(tái)有效開(kāi)展各項(xiàng)活動(dòng)，節(jié)約技術(shù)運(yùn)行時(shí)間，提高設(shè)備綜合性能，讓數(shù)據(jù)庫(kù)有效發(fā)揮作用。

2.4SQL Server數(shù)據(jù)庫(kù)

SQL Server數(shù)據(jù)庫(kù)也是大數(shù)據(jù)環(huán)境下重要的技術(shù)類(lèi)型，它不僅能存儲(chǔ)大量數(shù)據(jù)，還方便數(shù)據(jù)資料查詢(xún)，滿足用戶(hù)使用信息資源需要，進(jìn)而提高數(shù)據(jù)處理效率，確保信息技術(shù)處理效果。具體來(lái)說(shuō)，云環(huán)境下，SQL Server數(shù)據(jù)庫(kù)的綜合性能高，系統(tǒng)管理工作水平高，具備強(qiáng)大的數(shù)據(jù)信息處理能力，能夠保證數(shù)據(jù)安全，并具有強(qiáng)大的數(shù)據(jù)復(fù)制和管理功能。有利于提供良好的平臺(tái)開(kāi)發(fā)條件，方便用戶(hù)操作，促進(jìn)數(shù)據(jù)處理水平提升。

2.5節(jié)能技術(shù)

云環(huán)境下，節(jié)能技術(shù)扮演著十分重要的角色。它包括硬件和軟件兩個(gè)組成部分，硬件部分通過(guò)節(jié)能體系與節(jié)能結(jié)構(gòu)來(lái)實(shí)現(xiàn)，軟件部分通過(guò)節(jié)點(diǎn)動(dòng)態(tài)運(yùn)作方式來(lái)實(shí)現(xiàn)。通過(guò)該技術(shù)的應(yīng)用，能有效降低云環(huán)境的能耗。

2.6數(shù)據(jù)容錯(cuò)技術(shù)

該技術(shù)的應(yīng)用能提高大數(shù)據(jù)信息的可靠性，利用多樣數(shù)據(jù)丟失后可以方便找回的特征，進(jìn)而對(duì)數(shù)據(jù)進(jìn)行處理。但該技術(shù)可能加大系統(tǒng)能耗，需要利用復(fù)制容錯(cuò)技術(shù)和糾刪碼容錯(cuò)技術(shù)（如圖2所示）恢復(fù)和改進(jìn)。

2.7云存儲(chǔ)技術(shù)

云存儲(chǔ)技術(shù)也是非常關(guān)鍵的內(nèi)容，主要包括存儲(chǔ)虛擬化技術(shù)、重復(fù)數(shù)據(jù)刪除技術(shù)、分布式存儲(chǔ)技術(shù)、數(shù)據(jù)備份技術(shù)、存儲(chǔ)加密技術(shù)等。

3.云環(huán)境下大數(shù)據(jù)關(guān)鍵技術(shù)的保障措施

云環(huán)境下，為確保大數(shù)據(jù)關(guān)鍵技術(shù)作用的有效發(fā)揮，應(yīng)該提供相應(yīng)的保障措施，創(chuàng)造良好的硬件和系統(tǒng)運(yùn)行環(huán)境，并加強(qiáng)大數(shù)據(jù)的安全管理工作。

3.1合理配置硬件運(yùn)行環(huán)境

包括服務(wù)器和PC客戶(hù)端，服務(wù)器由文件、數(shù)據(jù)、應(yīng)用程序服務(wù)器組成。最好采用3T以上硬盤(pán)，4G內(nèi)存，Core雙核四線程以上處理器，選用DELL、HPJBM任意一款服務(wù)器即可，采用四核CPU、32G內(nèi)存、500G硬盤(pán)，可以同時(shí)支持幾百臺(tái)PC機(jī)訪問(wèn)。PC客戶(hù)端最低標(biāo)準(zhǔn)為Intel Celeron處理系統(tǒng)、512M內(nèi)存、160G硬盤(pán)。通過(guò)保證硬件環(huán)境，滿足云環(huán)境和大數(shù)據(jù)運(yùn)行需要，為促進(jìn)大數(shù)據(jù)技術(shù)作用的有效發(fā)揮奠定基礎(chǔ)。

3.2確保系統(tǒng)運(yùn)行環(huán)境良好

大數(shù)據(jù)運(yùn)行環(huán)境方面，系統(tǒng)在Windows平臺(tái)上運(yùn)行，只需Windows Server2000～2003以上的操作系統(tǒng)即可，客戶(hù)端在Win—dows XP上運(yùn)行。并對(duì)開(kāi)發(fā)工具進(jìn)行有效利用與整合，既滿足大數(shù)據(jù)運(yùn)行需要，還能提高運(yùn)行效率，方便大數(shù)據(jù)系統(tǒng)以后的更新和升級(jí)，也便利系統(tǒng)功能的拓展與完善。在大數(shù)據(jù)運(yùn)行環(huán)境方面，選用SQL Server2000，同時(shí)還合理應(yīng)用Aeeess，Oracle，Sybose，SQL Server等，以滿足系統(tǒng)開(kāi)發(fā)需要，完善數(shù)系統(tǒng)功能，提高大數(shù)據(jù)工作效率。一般而言，系統(tǒng)運(yùn)行和開(kāi)發(fā)環(huán)境為：Windows 2003 Advanced Server/XP+Tomcat 6.x，主要工具為Drearnweaver&O，MyEclipe&5，同時(shí)還根據(jù)系統(tǒng)設(shè)計(jì)需要合理采用Tomcat6.0，SOL Server 2000，Windows XP操作系統(tǒng)。這樣既滿足大數(shù)據(jù)運(yùn)行需要，還能完善系統(tǒng)設(shè)置，也為大數(shù)據(jù)更新和升級(jí)、功能進(jìn)一步完善創(chuàng)造條件。

3.3采取相應(yīng)的安全保障措施

一方面，為保障大數(shù)據(jù)的安全，與Internet連接設(shè)置防護(hù)墻技術(shù)，進(jìn)行用戶(hù)權(quán)限設(shè)置，設(shè)置安全密碼，安裝防病毒軟件，去掉測(cè)試賬號(hào)和共享賬號(hào)。另一方面，為保障大數(shù)據(jù)的安全，嚴(yán)格限制管理權(quán)限和用戶(hù)訪問(wèn)權(quán)限，使用安全的密碼，設(shè)置強(qiáng)度高的密碼，重視記錄數(shù)據(jù)庫(kù)日志的審核與管理。另外為保證權(quán)限級(jí)別安全，系統(tǒng)還給不同用戶(hù)分配不同訪問(wèn)權(quán)限，禁止未注冊(cè)用戶(hù)訪問(wèn)，對(duì)用戶(hù)名和密碼進(jìn)行校驗(yàn)和審核，防止非法訪問(wèn)，確保數(shù)據(jù)信息安全。建立并落實(shí)安全管理制度，加強(qiáng)云環(huán)境和大數(shù)據(jù)運(yùn)行的管理，杜絕不法分子篡改數(shù)據(jù)，實(shí)現(xiàn)有效保障大數(shù)據(jù)安全的目的。

4.云環(huán)境下大數(shù)據(jù)關(guān)鍵技術(shù)面臨的挑戰(zhàn)及展望

由于管理措施不健全，一些工作人員的技術(shù)水平偏低，制約大數(shù)據(jù)關(guān)鍵技術(shù)作用的發(fā)揮，需要采取完善措施。

4.1面臨的挑戰(zhàn)

例如，網(wǎng)絡(luò)發(fā)展滯后，加大數(shù)據(jù)處理難度?；蛘邤?shù)據(jù)丟失，可能導(dǎo)致數(shù)據(jù)的真實(shí)性不足。此外，個(gè)性信息安全泄露也是需要解決的問(wèn)題。

4.2展望

在數(shù)據(jù)存儲(chǔ)位置對(duì)數(shù)據(jù)進(jìn)行處理，做好數(shù)據(jù)評(píng)估和分析工作，從大量數(shù)據(jù)中精確定位，進(jìn)而收集高質(zhì)量的數(shù)據(jù)進(jìn)行處理。注重?cái)?shù)據(jù)資料收集，確保數(shù)據(jù)樣本全面和真實(shí)，提高數(shù)據(jù)處理結(jié)果的可靠性。注重防護(hù)墻技術(shù)、密鑰技術(shù)的應(yīng)用，有效保障數(shù)據(jù)安全，避免個(gè)人信息泄露。

5.結(jié)束語(yǔ)

總之，云環(huán)境下，為促進(jìn)大數(shù)據(jù)關(guān)鍵技術(shù)作用的有效發(fā)揮，應(yīng)該結(jié)合具體需要，合理選擇相應(yīng)的技術(shù)措施，完善系統(tǒng)功能，并加強(qiáng)安全管理。作為工作人員，也要重視大數(shù)據(jù)關(guān)鍵技術(shù)的創(chuàng)新，善于總結(jié)經(jīng)驗(yàn)，提高系統(tǒng)技術(shù)水平，促進(jìn)大數(shù)據(jù)作用的有效發(fā)揮。