云計算環(huán)境中的數(shù)據(jù)查詢處理方法研究

拖洪華

（湖南環(huán)境生物職業(yè)技術(shù)學(xué)院，湖南 衡陽 421005）

?

云計算環(huán)境中的數(shù)據(jù)查詢處理方法研究

拖洪華

（湖南環(huán)境生物職業(yè)技術(shù)學(xué)院，湖南 衡陽 421005）

摘 要：當(dāng)前，網(wǎng)絡(luò)技術(shù)發(fā)展迅猛，數(shù)據(jù)信息越來越龐大，而在如今的互聯(lián)網(wǎng)時代，幾乎所有的應(yīng)用查詢都與數(shù)據(jù)息息相關(guān)，通?？偸峭ㄟ^查詢相關(guān)數(shù)據(jù)以獲取想要的結(jié)果。因此，云計算環(huán)境下的數(shù)據(jù)查詢處理方法作為一種新型的互聯(lián)網(wǎng)應(yīng)用模式，受到了工業(yè)界和學(xué)術(shù)界人士的密切關(guān)注。人們可以通過終端設(shè)備便捷地獲取云端服務(wù)，并以按需使用的方式獲得需要的存儲資源?，F(xiàn)有的查詢處理技術(shù)在應(yīng)用于海量數(shù)據(jù)時已經(jīng)顯現(xiàn)出種種不足，這是因?yàn)楫?dāng)數(shù)據(jù)的量達(dá)到一定數(shù)量和級別，且查詢的用戶過多時，查詢數(shù)據(jù)就需要花費(fèi)很多時間，嚴(yán)重的甚至?xí)斐蓴?shù)據(jù)庫系統(tǒng)的性能減弱甚至崩潰，因此，這就需要進(jìn)一步優(yōu)化已有的數(shù)據(jù)處理方法。

關(guān)鍵詞：云計算環(huán)境；數(shù)據(jù)查詢；互聯(lián)網(wǎng)應(yīng)用模式；終端設(shè)備；身份管理模型

云計算（Cloud Computing）是近年來新興的信息技術(shù)之一，它能高效地使用計算資源，更加智能化地實(shí)現(xiàn)大規(guī)模數(shù)據(jù)處理，為人類帶來高品質(zhì)的IT服務(wù)?？梢哉f，云計算的應(yīng)用前景以及帶來的商業(yè)價值都是難以簡單衡量的，但不可忽視的是，云計算還存在一些技術(shù)層面的問題有待解決，如何有效地查詢到自身所需的數(shù)據(jù)，是云計算研究中亟須解決的問題之一。現(xiàn)有的查詢處理技術(shù)在應(yīng)用于海量數(shù)據(jù)時已經(jīng)顯現(xiàn)出種種不足，所以本文主要圍繞云計算環(huán)境下數(shù)據(jù)的查詢方法進(jìn)行研究，在了解前人研究的基礎(chǔ)上，深刻理解云計算下的數(shù)據(jù)存儲與管理特征，重點(diǎn)研究在基于身份鑒別的云計算環(huán)境下的數(shù)據(jù)查詢方案，并提出更加優(yōu)化的數(shù)據(jù)查詢方法，在當(dāng)前簡單易操作的查詢環(huán)境下，為用戶提供更好的云計算服務(wù)體驗(yàn)。

1　關(guān)于云計算的研究

近年來，網(wǎng)絡(luò)技術(shù)發(fā)展迅猛，網(wǎng)絡(luò)應(yīng)用也是貫穿各個領(lǐng)域，云計算的大規(guī)模數(shù)據(jù)處理功能，廣闊的應(yīng)用前景以及帶來的巨大的商業(yè)價值都使得云計算成為當(dāng)前研究的重點(diǎn)，關(guān)于云計算的數(shù)據(jù)研究也是舉不勝舉。例如，丁琳琳等提出的Skyline查詢算法及優(yōu)化，很大程度上使得在Map-Reduce框架下處理Skyline查詢的效率得到提升。而徐劍等提出的面向云計算的數(shù)據(jù)外包認(rèn)證模型，則給出了數(shù)據(jù)查詢認(rèn)證協(xié)議與數(shù)據(jù)更新認(rèn)證協(xié)議。劉泰然在“基于三級存儲系統(tǒng)的海量數(shù)據(jù)查詢處理方法的研究”中在分析了已有的查詢處理方法后，研究了基于兩次分解的第三級存儲系統(tǒng)的海量數(shù)據(jù)的查詢處理方法，不僅提高了磁盤查詢計劃的執(zhí)行性能，而且對第三級存儲器查詢處理的查詢優(yōu)化、查詢調(diào)度、查詢執(zhí)行以及結(jié)果收集等各階段的關(guān)鍵技術(shù)都進(jìn)行了系統(tǒng)的研究。而楊柳、唐卓等人則在“云計算環(huán)境中基于用戶訪問需求的角色查找算法”中提出的基于用戶權(quán)限的角色查找算法，這種算法可以在云計算系統(tǒng)的角色中選擇一組數(shù)量最少的角色指派給用戶。

2　云計算環(huán)境中的數(shù)據(jù)查詢處理概述

云計算環(huán)境中的數(shù)據(jù)查詢處理特點(diǎn)具有更為鮮明的特點(diǎn)，這與傳統(tǒng)關(guān)系數(shù)據(jù)庫中的數(shù)據(jù)查詢明顯不同。結(jié)合目前現(xiàn)有的云數(shù)據(jù)管理系統(tǒng)及前人相關(guān)研究，對云計算環(huán)境中數(shù)據(jù)的特性進(jìn)行分析，指出云數(shù)據(jù)查詢處理技術(shù)的目標(biāo)，并總結(jié)云數(shù)據(jù)管理系統(tǒng)中查詢技術(shù)的特征與面臨的挑戰(zhàn)，從而更好地研究云計算環(huán)境中的數(shù)據(jù)查詢處理方法。

云計算環(huán)境中數(shù)據(jù)的存儲和管理具備如下特點(diǎn)：

（1）海量性。如今是移動互聯(lián)網(wǎng)的時代，移動設(shè)備已經(jīng)非常普及，傳感技術(shù)也越來越發(fā)達(dá)，社交網(wǎng)絡(luò)不斷擴(kuò)大，云計算平臺存儲和管理的數(shù)據(jù)也十分龐大。

（2）異地備份。云計算的重要特征之一就是數(shù)據(jù)具備高可用性，可以通過對用戶透明的數(shù)據(jù)異地備份實(shí)現(xiàn)其高水平的容錯性。

（3）種類豐富?；ヂ?lián)網(wǎng)應(yīng)用種類越來越多，如今流行的微博、微信等社等社交網(wǎng)絡(luò)就是個鮮明的例子，由于這些新興應(yīng)用所處理的數(shù)據(jù)既有結(jié)構(gòu)化數(shù)據(jù)，又有半結(jié)構(gòu)化以及非結(jié)構(gòu)化數(shù)據(jù)，因此，云計算的數(shù)據(jù)就顯得非常繁雜。

3　云數(shù)據(jù)查詢處理的目標(biāo)

傳統(tǒng)的關(guān)系數(shù)據(jù)顯然無法滿足如今人們多樣化的應(yīng)用需求，因此，在根據(jù)數(shù)據(jù)分布以及繁雜海量特性的基礎(chǔ)上設(shè)計出更加優(yōu)化的查詢方案，從而可以向用戶提供“按需所取”、可靠的、高性能的數(shù)據(jù)查詢服務(wù)就成了當(dāng)務(wù)之急。為實(shí)現(xiàn)這個目標(biāo)，云計算環(huán)境中的數(shù)據(jù)的查詢處理技術(shù)需要達(dá)到以下目標(biāo)：

（1）可用性。通常情況下，云平臺的硬件出錯的情況較多，而云數(shù)據(jù)管理系統(tǒng)在錯誤發(fā)生時既要保證數(shù)據(jù)不丟失，又要保證數(shù)據(jù)的讀寫操作能夠正常進(jìn)行，這是云計算環(huán)境中數(shù)據(jù)查詢技術(shù)最基本的要求。

（2）可擴(kuò)展性。云平臺的規(guī)模大小不一，規(guī)模從十幾個節(jié)點(diǎn)到幾千個節(jié)點(diǎn)都有。云計算“按需計費(fèi)”的服務(wù)方式以及其規(guī)模隨著應(yīng)用需求的變化而改變的特點(diǎn)要求云計算數(shù)據(jù)管理系統(tǒng)中的查詢及優(yōu)化必須具備可擴(kuò)展性。

（3）在異構(gòu)環(huán)境運(yùn)行的能力。為防止性能較差的節(jié)點(diǎn)影響整個云計算管理系統(tǒng)的運(yùn)行效率，這就要求云數(shù)據(jù)的查詢處理技術(shù)要有在異構(gòu)環(huán)境運(yùn)行的能力。（4）高效的數(shù)據(jù)存取性能。雖然云數(shù)據(jù)管理系統(tǒng)的軟硬件成本較低，但其用戶對其處理海量數(shù)據(jù)的效率也是非常關(guān)注的。

（4）靈活多樣的用戶接口。這主要基于兩個方面的考慮，首先，考慮到用戶可根據(jù)業(yè)務(wù)需求自己定義數(shù)據(jù)查詢操作的方式，云數(shù)據(jù)管理系統(tǒng)要提供UDF（User Defined Function）接口；其次，為便于常用關(guān)系數(shù)據(jù)庫查詢語言的用戶不必重新學(xué)習(xí)新的接口或者編程方法，而原來基于關(guān)系數(shù)據(jù)庫的各種應(yīng)用也可以平滑地轉(zhuǎn)移到云上，因此，數(shù)據(jù)管理系統(tǒng)還需要提供SQL接口。

4　相關(guān)定義

為了描述方便，先給出如下的幾個基本定義：

4.1 定義1 數(shù)據(jù)擁有者（DO）

DO=

其中，ID即數(shù)據(jù)擁有者的身份，DT為數(shù)據(jù)擁有者所具有的數(shù)據(jù)類型；Cer指Dis所需要獲得的認(rèn)證證書。該定義中，DO可對存儲在云服務(wù)器上的資源及時更新，從而實(shí)現(xiàn)數(shù)據(jù)查詢者的注冊、注銷等功能。

4.2 定義2 數(shù)據(jù)查詢者集合（DIS）

DIS=

ID即為數(shù)據(jù)查詢者的身份，POS為數(shù)據(jù)查詢者的位置；而SL則表示數(shù)據(jù)查詢者的安全等級。

4.3 定義3 查詢請求（IR）

IR =

在此定義中，Req_index是指用戶的查詢請求；datablock_index表示DIS數(shù)據(jù)查詢者集合，也就是請求的數(shù)據(jù)塊。

5　數(shù)據(jù)查找方案

一般情況下，在云計算環(huán)境中，可以用DO來指派用戶對數(shù)據(jù)的訪問權(quán)限，主要方式有兩種：（1）DO通過身份鑒別的方式將權(quán)限指派給DIS；（2）DO直接對DIS指派對資源的操作權(quán)限。兩種方式對比，第二種方法的擴(kuò)展性不如第一種，因?yàn)楫?dāng)用戶查詢不同類型的數(shù)據(jù)時，常常需要重復(fù)指派，這就導(dǎo)致浪費(fèi)了大量時間，而身份鑒別的方式則可以有效地進(jìn)行訪問控制，更適合于云計算環(huán)境，這是由于它區(qū)分了用戶的身份，將用戶的身份分為數(shù)據(jù)查詢者和數(shù)據(jù)擁有者兩種。

由于很多傳統(tǒng)方案并沒有很好地區(qū)分不同用戶的身份，這導(dǎo)致一定程度上，它并不具備處理云環(huán)境中海量用戶及訪問信息的能力，此外，這些方案在操作過程中會產(chǎn)生大量的身份信息，需要消耗大量的計算和存儲資源去維持身份與用戶間的指派關(guān)系。因此，本文首先提出了一種區(qū)別用戶身份的管理模型，將用戶的身份分為數(shù)據(jù)查詢者和數(shù)據(jù)擁有者，從而使得在云計算環(huán)境中可以根據(jù)不同身份用戶的需求，選擇出該用戶一次訪問中所需訪問資源的最少身份集合，指派給該用戶，以節(jié)省系統(tǒng)的資源，提高云計算環(huán)境下數(shù)據(jù)查詢處理的效率。

6　身份管理模型簡介（IMM）

為更好地理解身份管理模型，可假設(shè)該模型中各個元素之間的關(guān)系如下：

（1）U/AR/ID/SP/DQ分別代表的是用戶，用戶對資源的訪問規(guī)則，用戶的身份，服務(wù)的提供者以及用戶對資源的數(shù)據(jù)查詢處理。

（2）IDA í ID′ ID，指不同身份間的多對多指派關(guān)系。

（3）ARA í AR′ ID，表示訪問規(guī)則與身份間的多對多指派關(guān)系。

（4）UA í U′ ID，表示用戶與身份間的多對多指派關(guān)系。

參照陳波的“基于等價變換的分布式查詢優(yōu)化方法研究”，本文通過大量研究分析，認(rèn)為用戶的身份主要具有3種狀態(tài)：第一種，就緒；第二種，激活；第三種，失效，其實(shí)這3種狀態(tài)并不是一成不變的，它可以根據(jù)用戶的不同的訪問需求進(jìn)行變換。從以上關(guān)系指派不難看出，數(shù)據(jù)擁有者（DO）要實(shí)現(xiàn)對數(shù)據(jù)查詢者指派相應(yīng)的身份，前提是必須要根據(jù)不同用戶的查詢請求來決定。這就意味著，在云計算環(huán)境中，首先必須根據(jù)用戶的查詢需求，并選擇權(quán)限合適的用戶身份，最后將身份數(shù)據(jù)最少的身份集合指派給用戶，這是有效區(qū)分不同用戶，最終優(yōu)化龐大數(shù)據(jù)查詢的關(guān)鍵。

7　結(jié)語

在云計算環(huán)境中數(shù)據(jù)查詢處理方式與傳統(tǒng)的關(guān)系型數(shù)據(jù)庫是截然不同的，海量的信息無疑增加了提取的難度，為滿足用戶隨時隨地獲取有價值的信息，享受云計算服務(wù)帶來的高效體驗(yàn)，這就要求云計算的數(shù)據(jù)查詢方式需要不斷進(jìn)行調(diào)整與優(yōu)化。本文通過對云計算的相關(guān)研究，分析云計算環(huán)境下數(shù)據(jù)存儲與管理的特點(diǎn)，提出了云計算環(huán)境下的數(shù)據(jù)查詢目標(biāo)與方案，同時還提出關(guān)于云計算的幾種相關(guān)定義，并根據(jù)用戶不同的查詢請求，實(shí)現(xiàn)從系統(tǒng)資源到身份數(shù)據(jù)之間的最優(yōu)指派。此次實(shí)驗(yàn)結(jié)果表明，本文的方案取得了較好的優(yōu)化效果。之后的研究將針對云計算環(huán)境下的數(shù)據(jù)的分布方法，如何在保證高效率的同時兼顧全局的負(fù)載平衡以及數(shù)據(jù)集的安全性，備份與冗余存儲等方面進(jìn)行研究。

［參考文獻(xiàn)］

［1］陳源，戴小鵬，張林峰.數(shù)據(jù)查詢優(yōu)化算法綜述［J］.計算機(jī)與現(xiàn)代化，2005（4）：14-17.

［2］徐劍，周福才，陳旭，等.云計算中基于認(rèn)證數(shù)據(jù)結(jié)構(gòu)的數(shù)據(jù)外包認(rèn)證模型［J］.通信學(xué)報，2011（7）：153-160.

［3］陳波.基于等價變換的分布式查詢優(yōu)化方法研究［J］.計算機(jī)工程與設(shè)計，2006（3）：390-392.

［4］劉泰然.基于三級存儲系統(tǒng)的海量數(shù)據(jù)查詢處理方法的研究［D］.哈爾濱：哈爾濱工業(yè)大學(xué)，2006.

［5］陳康，鄭緯民.元計算：系統(tǒng)實(shí)例與研究現(xiàn)狀［J］.軟件學(xué)報，2009（5）：1337-1348.

［6］薩師煊，王珊.數(shù)據(jù)庫系統(tǒng)概論［M］.北京：高等教育出版社，2002.

［7］丁琳琳，信俊昌，王國仁，等.基于Map-Reduce的海量數(shù)據(jù)高效Skyline查詢處理［J］.計算機(jī)學(xué)報，2010（10）：1785-1796.

［8］陳康，鄭緯民.元計算：系統(tǒng)實(shí)例與研究現(xiàn)狀［J］.軟件學(xué)報，2009（5）：1337-1348.

［9］谷震離.基于SQL查詢語句的查詢優(yōu)化方法［J］.計算機(jī)時代，2005（2）：39-41.

［10］楊柳，唐卓，李仁發(fā)，等.云計算環(huán)境中基于用戶訪問需求的角色查找算法［J］.通信學(xué)報，2011（7）：169-175.

［11］EUGENEFINK，GOLDSTEI A N，PHILIPJAIMEG H.CARBONELL.Search for approximate matches in large databases.IEEE International Conference on Systems ［J］.Man and Cybernetics，2004（5）：5-7.

Research on Data Query Processing in Cloud Computing Environment

Tuo Honghua
（Hunan Vocational College of Environmental Biology，Hengyang 421005，China）

Abstract:At present，network technology has got developed rapidly，data information is more and more huge，and in today's Internet era，almost all applications and queries require data closely，almost always through other relevant data to obtain the desired results. Therefore，the data query processing method cloud computing environment as a new Internet application model，has been closely watched by industry and academics. People can easily access cloud services via terminal equipment，and in a manner to obtain the desired on-demand storage resources. Existing query processing techniques when applied to massive data has shown shortcomings，this is because when the data reaches a certain amount and level of the user and the query is too large，the query data will need to spend a lot of time，serious or even resulting in performance database systems weaken or even collapse，therefore，requiring further optimize the existing data processing method.

Key words:cloud computing environment；data query；Internet application mode；terminal equipment；identity management model

作者簡介：拖洪華（1973-），男，黑龍江哈爾濱，本科，高級實(shí)驗(yàn)師；研究方向：大數(shù)據(jù)，云計算。