基于XQuery實(shí)現(xiàn)XML高效查詢的分析研究

蔡可訓(xùn)

摘要:當(dāng)愈來愈多的數(shù)據(jù)資料以XML為標(biāo)準(zhǔn)格式進(jìn)行存儲(chǔ)時(shí),由于其格式的不同而導(dǎo)致傳統(tǒng)的數(shù)據(jù)庫及查詢語法無法適用,該文分析了一種全新的XML查詢語言XQuery,并對(duì)其在相關(guān)領(lǐng)域的應(yīng)用作了介紹和比較。最后,對(duì)XQuery的發(fā)展前景作出展望。

關(guān)鍵詞:XQuery;XML;XML查詢語言

中圖分類號(hào):TP393文獻(xiàn)標(biāo)識(shí)碼:A文章編號(hào):1009-3044(2009)34-9640-04

Analysis and Research of XQuery on XML query

CAI Ke-xun

(ZhenJiang Price Bureau, ZhenJiang 212001, China)

Abstract: A new XML query language, XQuery is analyzed in this paper, and its applications in relational fields are also introduced and compared. Development of XQuery is prospected in the end.

Key words: XQuery; XML; XML query language

隨著電子商務(wù)的蓬勃興起和WEB應(yīng)用的日益廣泛,為克服HTML固有的表達(dá)局限性,同樣源自于SGML(Standard Generalized Markup Language)標(biāo)準(zhǔn)通用標(biāo)記語言的一個(gè)精簡(jiǎn)子集XML應(yīng)運(yùn)而生。自萬維網(wǎng)聯(lián)合組織W3C(World Wide Web Consortium)于1998年完成XML標(biāo)準(zhǔn)制訂以來,XML迅速成為第二代WEB應(yīng)用的基礎(chǔ),獲得了業(yè)界所有大型公司(如IBM及微軟等)的全面支持。XML允許信息提供者根據(jù)需要自行定義標(biāo)記及屬性名,其良好的數(shù)據(jù)存儲(chǔ)格式及可擴(kuò)展性使之迅速得到了廣泛的應(yīng)用。

當(dāng)愈來愈多的數(shù)據(jù)資料以XML為標(biāo)準(zhǔn)格式進(jìn)行存儲(chǔ)時(shí),由于其格式的不同而導(dǎo)致傳統(tǒng)的數(shù)據(jù)庫及查詢語法無法適用,如何以高效快捷的方式實(shí)現(xiàn)文件資料的轉(zhuǎn)換與提取,成為XML發(fā)展的又一個(gè)重要方面。從2000年1月起W3C開始著手?jǐn)M訂一種XML數(shù)據(jù)庫查詢語言XQuery,該語言可實(shí)現(xiàn)條件查詢、排序、連結(jié)、篩選、分類匯總等數(shù)據(jù)操作,具有條件表達(dá)式、分支語句、循環(huán)語句及排序子句等,還提供了一系列可用于求和、求平均數(shù)等運(yùn)算的內(nèi)置函數(shù),這種語言利用了XPath的路徑表達(dá)式實(shí)現(xiàn)對(duì)XML中的節(jié)點(diǎn)定位,無疑,這一標(biāo)準(zhǔn)一旦形成W3C正式建議,則將會(huì)對(duì)XML的進(jìn)一步發(fā)展帶來深遠(yuǎn)的影響。本文將就此查詢語言作一分析探討。

1 XML及其相關(guān)標(biāo)準(zhǔn)的概述

XML包含有三個(gè)要素:文檔類型定義DTD(Document Type Definition)或XML大綱(XML Schema)、可擴(kuò)展樣式語言XSL(eXtensible Stylesheet Language)和可擴(kuò)展鏈接語言XLL(eXtensible Link Language)。其中DTD及XML Schema定義了XML文件中的元素、元素的屬性及元素與元素屬性之間的關(guān)系并規(guī)定了XML文件的邏輯結(jié)構(gòu);XSL使數(shù)據(jù)與其表現(xiàn)形式相互獨(dú)立;XLL描述了資源之間如何鏈接,可以從不同的方向進(jìn)行遍歷,并可將鏈接存儲(chǔ)在獨(dú)立于引用文檔的數(shù)據(jù)庫中。

W3C為XML制定了三個(gè)技術(shù)規(guī)范[1]:XSLT(XSL Transformations)、DOM(Document Object Model)和XPath(XML Path Language),其中XSLT的作用是將某種結(jié)構(gòu)的XML文件轉(zhuǎn)換為另一種結(jié)構(gòu)的XML文檔(含HTML文檔);DOM則提供了一種功能強(qiáng)大的編程接口,使應(yīng)用程序能夠訪問和更新XML文檔的樣式、結(jié)構(gòu)及內(nèi)容,這由支持DOM的解釋器來實(shí)現(xiàn),將可得到一個(gè)包含XML文檔中所有元素的樹狀結(jié)構(gòu);XPath定義了一些可對(duì)XML文檔中的數(shù)據(jù)進(jìn)行“尋址”的表達(dá)式,其操作對(duì)象是XML樹狀結(jié)構(gòu)中的節(jié)點(diǎn),其中最重要的表達(dá)式稱為“定位路徑”(Location Path),在微軟的msxml及IBM的xalan這兩個(gè)支持XPath的軟件系統(tǒng)中其運(yùn)算對(duì)象是DOM的 文檔(Document)或節(jié)點(diǎn)(Node)。

這三者的典型應(yīng)用關(guān)系可簡(jiǎn)述如下:利用XPath檢索存放數(shù)據(jù)的XML DOM,得到需要查詢的數(shù)據(jù)子集,進(jìn)而利用DOM提供的接口控制XSLT中的模板,將檢索出來的數(shù)據(jù)按照適當(dāng)?shù)姆绞斤@示在用戶瀏覽器窗口內(nèi),另外,可以利用XPath尋址XML和XSLT DOM中的節(jié)點(diǎn),然后通過DOM提供的編程接口對(duì)XML中的數(shù)據(jù)和XSLT模板中的參數(shù)進(jìn)行動(dòng)態(tài)修改[2]。

2 XQuery查詢語言發(fā)展?fàn)顩r

XML的發(fā)展趨勢(shì)將成為互聯(lián)網(wǎng)上的通用數(shù)據(jù)庫,實(shí)現(xiàn)平臺(tái)無關(guān)化,且不依賴于機(jī)器類型,其數(shù)據(jù)結(jié)構(gòu)的開放性使得數(shù)據(jù)的查詢檢索成為一個(gè)極其重要的領(lǐng)域。上述以XPath及DOM等為基礎(chǔ)的應(yīng)用還僅是一種初步的方法,尤其是DOM節(jié)點(diǎn)與XPath節(jié)點(diǎn)之間的一些不一致問題還有待解決。隨著用XML存儲(chǔ)、交換和表述信息的應(yīng)用日益增多,人們對(duì)其研究也越來越深入,如何從XML數(shù)據(jù)源中準(zhǔn)確有效地獲取所需信息,也就變得越來越重要。目前已有的查詢語言如XQL、XML QL、QUILT、XML GL、XPath、QOL、YATL、Lorel等一般具有較強(qiáng)的針對(duì)性,往往只適用于某種或少數(shù)幾種數(shù)據(jù)類型的查詢,為了適應(yīng)XML的發(fā)展需求,XML通用查詢語言的制定工作顯得關(guān)鍵而重要。

W3C于2000年1月公布了第一版XML查詢語言需求草案文件(XML Query Requirements W3C Working Draft),對(duì)XML的查詢語言本身及XML查詢數(shù)據(jù)模板、表示法的發(fā)展方向及使用環(huán)境等進(jìn)行了規(guī)范,其制定原則是構(gòu)建于W3C發(fā)展中的另一個(gè)標(biāo)準(zhǔn)規(guī)范XML Infoset之上并支持命名空間(Namespaces)的應(yīng)用。它規(guī)定了查詢的應(yīng)用范圍不應(yīng)只限于單一的XML文檔內(nèi),且應(yīng)可基于文件的內(nèi)容及結(jié)構(gòu)對(duì)查詢條件作出定義,從而實(shí)現(xiàn)在整個(gè)文件或部分內(nèi)容中進(jìn)行檢索的目的,最終要求查詢的結(jié)果可根據(jù)用戶需求自動(dòng)構(gòu)造成新的XML文檔[3]。目前該語言的最新版本是2002年11月15日發(fā)布的Xquery草案。

國(guó)際標(biāo)準(zhǔn)組織W3C的XML Query工作小組及XSL工作小組最近于2003年2月14日為XML的全文檢索工作發(fā)布了兩份草案文件,分別為XQuery and XPath Full-Text Requirements和XQuery and XPath Full-Text Use Cases。前者明確提出全文檢索需能夠處理XQuery/XPath文檔模型中的示例且無須設(shè)計(jì)成類客戶端的界面語言,若Xquery/Xpath Full-Text支持查詢?cè)嘏c屬性名時(shí),應(yīng)能對(duì)元素內(nèi)容、屬性值等進(jìn)行區(qū)分[4];后者則闡述了全文檢索的實(shí)際應(yīng)用,以范例形式說明了全文檢索的各個(gè)功能。這一切牽涉到以全文標(biāo)記化(tokenized)方法對(duì)XQuery和Xpath語言的擴(kuò)充,基本機(jī)理是將一段文字逐字、逐標(biāo)點(diǎn)地分成若干個(gè)標(biāo)記(token),從而使相關(guān)位置上的單字能夠參與檢索運(yùn)算,這樣不僅能實(shí)現(xiàn)鄰近單字的查找,而且還能對(duì)其它字元及字根的使用進(jìn)行處理[5]。

3 XQuery分析及應(yīng)用比較

3.1 XQuery描述

XQuery由Quilt所衍生而來,同時(shí)又從XPath和XQL中吸收了路徑表示語法以適應(yīng)層次結(jié)構(gòu)文檔的需要,融入了SQL中基于關(guān)鍵字系列子句的思想,為數(shù)據(jù)重建提供了類SQL的Select From Where模式,并吸取了OQL中由幾種不同表達(dá)式全嵌套組成的功能語言概念。XQuery作為一種將查詢表示成表達(dá)式的功能語言,可以完全嵌套,故而沿用了子查詢的功能與用法。

XQuery語言的組成單位可稱為查詢模塊(query modules),模塊之間相互獨(dú)立但多個(gè)模塊可以用分號(hào)隔開同時(shí)使用并被合法解析,以下是XQuery中的表達(dá)式組成體系:

1) 主要表達(dá)式(Primary Expressions):這是XQuery的基本單元,包括有字符、變量、函數(shù)調(diào)用及決定優(yōu)先級(jí)的括弧使用,其中一個(gè)URL字符在定義上等價(jià)于一個(gè)字符串。

2) 路徑表達(dá)式(Path Expressions):其語法基于Xpath 1.0,這是一種以路徑方式瀏覽XML文件的標(biāo)記法,在路徑表達(dá)式的開始處可指定文件中的一個(gè)特定節(jié)點(diǎn)或一個(gè)包含有其他子節(jié)點(diǎn)的父節(jié)點(diǎn),再按照文件結(jié)構(gòu)配合以XPath的語法以尋找出符合檢索路徑的數(shù)據(jù)。例如:document(“myxml.xml”)//chapter[2]//figure[caption=“SearchThisData”]。

首先是找到myxml.xml文件中的根結(jié)點(diǎn),然后查找根節(jié)點(diǎn)內(nèi)的第二個(gè)chapter子結(jié)點(diǎn),最后檢索出此chapter子結(jié)點(diǎn)中包含有caption元素且其值為SearchThisData的figure子結(jié)點(diǎn)。

3) 序列表達(dá)式(Sequence Expressions):XQuery支持結(jié)構(gòu)化運(yùn)算及組合序列,序列指零或其他項(xiàng)目的有序集合,其中一個(gè)項(xiàng)目允許是一個(gè)單位值或一個(gè)節(jié)點(diǎn)。例如以下表達(dá)式構(gòu)造了一個(gè)序列10、(1,2)、空序列()及(3,4):

(10, (1, 2), (), (3, 4))

序列表達(dá)式中的項(xiàng)目可以進(jìn)行插入及移除操作。

4) 算術(shù)表達(dá)式(Arithmetic Expressions):包括常見的加、減、乘、除及取模運(yùn)算等。

5) 比較表達(dá)式(Comparison Expressions):Xquery提供了4種比較表達(dá)式如數(shù)值比較、節(jié)點(diǎn)比較等,下例為一個(gè)返回結(jié)果為“假”的表達(dá)式,原因是每個(gè)結(jié)構(gòu)化結(jié)點(diǎn)均具有自己的標(biāo)識(shí):

5 is 5

6) 邏輯表達(dá)式(Logical Expressions):該表達(dá)式的組成形態(tài)為“AND”及“OR”中的兩者之一,其運(yùn)算結(jié)果總為TRUE或FALSE(除非出現(xiàn)錯(cuò)誤例程)。

7) 構(gòu)造式(Constructors):Xquery提供該方法的用途在于利用查詢結(jié)果生成一個(gè)XML結(jié)構(gòu)的文件,以便于存儲(chǔ)和調(diào)用。其中它提供了在數(shù)據(jù)模型[XQuery 1.0 and XPath 2.0 Data Model]中列出除命名空間(namespace)節(jié)點(diǎn)以外的每一種結(jié)構(gòu),另外,它還具有一種稱為計(jì)算結(jié)構(gòu)(computed constructor)的特殊形式,可以創(chuàng)建出一個(gè)文檔節(jié)點(diǎn)或其中的某個(gè)元素及其屬性。作為構(gòu)造式中的重要類別——元素構(gòu)造表達(dá)式(Element constructors),通?？蓪?shí)現(xiàn)查詢時(shí)除對(duì)現(xiàn)有數(shù)據(jù)進(jìn)行檢索外,并可利用查詢結(jié)果產(chǎn)生新的數(shù)據(jù)的功能,這種方法允許使用XML的標(biāo)記法直接將元素包含于查詢之中,也即允許以XML元素本身作為查詢的表達(dá)式。在早期的Xquery草案版本中,它曾作為與上述邏輯表達(dá)式等相并列的一類表達(dá)式出現(xiàn),新的版本將其歸納于Constructors構(gòu)造式之中。

8) FLWOR表達(dá)式(FLWOR expressions):它由FOR、LET、WHERE、ORDER BY及RETURN等子句以特定順序組合而成。早期版本中含有排序表達(dá)式(Sorting)這一類別,是指查詢時(shí)有時(shí)需要控制輸出數(shù)據(jù)的排列順序,該子句可設(shè)定多個(gè)排序條件,并可附加升冪(Ascending)或降冪(Descending)兩個(gè)關(guān)鍵字設(shè)定排序的方向。當(dāng)時(shí)FLWOR表達(dá)式只是稱為FLWR表達(dá)式,即不含有ORDER BY子句。該表達(dá)式第一部分中包含了FOR或LET子句,其值由一到多個(gè)變量組成,且變量的組成是其他表達(dá)式如路徑表達(dá)式等。一個(gè)FLWOR表達(dá)式可能包括多個(gè)FOR或LET子句,并將由WHERE子句進(jìn)行條件篩選并可通過ORDER BY子句進(jìn)行排序,最終滿足檢索條件的結(jié)點(diǎn)數(shù)據(jù)才會(huì)包含于RETURN子句中。如下例所示,表示可列出設(shè)備(Equ)中制造商(Fac)為“沈陽某機(jī)械廠”并且于2001年購買的設(shè)備名稱(Name):

FOR $e IN document("myxml.xml")//Equ WHERE $e/Fac="沈陽某機(jī)械廠"

AND $e/year="2001"

RETURN $e/Name

9) 無序表達(dá)式(Unordered Expressions):這一表達(dá)式在傳統(tǒng)的數(shù)據(jù)查詢語言中較少出現(xiàn),而在定義XML查詢規(guī)范時(shí)卻有著極其重要的意義,這一表達(dá)式未列入早期版本,草案制定的過程中討論增加了這一功能。WEB化下的檢索對(duì)實(shí)現(xiàn)效率要求極高,故對(duì)于一些對(duì)排序根本無要求的返回結(jié)果若按照常規(guī)排序后輸出將會(huì)增加服務(wù)器運(yùn)算及響應(yīng)方面的負(fù)擔(dān),以下是一個(gè)無序函數(shù)使用的示例(查詢返回教師及所對(duì)應(yīng)授課的課程代碼):

unordered(

for $t in document("teachers.xml")//teacher[name = "Wangh"],

$l in document("lessons.xml")//lesson

where $t/lessonid = $l/lessonid

return

{$t/teacherid, $l/lessonid }

)

10) 條件表達(dá)式(Conditional Expressions):其基本語法為“if” “(“ Expression1 “)” “then” Expression2 “else” Expression3,含義為首先判斷Expression1 條件式是否滿足,為true則返回Expression2,否則返回Expression3。

11) 限定表達(dá)式(Quantified expressions):在某些查詢需求下,需測(cè)試是否全部或只有部份元素符合某個(gè)條件,Xquery為此專門提供了“some”及“every”表達(dá)式用來分別表示“部份”及“全部”的選擇。下例使用“some”表示取得book中段落只要有包含sailing及windsurfing的Name元素:

FOR $b IN //book

WHERE SOME $p IN $b//para SATISFIES

(contains($p, "sailing") AND contains($p, "windsurfing"))

RETURN $b/Name

同樣,下例使用“every”表示取得book中每個(gè)段落均含有sailing的Name元素:

FOR $b IN //book

WHERE EVERY $p IN $b//para SATISFIES

contains($p, "sailing")

RETURN $b/Name

12) 用于序列類型的表達(dá)式(Expressions on SequenceTypes):它通常作為一種附加的函數(shù)參數(shù)出現(xiàn),用于instance of、typeswitch、cast、castable和treat表達(dá)式中。

13) 確認(rèn)型表達(dá)式(Validate Expressions):該表達(dá)式在早期版本中不列為主要類型,以下為用法示例:

ValidateExpr :: = (<"validate" "{"> | (<"validate" "context"> SchemaGlobalContext ("/" SchemaContextStep)* "{"}) Expr "}"

W3C關(guān)于該表達(dá)式的說明中指出目前“{”及“}”括號(hào)的應(yīng)用在嵌入式表達(dá)式的環(huán)境中還存在著一些問題。

3.2 應(yīng)用示例

制定XQuery標(biāo)準(zhǔn)前W3C提出了針對(duì)XML查詢的相關(guān)需求,其中一項(xiàng)提及XML查詢語言應(yīng)可實(shí)現(xiàn)在多個(gè)文檔中實(shí)現(xiàn)關(guān)聯(lián)性連結(jié)查詢。以下以教師授課為例說明其實(shí)現(xiàn)過程,要求根據(jù)目錄關(guān)聯(lián)表產(chǎn)生課時(shí)安排文檔,將教師與其授課信息以姓名、課程名為序排列輸出。

首先建立三份XML文檔:teachers.xml(教師信息表)、lessons.xml(課程信息表)、catalog.xml(課時(shí)安排目錄表)。

teachers.xml中包含若干個(gè)節(jié)點(diǎn),每個(gè)節(jié)點(diǎn)依次包含、、等子節(jié)點(diǎn)。

lessons.xml中包含若干個(gè)節(jié)點(diǎn),每個(gè)節(jié)點(diǎn)依次包含、