基于元數(shù)據(jù)映射機制的異構(gòu)數(shù)據(jù)操作

王曉雯++孫承愛　周春露

摘要：實現(xiàn)異構(gòu)數(shù)據(jù)庫的數(shù)據(jù)共享操作是數(shù)據(jù)庫管理的關(guān)鍵技術(shù)，從各種分布、異構(gòu)式數(shù)據(jù)源中抽取數(shù)據(jù)，以達到實現(xiàn)異構(gòu)數(shù)據(jù)庫間的數(shù)據(jù)管理。對基于元數(shù)據(jù)的數(shù)據(jù)互操作技術(shù)和現(xiàn)狀進行總結(jié)分析，提出基于元數(shù)據(jù)映射的分布式異構(gòu)數(shù)據(jù)管理機制，針對國內(nèi)外元數(shù)據(jù)標準，按照元數(shù)據(jù)提取、映射規(guī)則，能夠很好地解決從異構(gòu)數(shù)據(jù)源中提取數(shù)據(jù)并按照標準數(shù)據(jù)庫的要求進行加工處理后的上報問題，實現(xiàn)異構(gòu)數(shù)據(jù)共享。

關(guān)鍵詞：元數(shù)據(jù)；異構(gòu)數(shù)據(jù)庫；數(shù)據(jù)共享；元數(shù)據(jù)提??；元數(shù)據(jù)映射

DOIDOI：10.11907/rjdk.143671

中圖分類號：TP392

文獻標識碼：A 文章編號文章編號：16727800（2015）001014603

基金項目基金項目：山東科技大學(xué)教育教學(xué)“群星計劃”基金項目（2013230）；山東科技大學(xué)研究生科技創(chuàng)新基金項目（YC130322）

作者簡介作者簡介：王曉雯（1990-），女，山東青島人，山東科技大學(xué)信息科學(xué)與工程學(xué)院碩士研究生，研究方向為軟件工程、數(shù)據(jù)庫、信息管理；孫承愛（1964-），女，山東泰安人，碩士，山東科技大學(xué)信息科學(xué)與工程學(xué)院副教授，研究方向為C語言、計算機技術(shù)；周春露（1988-），男，山東濰坊人，山東科技大學(xué)信息科學(xué)與工程學(xué)院碩士研究生，研究方向為軟件開發(fā)與集成。

0 引言

隨著應(yīng)用軟件系統(tǒng)規(guī)模的不斷擴大，對不同數(shù)據(jù)庫中數(shù)據(jù)操作及數(shù)據(jù)共享的需求也越來越重要，特別是現(xiàn)有管理系統(tǒng)大多構(gòu)建于不同的數(shù)據(jù)庫應(yīng)用軟件上，造成信息共享困難。傳統(tǒng)的異構(gòu)數(shù)據(jù)管理技術(shù)不能有效地解決統(tǒng)一數(shù)據(jù)操作和減少信息冗余問題。因此，為實現(xiàn)異構(gòu)數(shù)據(jù)庫間的數(shù)據(jù)管理，有效利用數(shù)據(jù)，對基于元數(shù)據(jù)的操作技術(shù)進行討論分析，結(jié)合關(guān)鍵技術(shù)的應(yīng)用需求，為數(shù)據(jù)庫系統(tǒng)間數(shù)據(jù)共享提供解決方案。針對這一需求，提出基于元數(shù)據(jù)映射機制的分布式異構(gòu)數(shù)據(jù)管理機制，在介紹元數(shù)據(jù)標準和技術(shù)分類體系成果的基礎(chǔ)上，分析基于不同元數(shù)據(jù)標準的數(shù)據(jù)庫系統(tǒng)間操作的關(guān)鍵技術(shù)，克服元數(shù)據(jù)標準間的差異[1]，實現(xiàn)數(shù)據(jù)的有效管理操作，并根據(jù)這種技術(shù)特點加以改進。

1 元數(shù)據(jù)及異構(gòu)數(shù)據(jù)庫系統(tǒng)理論

元數(shù)據(jù)是描述數(shù)據(jù)的數(shù)據(jù)，其作用包括描述信息資源或數(shù)據(jù)本身的特征和屬性，規(guī)定數(shù)字化信息的組織[2]。在元數(shù)據(jù)應(yīng)用上，資源分析是指明確元數(shù)據(jù)所對應(yīng)描述的數(shù)字對象及相關(guān)需求等。在系統(tǒng)建模基礎(chǔ)上，用屬性提取來分析每一個資源實體的屬性以及資源實體的管理、描述、應(yīng)用的功能需求，從而得到每個資源實體的元數(shù)據(jù)描述[3]。元數(shù)據(jù)處理的高效性將影響整個系統(tǒng)的正確可靠性和性能提升。對元數(shù)據(jù)進行管理可以靈活地實現(xiàn)外部數(shù)據(jù)的加入和退出，降低了數(shù)據(jù)管理難度。在系統(tǒng)中可把數(shù)據(jù)看作獨立的信息單元。

異構(gòu)數(shù)據(jù)庫系統(tǒng)是相關(guān)的多個數(shù)據(jù)庫系統(tǒng)的集合，其目標是為實現(xiàn)數(shù)據(jù)共享管理和透明訪問，異構(gòu)數(shù)據(jù)庫間的合并和共享，并不會破壞原有數(shù)據(jù)庫系統(tǒng)的獨立性和完整性控制。而元數(shù)據(jù)是對信息資源的結(jié)構(gòu)化描述，在數(shù)據(jù)庫中可以更好地存儲各類異構(gòu)數(shù)據(jù)源的節(jié)點信息，一般包含編碼、名稱、類別、標識、字段類型、是否主鍵、對應(yīng)外鍵等。

異構(gòu)數(shù)據(jù)庫系統(tǒng)，實現(xiàn)數(shù)據(jù)共享管理應(yīng)滿足兩點：一是實現(xiàn)數(shù)據(jù)庫轉(zhuǎn)換，二是實現(xiàn)數(shù)據(jù)的透明訪問[4]。針對標準節(jié)點數(shù)據(jù)項是否能夠完全映射子節(jié)點元數(shù)據(jù)項，提出基于元數(shù)據(jù)映射的異構(gòu)數(shù)據(jù)上報技術(shù)和基于元數(shù)據(jù)映射的異構(gòu)數(shù)據(jù)集成技術(shù)。

2 基于元數(shù)據(jù)映射的異構(gòu)數(shù)據(jù)管理

可通過基于元數(shù)據(jù)映射機制的分布式異構(gòu)數(shù)據(jù)管理機制，實現(xiàn)數(shù)據(jù)庫系統(tǒng)間的數(shù)據(jù)管理。從分布式異構(gòu)數(shù)據(jù)庫系統(tǒng)的數(shù)據(jù)處理流程來看，從不同源數(shù)據(jù)庫中分別提取元數(shù)據(jù)信息，按照數(shù)據(jù)共享的目標統(tǒng)一表達元數(shù)據(jù)[5]，通過數(shù)據(jù)轉(zhuǎn)換的操作實現(xiàn)元數(shù)據(jù)表的統(tǒng)一和聚合。

基于元數(shù)據(jù)映射機制的分布式異構(gòu)數(shù)據(jù)管理機制，是將子節(jié)點數(shù)據(jù)表劃分成元數(shù)據(jù)項，使其與標準節(jié)點數(shù)據(jù)表的元數(shù)據(jù)映射，將映射后對應(yīng)的子節(jié)點數(shù)據(jù)項上傳到標準節(jié)點數(shù)據(jù)庫中，從而解決從異構(gòu)數(shù)據(jù)源中提取數(shù)據(jù)并按照標準數(shù)據(jù)庫的要求進行加工處理并上報的問題。

2.1 元數(shù)據(jù)映射的分布式異構(gòu)數(shù)據(jù)上報

基于元數(shù)據(jù)映射的分布式異構(gòu)數(shù)據(jù)上報是由標準節(jié)點維護描述各子節(jié)點所需上報數(shù)據(jù)大而全的數(shù)據(jù)表，各子節(jié)點自主上報數(shù)據(jù)項內(nèi)容。在此過程中，允許各節(jié)點根據(jù)使用習(xí)慣自主對數(shù)據(jù)項進行名稱的修改和順序調(diào)整。

屬性映射的過程就是標準節(jié)點數(shù)據(jù)庫中已經(jīng)設(shè)計了包含描述一個對象所需要的所有數(shù)據(jù)項，而各子節(jié)點根據(jù)需要從標準節(jié)點數(shù)據(jù)庫中選出自身描述對象時所需要的數(shù)據(jù)項種類，并且根據(jù)使用習(xí)慣修改數(shù)據(jù)項名稱、調(diào)整數(shù)據(jù)項顯示順序，并將這些操作結(jié)果用合適的方法進行記錄，當(dāng)上報數(shù)據(jù)時能夠?qū)⑿薷暮蟮淖庸?jié)點數(shù)據(jù)項正確地映射到原本對應(yīng)的中央節(jié)點數(shù)據(jù)庫數(shù)據(jù)項上。

就數(shù)據(jù)項數(shù)目和類別而言，應(yīng)該涵蓋用戶要描述對象的全部項目。然而，對應(yīng)具體某個節(jié)點來說，在數(shù)據(jù)項數(shù)目上可能只需要標準的一個子集：例如標準節(jié)點要求描述一個貨物可能有始發(fā)站、目的站、日期、貨物名稱、件數(shù)、重量等，而子節(jié)點描述該貨物只需要目的站、貨物名稱、件數(shù)；在數(shù)據(jù)項名稱上可能有任意的命名。例如，對于“目的站”，子節(jié)點可以用“目的地”、“貨物寄送地址”等相似詞語來描述，在數(shù)據(jù)項順序上可以按照任意順序給出。

2.2 元數(shù)據(jù)提取

針對上述方案主要解決兩個主要問題：元數(shù)據(jù)提取和節(jié)點數(shù)據(jù)到標準數(shù)據(jù)元數(shù)據(jù)的映射。元數(shù)據(jù)提取過程需要實現(xiàn)的是將標準節(jié)點數(shù)據(jù)庫中元數(shù)據(jù)的提取和子節(jié)點數(shù)據(jù)庫中用戶元數(shù)據(jù)的提取。標準元數(shù)據(jù)提取是將標準節(jié)點數(shù)據(jù)庫中定義的描述一個對象的所有數(shù)據(jù)項按照列的順序?qū)傩跃幪?、?shù)據(jù)項名稱、是否可以為空等屬性提取到一個表格中進行維護，供以后節(jié)點數(shù)據(jù)到標準元數(shù)據(jù)的映射過程使用，其中如果該項要求不為空，則必選項設(shè)為1；如果可以為空，則設(shè)為0。對于必選項值為0的數(shù)據(jù)項，子節(jié)點用戶在選擇要上報的數(shù)據(jù)項時可以不予選擇，否則必須選擇。例如：標準節(jié)點數(shù)據(jù)庫規(guī)定描述一個對象A所設(shè)計的表格A如圖1所示。

圖1 表A設(shè)計

描述對象A需要B、C、D、E、F、G這6個數(shù)據(jù)項，則定義最終提取到的標準元數(shù)據(jù)表如圖2所示。

用戶元數(shù)據(jù)提取是將用戶對標準節(jié)點數(shù)據(jù)庫數(shù)據(jù)項做出的選擇、對數(shù)據(jù)項名稱的修改過程。按照列的順序?qū)傩跃幪?、?shù)據(jù)項名稱、標準節(jié)點屬性編號提取到一個表格中進行維護，其中標準節(jié)點屬性編號是指該條記錄中的數(shù)據(jù)項對應(yīng)標準元數(shù)據(jù)提取結(jié)果表中的屬性編號。例如：某個節(jié)點選擇了表A中的B、D、E、F 4個數(shù)據(jù)項，并將其重命名為B-、E-、F-，數(shù)據(jù)項D保持不變，將顯示順序變?yōu)椋篍-、F-、B-、D，則存儲結(jié)果如圖3所示。

圖2 分布式異構(gòu)數(shù)據(jù)上報的標準元數(shù)據(jù)提取結(jié)果

圖3 分布式異構(gòu)數(shù)據(jù)上報的用戶元數(shù)據(jù)提取結(jié)果

2.3 節(jié)點數(shù)據(jù)到元數(shù)據(jù)映射

節(jié)點數(shù)據(jù)到元數(shù)據(jù)的映射是指，用戶對標準節(jié)點數(shù)據(jù)庫描述一個對象的所有數(shù)據(jù)項進行數(shù)據(jù)項個數(shù)選擇、數(shù)據(jù)項名稱修改、數(shù)據(jù)項順序調(diào)整后，節(jié)點數(shù)據(jù)的結(jié)構(gòu)會與標準數(shù)據(jù)即標準節(jié)點數(shù)據(jù)不一致，這種情況下就不能像普通的數(shù)據(jù)庫插入操作一樣將節(jié)點數(shù)據(jù)的每項與標準節(jié)點數(shù)據(jù)庫中的數(shù)據(jù)項對應(yīng)起來后再進行數(shù)據(jù)的插入操作。

進行用戶元數(shù)據(jù)到標準元數(shù)據(jù)的映射過程為：①按照用戶元數(shù)據(jù)提取表格中的屬性編號順序依次獲得用戶元數(shù)據(jù)中的記錄，獲取用戶數(shù)據(jù)中包含的數(shù)據(jù)項，包括數(shù)據(jù)項名稱、標準節(jié)點屬性編號[6]；②循環(huán)獲取用戶數(shù)據(jù)中每個數(shù)據(jù)項對應(yīng)標準節(jié)點數(shù)據(jù)庫數(shù)據(jù)項的名稱，例如上述節(jié)點數(shù)據(jù)庫中數(shù)據(jù)項名稱為E-中的數(shù)據(jù)應(yīng)該對應(yīng)插入到標準節(jié)點數(shù)據(jù)庫中名稱為E的數(shù)據(jù)項，查詢標準元數(shù)據(jù)提取結(jié)果表格中對應(yīng)屬性編號為4的數(shù)據(jù)項名稱，可以得到4對應(yīng)的數(shù)據(jù)項名稱為E，同樣的節(jié)點數(shù)據(jù)中的F-項對應(yīng)標準節(jié)點數(shù)據(jù)庫中的F。

3 元數(shù)據(jù)提取技術(shù)及映射機制的推廣改進

應(yīng)用元數(shù)據(jù)提取技術(shù)及映射機制可以解決數(shù)據(jù)上報問題，但當(dāng)標準節(jié)點數(shù)據(jù)庫描述一個對象的數(shù)據(jù)項并不全面時，即當(dāng)節(jié)點數(shù)據(jù)要求插入標準節(jié)點數(shù)據(jù)庫時，如果節(jié)點數(shù)據(jù)中含有標準節(jié)點數(shù)據(jù)庫不存在的數(shù)據(jù)項，則該數(shù)據(jù)項會被新增到標準節(jié)點數(shù)據(jù)庫中作為一個新的數(shù)據(jù)項。因此做出改進：將各節(jié)點結(jié)合同義詞表與標準節(jié)點數(shù)據(jù)庫進行屬性映射、插入操作。

當(dāng)節(jié)點數(shù)據(jù)中某個數(shù)據(jù)項名稱與標準節(jié)點數(shù)據(jù)庫中的數(shù)據(jù)項不一致時，如果在同義詞表中，該名稱作為標準節(jié)點數(shù)據(jù)庫中某個數(shù)據(jù)項的同義詞，則可以將該項與標準節(jié)點數(shù)據(jù)庫中的相似項進行映射；如果在同義詞表中，該名稱沒有作為標準節(jié)點數(shù)據(jù)庫的某個數(shù)據(jù)項的同義詞，則將其添加為標準節(jié)點數(shù)據(jù)庫某個數(shù)據(jù)項的同義詞或者在標準節(jié)點數(shù)據(jù)庫中新添加一個數(shù)據(jù)項。

標準節(jié)點數(shù)據(jù)庫的數(shù)據(jù)項名稱與子節(jié)點數(shù)據(jù)庫的項目名稱不一定相同，這種情況下，需要維護一個同義詞表。當(dāng)用戶需要上報數(shù)據(jù)時，將子節(jié)點數(shù)據(jù)庫的數(shù)據(jù)項名稱在同義詞表中進行查詢，如果存在記錄，則可以將子節(jié)點數(shù)據(jù)庫的數(shù)據(jù)項名稱映射到標準節(jié)點數(shù)據(jù)庫的數(shù)據(jù)項名稱上；如果不存在該記錄，則在同義詞表中添加該同義詞，在標準節(jié)點數(shù)據(jù)庫中插入新的數(shù)據(jù)項并命名，然后在同義詞表中加上該數(shù)據(jù)項的相關(guān)信息。這樣在進行元數(shù)據(jù)的映射時，如果查詢元數(shù)據(jù)提取表中沒有匹配成功，需要查詢同義詞表中同義詞數(shù)據(jù)項一列中有無記錄的內(nèi)容與該數(shù)據(jù)項相同，如果存在相同記錄，則查詢該記錄所對應(yīng)“屬性編號”一列的內(nèi)容，然后根據(jù)該屬性編號與元數(shù)據(jù)提取結(jié)果表的“屬性編號”相結(jié)合查找標準節(jié)點數(shù)據(jù)庫中對應(yīng)的數(shù)據(jù)項名稱。

4 應(yīng)用案例

應(yīng)用此機制以程序設(shè)計基礎(chǔ)精品課程管理網(wǎng)站為實用案例，對基于元數(shù)據(jù)映射機制的異構(gòu)數(shù)據(jù)操作管理原型系統(tǒng)進行了設(shè)計與實現(xiàn)，用于說明文中介紹的分布式異構(gòu)數(shù)據(jù)上報技術(shù)。此精品課程管理網(wǎng)站提供管理員、學(xué)生、教師3種角色，教師需要對各學(xué)期、各課程的考核提供所需要的業(yè)務(wù)數(shù)據(jù)。各教師均已有自己的業(yè)務(wù)數(shù)據(jù)庫，但只能嚴格從自身所管理的數(shù)據(jù)內(nèi)容中選擇上報的數(shù)據(jù)，對于自己業(yè)務(wù)無關(guān)的數(shù)據(jù)可以不予關(guān)注。作為節(jié)點用戶應(yīng)用該系統(tǒng)，主要是對節(jié)點上報數(shù)據(jù)的管理，包括上報數(shù)據(jù)的瀏覽、查詢、增加、修改和刪除等操作。以網(wǎng)站中的知識點更新功能為例，教師通過該界面，可以對每門課程的知識點進行添加、更新、刪除。

5 結(jié)語

不同應(yīng)用軟件造成的異構(gòu)現(xiàn)象會給數(shù)據(jù)共享帶來很大困難，從而產(chǎn)生大量“信息孤島”[7]。與傳統(tǒng)異構(gòu)數(shù)據(jù)管理方法比較，數(shù)據(jù)聯(lián)邦方法透明度高，但要求有較好的網(wǎng)絡(luò)性能且容易冗余；數(shù)據(jù)倉庫技術(shù)實時性較差、耦合性低，面對大量數(shù)據(jù)時，服務(wù)效率明顯降低?；谠獢?shù)據(jù)映射機制的分布式異構(gòu)數(shù)據(jù)管理機制，通過將節(jié)點數(shù)據(jù)表劃分成元數(shù)據(jù)項，標準節(jié)點與子節(jié)點的元數(shù)據(jù)項進行映射后，將子節(jié)點數(shù)據(jù)提交到標準節(jié)點，解決了分布式異構(gòu)數(shù)據(jù)不能上報的問題。這種機制為用戶提供了統(tǒng)一數(shù)據(jù)操作接口，且各數(shù)據(jù)源的結(jié)構(gòu)保持相對穩(wěn)定，降低了數(shù)據(jù)管理難度，實現(xiàn)了數(shù)據(jù)資源的有效整合。

參考文獻：

[1] 崔紀鋒，張勇，邢春曉.元數(shù)據(jù)在數(shù)據(jù)庫互操作中的應(yīng)用[J].計算機科學(xué)與探索，2011，5（4）：3033.

[2] 戴超凡.數(shù)據(jù)倉庫中元數(shù)據(jù)技術(shù)研究[J].計算機工程與應(yīng)用，2011，37（14）：5658.

[3] 劉戀，鄭彪.分布式文件系統(tǒng)中元數(shù)據(jù)操作的優(yōu)化[J].計算機應(yīng)用，2012（12）：1215.

[4] 畢強，朱亞玲.元數(shù)據(jù)標準及其互操作研究[J].信息系統(tǒng)，2008（5）：2325.

[5] 蔣楠，丁祥武.基于模型驅(qū)動元數(shù)據(jù)管理策略的研究[J].計算機應(yīng)用與軟件，2012，29（1）：3336.

[6] 衛(wèi)佳蘊，孫莉，朱吉翔.基于元數(shù)據(jù)的目錄服務(wù)體系研究與實現(xiàn)[J].計算機技術(shù)與發(fā)展，2008，18（4）：2730.

[7] 劉青寶，黃宏斌等.數(shù)據(jù)倉庫中的元數(shù)據(jù)管理[J].計算機工程與科學(xué)，2008（4）：1519.