數(shù)據(jù)整合技術(shù)在高校應(yīng)用系統(tǒng)中的研究與實(shí)現(xiàn)

摘 要：隨著高校信息化建設(shè)的發(fā)展需求，高校中的應(yīng)用系統(tǒng)與日俱增。然而，在信息化建設(shè)中，很多高校缺乏前期的規(guī)劃設(shè)計(jì)，這樣造成了高校現(xiàn)有的應(yīng)用系統(tǒng)數(shù)據(jù)相互獨(dú)立，信息資源分散、使用率較低。為了提高現(xiàn)有應(yīng)用系統(tǒng)數(shù)據(jù)資源的使用效率，消除信息化建設(shè)中出現(xiàn)的“信息孤島”問(wèn)題，就需要對(duì)現(xiàn)有應(yīng)用系統(tǒng)的數(shù)據(jù)進(jìn)行整合。本文結(jié)合高校信息化建設(shè)的實(shí)際情況，分析了數(shù)據(jù)整合技術(shù)在高校應(yīng)用系統(tǒng)中的必要性，深入分析了數(shù)據(jù)整合的多種模式，提出了數(shù)據(jù)整合的實(shí)現(xiàn)策略，為高校應(yīng)用系統(tǒng)數(shù)據(jù)整合提供參考。

關(guān)鍵詞：應(yīng)用系統(tǒng)；數(shù)據(jù)整合；實(shí)現(xiàn)策略

中圖分類(lèi)號(hào)：TP393.18

經(jīng)過(guò)多年的發(fā)展和累積，各高校的基礎(chǔ)硬件環(huán)境已經(jīng)有了大幅度的提升，各類(lèi)應(yīng)用系統(tǒng)投入使用，信息化建設(shè)取得了較好的成果。但是，某些關(guān)鍵性的問(wèn)題依然有待研究和解決，例如，信息標(biāo)準(zhǔn)規(guī)范不夠統(tǒng)一，導(dǎo)致現(xiàn)有的數(shù)據(jù)較為混亂，嚴(yán)重影響了學(xué)校數(shù)據(jù)資源的使用效率。為了充分利用學(xué)?，F(xiàn)有的數(shù)據(jù)資源，提高現(xiàn)有應(yīng)用系統(tǒng)數(shù)據(jù)資源的使用效率，數(shù)據(jù)資源的一體化整合成為高校信息化建設(shè)中的重點(diǎn)問(wèn)題。

1 數(shù)據(jù)整合技術(shù)在高校中的必要性

1.1 應(yīng)用系統(tǒng)與數(shù)據(jù)之間的分布

為了滿足高校信息化建設(shè)的發(fā)展需求，高校陸續(xù)完成了多套應(yīng)用系統(tǒng)的開(kāi)發(fā)設(shè)計(jì)，各系統(tǒng)在使用的過(guò)程中聚集了許多基礎(chǔ)數(shù)據(jù)。但由于這些基礎(chǔ)數(shù)據(jù)在開(kāi)發(fā)時(shí)間、開(kāi)發(fā)廠商以及存儲(chǔ)設(shè)備上的差異，使得數(shù)據(jù)管理極為不便，很多數(shù)據(jù)出現(xiàn)了重復(fù)性或不一致性的狀況。這些現(xiàn)象導(dǎo)致各系統(tǒng)間的數(shù)據(jù)無(wú)法直接實(shí)行對(duì)比解析，嚴(yán)重影響了高校領(lǐng)導(dǎo)對(duì)決策性數(shù)據(jù)的查詢(xún)和使用。

1.2 信息資源利用率較低

目前，高校信息化經(jīng)過(guò)建設(shè)與積累，已形成了百兆與千兆相結(jié)合的網(wǎng)絡(luò)主干結(jié)構(gòu)，并具備一定冗余的小型機(jī)服務(wù)器作為應(yīng)用服務(wù)器。然而，因?yàn)樵缙陂_(kāi)發(fā)的系統(tǒng)環(huán)境比較分散，系統(tǒng)之間缺乏數(shù)據(jù)上的交換，很多信息資源無(wú)法實(shí)現(xiàn)共享，導(dǎo)致高校信息統(tǒng)一平臺(tái)及各種信息管理系統(tǒng)缺少完整、實(shí)時(shí)的數(shù)據(jù)。

1.3 支持決策能力較低

由于不能使用統(tǒng)一的標(biāo)準(zhǔn)和規(guī)范來(lái)定義數(shù)據(jù)，因而無(wú)法提供統(tǒng)一的數(shù)據(jù)接口來(lái)共享通用數(shù)據(jù)源，這樣就造成了不同的應(yīng)用系統(tǒng)間的相互隔離，形成了“信息孤島”?！靶畔⒐聧u”是高校信息化校園建設(shè)中亟待解決重要問(wèn)題，所以，怎樣消除“信息孤島”，并將現(xiàn)有及未來(lái)即將建立的應(yīng)用系統(tǒng)數(shù)據(jù)資源有效快捷整合，已成為目前高校信息化校園建設(shè)的至關(guān)重要的關(guān)鍵所在。

2 數(shù)據(jù)整合的模式

2.1 數(shù)據(jù)集中模式

為了滿足各部門(mén)的應(yīng)用需求，使應(yīng)用數(shù)據(jù)的管理與維護(hù)工作更加便捷，必須要嚴(yán)格遵守高校制定的信息化建設(shè)標(biāo)準(zhǔn)，搭建全院共享的數(shù)據(jù)中心，用以存儲(chǔ)各應(yīng)用部門(mén)的數(shù)據(jù)信息。需要應(yīng)用平臺(tái)的統(tǒng)一設(shè)計(jì)，而應(yīng)用子系統(tǒng)構(gòu)建在統(tǒng)一的框架中。其優(yōu)勢(shì)在于各子系統(tǒng)間存在較高的耦合度，數(shù)據(jù)中心與子系統(tǒng)之間的無(wú)縫連接易于實(shí)現(xiàn)。但這樣就造成開(kāi)發(fā)周期相對(duì)較長(zhǎng)，因?yàn)閿?shù)據(jù)的交換是通過(guò)數(shù)據(jù)中心與各部門(mén)所有業(yè)務(wù)間進(jìn)行，如此用戶的需求不好準(zhǔn)確把握，適應(yīng)用戶的靈活度較低。

2.2 共享數(shù)據(jù)中心

信息資源的整合建立在現(xiàn)有應(yīng)用系統(tǒng)不變的條件下，抽取應(yīng)用系統(tǒng)中具備共享價(jià)值的數(shù)據(jù)信息，進(jìn)行共享數(shù)據(jù)中心的搭建工作。各部門(mén)還在原來(lái)的應(yīng)用系統(tǒng)中進(jìn)行數(shù)據(jù)的讀寫(xiě)操作，只有在某些數(shù)據(jù)操作涉及到其他部門(mén)時(shí)，應(yīng)用系統(tǒng)才會(huì)通過(guò)前期的部署工作錄入共享數(shù)據(jù)，達(dá)到數(shù)據(jù)層的互聯(lián)實(shí)現(xiàn)。

2.3 分布式資源整合

分布式資源整合的操作與共享數(shù)據(jù)中心類(lèi)似，如果在本地操作數(shù)據(jù)，應(yīng)用系統(tǒng)則只涉及本地?cái)?shù)據(jù)訪問(wèn)；如果是與數(shù)據(jù)中心進(jìn)行互聯(lián)，那么則是涉及與其他部門(mén)的數(shù)據(jù)訪問(wèn)。然而，分布式資源整合的方式是搭建資源索引庫(kù)，這種方式與搜索引擎極為相似，它是對(duì)各部門(mén)共享的數(shù)據(jù)進(jìn)行收錄，同時(shí)確定數(shù)據(jù)在網(wǎng)絡(luò)中實(shí)際所處的方位，但原始數(shù)據(jù)仍然保存在各部門(mén)內(nèi)部，這就是資源索引庫(kù)與共享數(shù)據(jù)中心的區(qū)別所在。

3 數(shù)據(jù)整合的實(shí)現(xiàn)策略

3.1 數(shù)據(jù)交換模式

應(yīng)用系統(tǒng)與數(shù)據(jù)中心的數(shù)據(jù)交換方式，一般有兩種：

（1）與企業(yè)服務(wù)總線直接連通，從而進(jìn)行應(yīng)用系統(tǒng)數(shù)據(jù)庫(kù)的訪問(wèn)。

（2）新建應(yīng)用系統(tǒng)數(shù)據(jù)庫(kù)中的數(shù)據(jù)交換中間表，經(jīng)過(guò)企業(yè)服務(wù)總線的客戶端，與共享數(shù)據(jù)中心數(shù)據(jù)庫(kù)相關(guān)聯(lián)的對(duì)象實(shí)現(xiàn)共享，并進(jìn)行數(shù)據(jù)交換。

3.2 創(chuàng)建數(shù)據(jù)交換中間表

數(shù)據(jù)交換中間表是一種數(shù)據(jù)字段表，它是按照應(yīng)用系統(tǒng)與共享數(shù)據(jù)中心的數(shù)據(jù)交換要求而建立的，字段中所對(duì)應(yīng)的數(shù)據(jù)都來(lái)自共享數(shù)據(jù)中心，同時(shí)也來(lái)自所建立中間表的應(yīng)用系統(tǒng)，它是應(yīng)用系統(tǒng)與數(shù)據(jù)中心之間同步操作的橋梁和紐帶，同步原理圖如圖1所示。

3.3 同構(gòu)數(shù)據(jù)庫(kù)的整合

同構(gòu)數(shù)據(jù)庫(kù)是指數(shù)據(jù)中心的數(shù)據(jù)庫(kù)軟件及版本與應(yīng)用系統(tǒng)的數(shù)據(jù)庫(kù)完全相同。但由于應(yīng)用系統(tǒng)數(shù)據(jù)安全性和共享的系統(tǒng)數(shù)據(jù)的獨(dú)立性方面的考慮，建議數(shù)據(jù)整合使用在應(yīng)用系統(tǒng)中建立數(shù)據(jù)中間表的方式來(lái)完成。

3.4 異構(gòu)數(shù)據(jù)庫(kù)的整合

異構(gòu)數(shù)據(jù)庫(kù)是指共享數(shù)據(jù)中心與應(yīng)用系統(tǒng)所使用的數(shù)據(jù)庫(kù)軟件廠商不同。對(duì)于異構(gòu)數(shù)據(jù)庫(kù)的數(shù)據(jù)整合，通常采用兩種方法：一是需要建立數(shù)據(jù)中間表的方式，進(jìn)行異構(gòu)數(shù)據(jù)庫(kù)系統(tǒng)與共享數(shù)據(jù)中心數(shù)據(jù)庫(kù)間的數(shù)據(jù)交換。二是使用數(shù)據(jù)交換工具配置數(shù)據(jù)交換流程，抽取共享數(shù)據(jù)進(jìn)行清洗、轉(zhuǎn)換、存儲(chǔ)共享等操作，實(shí)現(xiàn)同步并交換數(shù)據(jù)的過(guò)程。

4 數(shù)據(jù)整合的實(shí)際應(yīng)用

4.1 連接異構(gòu)數(shù)據(jù)庫(kù)

如何與整合后的應(yīng)用系統(tǒng)數(shù)據(jù)庫(kù)進(jìn)行連接，是搭建統(tǒng)一身份庫(kù)之前需要解決的問(wèn)題。在Identity Manager體系結(jié)構(gòu)中，Metadirectory引擎模塊起著關(guān)鍵性的作用，在不同數(shù)據(jù)系統(tǒng)之間如果想實(shí)現(xiàn)數(shù)據(jù)的共享，只要通過(guò)Metadirectory引擎模塊提供的接口，Identity Manager驅(qū)動(dòng)程序就會(huì)與中央身份庫(kù)目錄樹(shù)（Identity Uault）進(jìn)行信息的同步，最終實(shí)現(xiàn)數(shù)據(jù)的共享。Metadirectory 引擎如圖2所示。

4.2 差異數(shù)據(jù)同步

針對(duì)大批量的數(shù)據(jù)同步，最關(guān)鍵的環(huán)節(jié)是如何將每次同步的數(shù)據(jù)量盡可能的降到最低，以實(shí)現(xiàn)帶寬損耗量的降低，從而提高數(shù)據(jù)的同步效率。合理的解決這個(gè)問(wèn)題的方法就是Identity Manager，Identity Manager Driver為了獲取差異數(shù)據(jù)會(huì)定時(shí)進(jìn)行數(shù)據(jù)庫(kù)的掃描，若掃描結(jié)果為空，則不會(huì)執(zhí)行同步操作。

4.3 單點(diǎn)登錄系統(tǒng)

單點(diǎn)登錄系統(tǒng)建立在統(tǒng)一身份庫(kù)的基礎(chǔ)之上，它主要是為了統(tǒng)一身份庫(kù)中的用戶身份，使其能夠?qū)崿F(xiàn)進(jìn)行一次系統(tǒng)登錄后就能訪問(wèn)平臺(tái)中相互信任的應(yīng)用系統(tǒng)的目的。同時(shí)，還能通過(guò)外網(wǎng)登錄訪問(wèn)校園網(wǎng)資源，因此該系統(tǒng)必須建立在基于反向代理服務(wù)的基礎(chǔ)上。

4.4 共享數(shù)據(jù)平臺(tái)

建立好統(tǒng)一認(rèn)證平臺(tái)后，需要搭建共享數(shù)據(jù)平臺(tái)，共享數(shù)據(jù)平臺(tái)同樣是應(yīng)用系統(tǒng)的重要部分，在相當(dāng)程度上奠定了之后的數(shù)據(jù)挖掘和大數(shù)據(jù)倉(cāng)庫(kù)工作的基礎(chǔ)。共享數(shù)據(jù)平臺(tái)的建設(shè)主要使用數(shù)據(jù)抽取技術(shù)，主要是從各應(yīng)用系統(tǒng)中提取所需數(shù)據(jù)，使用預(yù)先制定好的規(guī)則轉(zhuǎn)換所抽取到的數(shù)據(jù)，之后把轉(zhuǎn)換后的數(shù)據(jù)按照計(jì)劃增量或全部導(dǎo)入到其共享數(shù)據(jù)庫(kù)或數(shù)據(jù)倉(cāng)庫(kù)中。數(shù)據(jù)整合的流程如圖3所示。

5 結(jié)束語(yǔ)

在高校環(huán)境下的信息化發(fā)展中，整合應(yīng)用系統(tǒng)不僅是一項(xiàng)十分繁雜的工作，也是一項(xiàng)必不或缺的重要環(huán)節(jié)。各個(gè)應(yīng)用系統(tǒng)通過(guò)數(shù)據(jù)底層實(shí)現(xiàn)相互連通，達(dá)到實(shí)現(xiàn)數(shù)字化校園的真正意義，從而實(shí)現(xiàn)教學(xué)統(tǒng)一、教管統(tǒng)一的真正目的。進(jìn)一步從人、財(cái)、物、管等四方面實(shí)現(xiàn)信息高標(biāo)準(zhǔn)，并對(duì)統(tǒng)一信息標(biāo)準(zhǔn)的支持，實(shí)現(xiàn)學(xué)校全局的多維度多視角的信息采集與分析過(guò)程，為學(xué)校的進(jìn)一步發(fā)展提供綜合而全面的信息資源大環(huán)境。

參考文獻(xiàn)：

[1]陳敏，周江波，高暉.大型數(shù)據(jù)資源的整合共享與利用研究[D]，電子政務(wù)，2013（03）：44-50.

[2]郭丹，高校教育管理信息資源整合的研究[J]，東北石油大學(xué)，2012.

[3]馮曉娟，校園信息建設(shè)中的數(shù)據(jù)整合[J]，中國(guó)科教創(chuàng)新導(dǎo)刊，2012（17）：6-11.

作者簡(jiǎn)介：吳士杰（1978—），男，天津人，講師，主要研究計(jì)算機(jī)信息管理及網(wǎng)絡(luò)技術(shù)。

作者單位：天津海運(yùn)職業(yè)學(xué)院，天津 300350