基于ODI的高校異構(gòu)系統(tǒng)數(shù)據(jù)集成的研究與實現(xiàn)

羅永有 梁超香

摘 要：文章通過高校信息建設(shè)的現(xiàn)狀分析，研究多業(yè)務(wù)系統(tǒng)異構(gòu)數(shù)據(jù)庫在數(shù)據(jù)集成中的關(guān)鍵問題及技術(shù)，給出了通過利用ODI技術(shù)結(jié)合高校實際情況、實現(xiàn)異構(gòu)數(shù)據(jù)庫邏輯上或物理上的集成，該集成模式可以有效地打通原本業(yè)務(wù)系統(tǒng)中的“零散數(shù)據(jù)”，消除“信息孤島”現(xiàn)象，實現(xiàn)數(shù)據(jù)格式標(biāo)準(zhǔn)化、數(shù)據(jù)訪問一致化、數(shù)據(jù)存儲集中化的信息同步和共享，推進高校信息化的建設(shè)。

關(guān)鍵詞：數(shù)據(jù)標(biāo)準(zhǔn)；數(shù)據(jù)集成；ETL

1 研究背景及現(xiàn)狀分析

隨著高校信息化建設(shè)的不斷深入，信息技術(shù)在各領(lǐng)域的應(yīng)用也越來越廣泛，為了提高工作效率，各職能部門正在采用各種業(yè)務(wù)系統(tǒng)來滿足工作需要。在這個過程中，由于各個應(yīng)用系統(tǒng)相對獨立，產(chǎn)生了大量凌亂、重復(fù)、歧義的數(shù)據(jù)，形成了一個個的“信息孤島”。隨著高校對數(shù)據(jù)的深層次需求越發(fā)強烈，越來越多的應(yīng)用場景對數(shù)據(jù)的訴求也越來越高，比如教師課程安排就離不開教師人事信息，學(xué)生成績錄入離不開學(xué)生信息，這些場景都離不開數(shù)據(jù)共享，離不開數(shù)據(jù)集成。這就迫切地需要一套高效、準(zhǔn)確、可行性高的數(shù)據(jù)集成方案來實現(xiàn)高效的信息集成和共享[1]。

在實際情況中，各個部門由于業(yè)務(wù)和功能歸屬不同，在多年的信息化建設(shè)過程中，采用了不同的軟硬件環(huán)境，使用獨立的業(yè)務(wù)系統(tǒng)管理，這就導(dǎo)致了系統(tǒng)之間難以實現(xiàn)信息的互聯(lián)互通、信息共享和有效利用，給維護和管理造成很大的障礙。主要體現(xiàn)在以下幾個方面[2]。

（1）信息共享意識淡薄，缺乏整體頂層規(guī)劃和統(tǒng)一標(biāo)準(zhǔn)。

學(xué)校信息化建設(shè)的整體規(guī)劃跟不上教師在教育教學(xué)中對信息化的需求，未營造良好的信息環(huán)境，未完善推動信息化強有力發(fā)展的政策環(huán)境，采購決策者對信息系統(tǒng)建設(shè)的特點認識不夠，信息流向已經(jīng)從部門內(nèi)部走向部門之間，但是很多業(yè)務(wù)系統(tǒng)的建立還是遵循老的業(yè)務(wù)規(guī)則，以部門為邊界或者按部門內(nèi)部分工進行，只建設(shè)滿足特定需求，建設(shè)特定的業(yè)務(wù)系統(tǒng)，實現(xiàn)各自維護自身系統(tǒng)和數(shù)據(jù)。同時，由于沒有統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范，購置的這些業(yè)務(wù)管理系統(tǒng)來自不同的軟件提供商，各自遵循不同的信息編碼規(guī)范和數(shù)據(jù)標(biāo)準(zhǔn)，這就難以實現(xiàn)信息共享、業(yè)務(wù)聯(lián)動以及部門之間的協(xié)同工作。

（2）受限于部門利益隔閡，業(yè)務(wù)聯(lián)動性差。

學(xué)校在設(shè)置職責(zé)和部門中體現(xiàn)了更專業(yè)化，但也增加了協(xié)調(diào)的難度，各個部門受不同利益的驅(qū)使，各自為政，都優(yōu)先考慮自己的利益。在信息化建設(shè)中，不愿意公開自己部門業(yè)務(wù)信息，不愿意在業(yè)務(wù)信息交集點進行統(tǒng)籌優(yōu)化管理，擔(dān)心業(yè)務(wù)信息受到安全威脅，更愿意使用獨立的專業(yè)管理系統(tǒng)，這樣只能達到部門的目標(biāo)而不是整體的目標(biāo)，阻礙了內(nèi)部信息的傳遞，降低工作效率。

（3）業(yè)務(wù)系統(tǒng)分散，數(shù)據(jù)冗余和源頭的不統(tǒng)一。

經(jīng)過多年的信息化建設(shè)，高校不同業(yè)務(wù)部門紛紛購置了滿足各自業(yè)務(wù)需求的專業(yè)管理系統(tǒng)，各系統(tǒng)之間相互獨立，存在了大量的公有信息，由于獨立采購獨立運維，如果某個系統(tǒng)中的基礎(chǔ)數(shù)據(jù)發(fā)生變化，其他業(yè)務(wù)系統(tǒng)仍然使用原來的數(shù)據(jù)，如教務(wù)、人事、財務(wù)系統(tǒng)中對教師數(shù)據(jù)描述一致嗎？為什么我的個人信息在這些系統(tǒng)中不一樣呢？我們學(xué)校的師生數(shù)到底是多少？是以教務(wù)數(shù)據(jù)為準(zhǔn)還是人事數(shù)據(jù)為準(zhǔn)？這樣就造成了數(shù)據(jù)重復(fù)錄入及重復(fù)管理，且存在大量不一致，無法在數(shù)據(jù)統(tǒng)計和上報時提供準(zhǔn)確的數(shù)據(jù)，無法給領(lǐng)導(dǎo)決策提供有效的數(shù)據(jù)支持，還會造成新的困惑，更難以談及對全局?jǐn)?shù)據(jù)的應(yīng)用與輔助策略。

在高校信息化建設(shè)中的問題遠不止以上提及的幾項，但是它們卻是如何解決整合、集成校園內(nèi)眾多應(yīng)用系統(tǒng)數(shù)據(jù)的關(guān)鍵，包括已有的和即將購置的專業(yè)管理系統(tǒng)，使用戶能夠得到一個統(tǒng)一的應(yīng)用環(huán)境，統(tǒng)一的服務(wù)界面，統(tǒng)一的數(shù)據(jù)資源。

2 基于ODI技術(shù)的數(shù)據(jù)集成介紹

數(shù)據(jù)集成，主要是將基于分散的信息系統(tǒng)的業(yè)務(wù)數(shù)據(jù)進行再集中、再統(tǒng)一管理的過程，是一個漸進的過程。

在實施數(shù)據(jù)集成的過程中，由于業(yè)務(wù)系統(tǒng)不同，采用的數(shù)據(jù)庫及結(jié)構(gòu)也不盡相同，它們提供的數(shù)據(jù)內(nèi)容、格式和質(zhì)量千差萬別，有時甚至?xí)龅綌?shù)據(jù)格式不能轉(zhuǎn)換或數(shù)據(jù)轉(zhuǎn)換格式后丟失信息等棘手問題，所以首要問題就是如何解決異構(gòu)數(shù)據(jù)源的整合，使其形成互聯(lián)互通的整體，形成有效數(shù)據(jù)在各部門和各業(yè)務(wù)系統(tǒng)中流動和共享，同時能進行有效的集成管理。ETL（Extract，Transform，Load）是實現(xiàn)數(shù)據(jù)集成的主要技術(shù)。

ETL是構(gòu)建數(shù)據(jù)倉庫的重要一環(huán)，將來源端的數(shù)據(jù)經(jīng)過抽取、清洗轉(zhuǎn)換，加載到目的端的過程，目的是將分散、凌亂、標(biāo)準(zhǔn)不統(tǒng)一的數(shù)據(jù)按照預(yù)先定義好的數(shù)據(jù)倉庫模型整合到一起，成為聯(lián)機分析處理、數(shù)據(jù)挖掘的基礎(chǔ)，為學(xué)校的決策提供分析依據(jù)。

ETL處理方式如圖1所示。在整個數(shù)據(jù)倉庫的構(gòu)建中，ETL工作占整個工作的50%～70%，主要是為了解決數(shù)據(jù)異構(gòu)的問題，負責(zé)完成從數(shù)據(jù)源（各種業(yè)務(wù)系統(tǒng)）中找到并取出當(dāng)前主題所需要的那部分?jǐn)?shù)據(jù)，輸入統(tǒng)一的數(shù)據(jù)存儲中，也就是我們常說的中間庫，由于數(shù)據(jù)倉庫中各個主題的數(shù)據(jù)都是按照前端業(yè)務(wù)需求存放，因此，需要在抽取的過程中按照預(yù)先設(shè)計好的數(shù)據(jù)規(guī)則進行清洗或轉(zhuǎn)換，使本來異構(gòu)的數(shù)據(jù)格式能統(tǒng)一起來適應(yīng)新的標(biāo)準(zhǔn)需求，最后，將處理后的數(shù)據(jù)從統(tǒng)一的數(shù)據(jù)存儲平臺按增量或全量的形式加載到目的端的數(shù)據(jù)倉庫中，在數(shù)據(jù)加載過程中定時進行，并且不同主題的數(shù)據(jù)加載任務(wù)有各自不同的調(diào)度時間[3]。

3 柳州城市職業(yè)學(xué)院解決方案

信息系統(tǒng)集成要解決的首要問題是由于各部門業(yè)務(wù)管理不同產(chǎn)生的信息的異構(gòu)性問題，集成能否成功的關(guān)鍵不僅取決于基礎(chǔ)平臺的建設(shè)是否完善，更多的是在于信息化組織體系是否完備，管理制度是其邁向規(guī)范化的前提，是規(guī)避建設(shè)風(fēng)險的保障。下文討論的是數(shù)據(jù)集成中幾個關(guān)鍵問題，需要各部門通力配合，協(xié)調(diào)完成[4]。

3.1 信息標(biāo)準(zhǔn)

高校信息化建設(shè)已經(jīng)從單一的部門內(nèi)部數(shù)據(jù)流通進入跨業(yè)務(wù)領(lǐng)域數(shù)據(jù)共享、實現(xiàn)業(yè)務(wù)聯(lián)動、建立統(tǒng)一信息系統(tǒng)集成階段。因此，為了使信息有序流通，保證信息的一致性和權(quán)威性，必須制定統(tǒng)一的信息標(biāo)準(zhǔn)。

信息標(biāo)準(zhǔn)為學(xué)校業(yè)務(wù)數(shù)據(jù)“如何存、存什么、存哪兒”提供了詳細的規(guī)范，標(biāo)準(zhǔn)是否規(guī)范決定了信息的交流與共享等性能。因此，在建立標(biāo)準(zhǔn)之前應(yīng)首先考慮幾點內(nèi)容：（1）要充分采用目前已有的國家標(biāo)準(zhǔn)和教育部教育管理信息化標(biāo)準(zhǔn)以及其他相關(guān)行業(yè)的標(biāo)準(zhǔn)，建立適合自身特點的校內(nèi)信息標(biāo)準(zhǔn)體系。（2）盡量使用學(xué)校已發(fā)布的數(shù)據(jù)標(biāo)準(zhǔn)，使學(xué)校已有的信息資源得到最大程度的利用。（3）把局部的業(yè)務(wù)系統(tǒng)應(yīng)用問題放在整體系統(tǒng)架構(gòu)中考慮，達到全局優(yōu)化，符合整體的效果。除此之外，信息標(biāo)準(zhǔn)必須遵循唯一性（一個代碼只唯一表示一個編碼對象）、實用性（要盡可能地反映分類對象的特點，便于記憶和填寫）、可擴展性（為新的編碼對象留有足夠的備用碼）等基本原則。在標(biāo)準(zhǔn)應(yīng)用中，原則上學(xué)校制定的數(shù)據(jù)標(biāo)準(zhǔn)應(yīng)首先遵從國家標(biāo)準(zhǔn)、教育部標(biāo)準(zhǔn)和相關(guān)行業(yè)標(biāo)準(zhǔn)。

根據(jù)學(xué)校實際情況，我們在建立信息標(biāo)準(zhǔn)中，大致建立了如下幾個規(guī)則。

（1）機構(gòu)編碼：采用4位編碼分別表示其中的機構(gòu)屬性、流水號以及內(nèi)設(shè)機構(gòu)編號。

（2）教職工編碼：采用10位編碼，其中包含了入校年份、崗位屬性以及流水號。職工號為教職工在學(xué)校工作期間唯一標(biāo)識編號，不隨教職工的身份變更而發(fā)生變化。

（3）專業(yè)編碼：采用4位編碼表示系部、專業(yè)、學(xué)歷屬性等。

（4）學(xué)號編碼：采用9位編碼，包含了入學(xué)年份、專業(yè)編碼以及流水號。便于管理及集成的可靠性，學(xué)號是學(xué)生在學(xué)校內(nèi)的唯一標(biāo)識編碼，學(xué)生一經(jīng)入學(xué)取得學(xué)號后，直至離校學(xué)號保持不變。不會因休學(xué)、轉(zhuǎn)專業(yè)等學(xué)籍異動而發(fā)生變化。

（5）班級編碼：采用7位編碼，包含入學(xué)年份，專業(yè)編碼前3位（因與學(xué)歷無關(guān)，故只取前3位），流水號。

學(xué)校公共數(shù)據(jù)標(biāo)準(zhǔn)具有權(quán)威性和唯一性，在編制好后，為確保信息化項目和學(xué)校整體教育教學(xué)信息化的正常運轉(zhuǎn)，應(yīng)采用統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)進行數(shù)據(jù)修改或按照系統(tǒng)集成要求開發(fā)數(shù)據(jù)交換接口。

3.2 數(shù)據(jù)清洗

數(shù)據(jù)清洗是一個減少錯誤和不一致性、解決對象識別的過程，是利用相關(guān)技術(shù)過濾那些不符合要求的數(shù)據(jù)，將過濾的結(jié)果交給業(yè)務(wù)部門，確認是否過濾掉還是由業(yè)務(wù)部門修正，以提取出滿足數(shù)據(jù)質(zhì)量要求的數(shù)據(jù)。數(shù)據(jù)的不符合性，主要體現(xiàn)在不完整的、錯誤的和重復(fù)的數(shù)據(jù)，表現(xiàn)形式在一些應(yīng)有的信息缺失，比如身份證號，在教務(wù)系統(tǒng)中此字段可能不是必須的，但是在學(xué)工系統(tǒng)、一卡通消費系統(tǒng)中，它就是必填字段。表1給出幾個常用的清洗項及處理方法。

數(shù)據(jù)清洗是一個反復(fù)的過程，不可能在幾天內(nèi)完成，在集成項目的建設(shè)初期、中期、建設(shè)完成之后都需要進行。數(shù)據(jù)清洗還需要特別注意的是不要將有用的數(shù)據(jù)過濾掉，在ETL開發(fā)初期可以定期向業(yè)務(wù)部門進行修正確認，每個過濾規(guī)則都要認真地進行驗證。

3.3 業(yè)務(wù)流程規(guī)范

數(shù)據(jù)集成中一個重要問題就是數(shù)據(jù)沖突問題，主要表現(xiàn)為來源不同的應(yīng)用系統(tǒng)具有不同的數(shù)據(jù)源頭。因此，首先要規(guī)范數(shù)據(jù)來源的唯一性和權(quán)威性，而要確定源頭，必須要考慮的是該數(shù)據(jù)在整個集成項目中的活動生命周期，要從學(xué)校行政職能的劃分上去明確業(yè)務(wù)系統(tǒng)擁有的權(quán)威數(shù)據(jù)，如學(xué)生信息數(shù)據(jù)源頭應(yīng)來自教務(wù)系統(tǒng)，教職工基本信息則由人事管理系統(tǒng)負責(zé)采集，這就確定了該系統(tǒng)作為其他系統(tǒng)的唯一數(shù)據(jù)源。數(shù)據(jù)集成平臺的數(shù)據(jù)流向如圖2所示。

凡是要集成到“中間庫”中的業(yè)務(wù)系統(tǒng)數(shù)據(jù)，我們都需要明確該業(yè)務(wù)系統(tǒng)的權(quán)威數(shù)據(jù)是哪些，并且該業(yè)務(wù)系統(tǒng)需要“中間庫”提供哪些數(shù)據(jù)，同時，數(shù)據(jù)源數(shù)據(jù)的添加或更改必須按照實際應(yīng)用需求進行各種相應(yīng)方式的同步更新，以確保公有基礎(chǔ)數(shù)據(jù)更新的及時性、準(zhǔn)確性，為各業(yè)務(wù)系統(tǒng)的運行保駕護航。

3.4 實現(xiàn)思路

我們進行數(shù)據(jù)集成的一個目的就是維護數(shù)據(jù)源整體上的數(shù)據(jù)一致性、提高信息共享利用的效率，以較低的代價高效率地使用異構(gòu)的數(shù)據(jù)，而數(shù)據(jù)源就是學(xué)校各個業(yè)務(wù)系統(tǒng)的數(shù)據(jù)庫，是集成到中心庫的數(shù)據(jù)抽取的來源。集成中心庫中所有的數(shù)據(jù)都來自于各應(yīng)用系統(tǒng)，并保持同步更新。由于業(yè)務(wù)系統(tǒng)在集成之前都采用自己系統(tǒng)內(nèi)部的編碼標(biāo)準(zhǔn)和字段類型，因此，采用ETL數(shù)據(jù)集成工具，從多個數(shù)據(jù)源中抽取數(shù)據(jù)，然后對數(shù)據(jù)進行必要的轉(zhuǎn)換、清洗和加載，最終得到統(tǒng)一的、完備的主題數(shù)據(jù)進入集成中心庫。在集成中，為了確保數(shù)據(jù)在交換過程中的安全性，保證原來分散的應(yīng)用仍能獨立運作，需要在集成中心庫中根據(jù)業(yè)務(wù)需求建立中間表，將來自于業(yè)務(wù)系統(tǒng)的數(shù)據(jù)先加載到中間表，然后經(jīng)ODI工具轉(zhuǎn)換、清洗后再放入集成中心庫的生產(chǎn)表中[5]。

各業(yè)務(wù)系統(tǒng)之間不直接進行數(shù)據(jù)交換，業(yè)務(wù)系統(tǒng)需要的公共數(shù)據(jù)先集成到中間庫中，再由中間庫根據(jù)預(yù)先設(shè)定的對應(yīng)關(guān)系推送這些數(shù)據(jù)到其他業(yè)務(wù)系統(tǒng)中。這樣做的好處是：降低各個業(yè)務(wù)系統(tǒng)的耦合度、增加項目的可擴展性、保證了數(shù)據(jù)質(zhì)量，并能有效地管理各業(yè)務(wù)系統(tǒng)間相互訪問的權(quán)限控制，同時保證了數(shù)據(jù)的安全性，確保了業(yè)務(wù)系統(tǒng)在中間庫短暫失效時依然能夠獨立運行。

3.5 集成方案

系統(tǒng)集成必須圍繞信息需求制定數(shù)據(jù)集成方案，并需結(jié)合信息標(biāo)準(zhǔn)數(shù)據(jù)流向規(guī)劃以及業(yè)務(wù)系統(tǒng)建設(shè)使用情況來確定集成邊界。需要集成方、信息技術(shù)中心、業(yè)務(wù)部門，第三方公司通力配合完成。

在進行集成同步方案時有兩種方式可以選擇，即全量和增量。全量集成指每次在數(shù)據(jù)同步時都將數(shù)據(jù)源上的所有數(shù)據(jù)一次性集成到目標(biāo)數(shù)據(jù)庫中，以保證數(shù)據(jù)源和目標(biāo)數(shù)據(jù)的一致性。增量集成每次只將業(yè)務(wù)系統(tǒng)上發(fā)生變化了的數(shù)據(jù)同步到目標(biāo)庫中，以減輕數(shù)據(jù)庫服務(wù)器和網(wǎng)絡(luò)的負擔(dān)。選擇哪種方式多是以數(shù)據(jù)量的多少來決策，當(dāng)數(shù)據(jù)量小的時候，可以采用全量更新數(shù)據(jù)，但隨著業(yè)務(wù)增長，數(shù)據(jù)量成幾何方式增長時，每次更新的工作將是耗時耗力的，也是業(yè)務(wù)方無法忍受的。此時，就需要一種解決方案將全量同步更改為增量同步。

另外，集成的周期選擇，對實時性不強或一次同步數(shù)據(jù)量較大的數(shù)據(jù)集成，通常選擇定期集成，且常將執(zhí)行計劃設(shè)定在服務(wù)器壓力較小，網(wǎng)絡(luò)使用率較低的半夜或凌晨。無論是同步方式還是集成周期的選擇中，應(yīng)根據(jù)業(yè)務(wù)需求確定，夠用即可[6]。

4 結(jié)語

在高校信息化建設(shè)的過程中，應(yīng)用系統(tǒng)的集成是一項十分復(fù)雜且極具挑戰(zhàn)性的工作，同時也是一項必不可少的環(huán)節(jié)。只有各個部門通力合作，規(guī)范業(yè)務(wù)流程，確立數(shù)據(jù)標(biāo)準(zhǔn)，明確數(shù)據(jù)的權(quán)威來源，才能清除“信息孤島”，實現(xiàn)各個應(yīng)用系統(tǒng)業(yè)務(wù)數(shù)據(jù)的互聯(lián)互通，推動信息化建設(shè)的快速發(fā)展。

[參考文獻]

[1]劉靜萍.數(shù)字化校園建設(shè)中基于ODI的數(shù)據(jù)集成平臺研究[J].青海師范大學(xué)學(xué)報（自然科學(xué)版），2016（2）：16-20.

[2]孫瑋.基于ODI技術(shù)搭建高校數(shù)字化校園公共數(shù)據(jù)平臺[J].軟件工程師，2014（7）：56-68.

[3]王超，吳薩.高校異構(gòu)系統(tǒng)數(shù)據(jù)整合的設(shè)計與實現(xiàn)[J].四川文理學(xué)院學(xué)報，2015（3）：39-41.

[4]徐琦.基于大數(shù)據(jù)的高校數(shù)據(jù)整合模式研究[J].中國教育信息化，2015（15）：60-63.

[5]孫歆，卓榮慶，王蜜.基于ODI的高校異構(gòu)系統(tǒng)數(shù)據(jù)整合模型研究[J].中國教育信息化，2015（5）：54-57.

[6]李恒貝，唐惠燕，毛莉菊.基于數(shù)據(jù)整合的高校信息標(biāo)準(zhǔn)構(gòu)建研究[J].中國教育信息化，2011（15）：13-15.

Abstract：This paper analyzes the status quo of information construction in colleges and universities， and studies the key issues and technologies of multi-service system heterogeneous database in data integration. It gives the logical or physical realization of heterogeneous database by using ODI technology combined with the actual situation of colleges and universities. Integration， the integration mode can effectively break up the “fragmented data” in the original business system， eliminate the “information island” phenomenon， realize data synchronization， data access consistency， data storage centralized information synchronization and sharing， and promote university informatization construction.

Key words：data standard； data integration； ETL