基于oracle12c+oda數(shù)據(jù)治理方案探討

童明　陳敏

[摘 要]通過對學(xué)校信息化建設(shè)現(xiàn)狀分析，智慧校園建設(shè)離不開大數(shù)據(jù)應(yīng)用，并且首先應(yīng)對基礎(chǔ)數(shù)據(jù)進行治理。通過討論數(shù)據(jù)治理的基本方案，對具體利用oracle12c+oda模式進行數(shù)據(jù)遷移的過程進行深入探討。

[關(guān)鍵詞]智慧校園；大數(shù)據(jù)；數(shù)據(jù)治理；數(shù)據(jù)遷移；oracle12c；ODA

中圖分類號：C37 文獻標(biāo)識碼：A 文章編號：1009-914X（2017）17-0138-02

[Abstract]Based on the analysis of the current informatization construction， the construction of smart campus can not be separated from the big data applications， which all depended on the Data Governance.On the discussion of the scheme of Data Governance，this paper makes an in-depth study on the process of data migration by using combination of oracle12c+oda.

[Key words]smart campus；big data；data governance；data migration；oracle12c；ODA

1 校園信息化建設(shè)的現(xiàn)狀分析

隨著信息化建設(shè)的不斷發(fā)展，教育越來越多的呈現(xiàn)個性化、開放化、智能化等特點。數(shù)字校園為智慧校園所替代也成為當(dāng)前教育信息化發(fā)展的主要趨勢。各個高校信息化建設(shè)在十二五規(guī)劃期間，已經(jīng)基本完成了數(shù)字化校園初期建設(shè)，步入互聯(lián)網(wǎng)+時代，進一步向智慧校園領(lǐng)域靠攏。例如在教室安裝多媒體教學(xué)系統(tǒng)與智能教學(xué)軟件，已經(jīng)實現(xiàn)了教學(xué)方面的電教化；在服務(wù)上配置了移動式應(yīng)用、網(wǎng)上迎新系統(tǒng)等，提高了學(xué)生事務(wù)管理的能力；網(wǎng)絡(luò)方面已基本實現(xiàn)了全校全網(wǎng)無線全覆蓋；已經(jīng)建成了一套完整的信息服務(wù)門戶，實現(xiàn)了統(tǒng)一身份認證和信息發(fā)布；在安全上建立起視頻監(jiān)控、網(wǎng)絡(luò)防御等系統(tǒng)，為校園信息安全提供了保障；數(shù)據(jù)中心通過搭建vSphere服務(wù)器組和融合交換網(wǎng)絡(luò)，提供一定量的虛擬化服務(wù)。

然而，各業(yè)務(wù)部門之間因為開發(fā)平臺不同、使用環(huán)境各異等原因都有自己獨立的一套系統(tǒng)和本地數(shù)據(jù)庫，雖說在十二五期間開展部門協(xié)同工作時統(tǒng)一了一部分數(shù)據(jù)，但整體上并沒有做到完全實時同步，依然存在很大程度上的信息孤島現(xiàn)象。各業(yè)務(wù)部門在有些交叉業(yè)務(wù)中有的數(shù)據(jù)雖然實現(xiàn)了兩兩共享，但在涉及到多個部門的使用環(huán)節(jié)中還是因為數(shù)據(jù)格式不一致等問題需要用戶逐一的去獲取信息，導(dǎo)致數(shù)據(jù)利用率不高，還是存在不少需要用戶去跑腿、人工溝通處理問題的情況。與此同時，學(xué)校每年都會新增新的業(yè)務(wù)系統(tǒng)，隨著數(shù)據(jù)和業(yè)務(wù)連接的大量增加使得我們對數(shù)據(jù)的存儲、獲取和分析的要求日漸強烈，現(xiàn)有的對數(shù)據(jù)處理和分析的響應(yīng)速度已逐漸不能滿足業(yè)務(wù)發(fā)展的需求。比如，教學(xué)上我們對數(shù)據(jù)的處理仍然處在確保學(xué)生能夠選擇正確課程的階段，而不是利用學(xué)生和課程的信息來進行招生和課程規(guī)劃等，未能夠?qū)?shù)據(jù)進行有效的應(yīng)用。

由此可見傳統(tǒng)的數(shù)據(jù)架構(gòu)已無法滿足數(shù)據(jù)處理要求，而大數(shù)據(jù)的理念通過數(shù)據(jù)分析的方法發(fā)掘潛在價值，更易實現(xiàn)對獲取的各類數(shù)據(jù)形成實時、快速而有效的智能決策。目前大數(shù)據(jù)的應(yīng)用雖然仍不是很成熟，但隨著智慧校園的發(fā)展和建設(shè)，大數(shù)據(jù)應(yīng)用必將對學(xué)校的信息化建設(shè)產(chǎn)生極大的影響，促進學(xué)校各方面發(fā)展，充分體現(xiàn)校園的智慧特色[1]。

2 數(shù)據(jù)治理方案探討

大數(shù)據(jù)處理數(shù)據(jù)首先是需要采集數(shù)據(jù)資源，對抓取的數(shù)據(jù)等進行實時、快速的處理。而大數(shù)據(jù)環(huán)境下的數(shù)據(jù)結(jié)構(gòu)復(fù)雜多樣，為了能夠?qū)Υ罅拷Y(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)進行分析，首先要對數(shù)據(jù)從格式上進行統(tǒng)一，過濾篩選出有價值的數(shù)據(jù)，丟棄已損壞的數(shù)據(jù)，凈化不干凈的數(shù)據(jù)，集中零散的的數(shù)據(jù)，即進行數(shù)據(jù)治理。數(shù)據(jù)治理其實并不是一個新生的概念，而在大數(shù)據(jù)背景下，數(shù)據(jù)治理已經(jīng)成為一個獨立的研究領(lǐng)域。筆者認為智慧校園背景下的數(shù)據(jù)治理，不僅僅只是包含對源數(shù)據(jù)進行采集、轉(zhuǎn)換、清洗、加載這么一個狹義的概念，而是應(yīng)包含對整個大數(shù)據(jù)應(yīng)用所需去采取的一系列措施，具體應(yīng)包括事務(wù)數(shù)據(jù)庫的遷移、公共數(shù)據(jù)平臺的建設(shè)、數(shù)據(jù)倉庫的建立這三個階段。

2.1 事務(wù)數(shù)據(jù)庫的遷移

“工欲善其事，必先利其器”，大數(shù)據(jù)需要這樣一種架構(gòu)：它能從多個數(shù)據(jù)源實時獲取數(shù)據(jù)，以便于分析的格式組織和存儲這些數(shù)據(jù)，能讓用戶高效的使用這些數(shù)據(jù)并后續(xù)采取一系列決策算法最終幫助他們做出業(yè)務(wù)決策。首先則需要構(gòu)建一個在關(guān)系數(shù)據(jù)庫之上的物理集中型的數(shù)據(jù)庫，這個物理集中型數(shù)據(jù)庫能從其他數(shù)據(jù)庫實時獲取數(shù)據(jù)，包含來自教務(wù)系統(tǒng)、科研系統(tǒng)、財務(wù)系統(tǒng)、人事系統(tǒng)等等，從而創(chuàng)造了一個統(tǒng)一的分析基礎(chǔ)。而構(gòu)建以物理集中型數(shù)據(jù)庫為中心的多數(shù)據(jù)源的統(tǒng)一的數(shù)據(jù)平臺環(huán)境，數(shù)據(jù)遷移是實現(xiàn)數(shù)據(jù)集中的關(guān)鍵。數(shù)據(jù)遷移所要面對的是從各個獨立開發(fā)的系統(tǒng)中抽取數(shù)據(jù)、集中數(shù)據(jù)的挑戰(zhàn)。

2.2 公共數(shù)據(jù)平臺的建設(shè)

公共數(shù)據(jù)庫平臺用來對各部門應(yīng)用系統(tǒng)中的交換數(shù)據(jù)進行交換和共享的，是智慧校園建設(shè)過程中實現(xiàn)業(yè)務(wù)系統(tǒng)間數(shù)據(jù)共享和數(shù)據(jù)同步的重要基礎(chǔ)。建立公共數(shù)據(jù)庫，統(tǒng)一了數(shù)據(jù)格式標(biāo)準，使得各個應(yīng)用系統(tǒng)的數(shù)據(jù)更加規(guī)范和完整，系統(tǒng)間的信息交換則更加快捷高效，同時確立了數(shù)據(jù)流向，使業(yè)務(wù)流程更加清晰，同一類型數(shù)據(jù)的集中共享也使得業(yè)務(wù)之間協(xié)同工作變得更加透明和簡單，從根本上解決“信息孤島”問題。

建設(shè)一個公共數(shù)據(jù)平臺大致分為以下幾步：

1.對業(yè)務(wù)系統(tǒng)數(shù)據(jù)進行調(diào)查，建議統(tǒng)一的信息標(biāo)準。

2.對系統(tǒng)異構(gòu)情況和數(shù)據(jù)交換情況進行分析，確定數(shù)據(jù)流向。

3.設(shè)計數(shù)據(jù)交換與共享流程，設(shè)計主題數(shù)據(jù)庫。

4.設(shè)計數(shù)據(jù)同步機制，在數(shù)據(jù)同步與交換過程中涉及到數(shù)據(jù)的上傳、轉(zhuǎn)換、清洗與加載等操作，保證各業(yè)務(wù)系統(tǒng)實時向公共數(shù)據(jù)庫同步更新信息。

2.3 數(shù)據(jù)倉庫的建設(shè)

在完成了數(shù)據(jù)庫物理集中統(tǒng)一管理后，各部門具體的業(yè)務(wù)系統(tǒng)（教學(xué)、科研、人事、財務(wù)等）數(shù)據(jù)依然存在數(shù)據(jù)積存、數(shù)據(jù)分散、標(biāo)準不統(tǒng)一等問題，這些數(shù)據(jù)使用率低、數(shù)據(jù)查詢困難、甚至已經(jīng)損壞，更不可能有效的進行數(shù)據(jù)分析和挖掘。這就迫切需要再建立一個支持聯(lián)機分析系統(tǒng)OLAP的公共數(shù)據(jù)倉庫，這個數(shù)據(jù)倉庫和大容器數(shù)據(jù)庫相輔相成：大容器數(shù)據(jù)庫對現(xiàn)有數(shù)據(jù)進行捕獲與管理，進行數(shù)據(jù)的增刪查改，而數(shù)據(jù)倉庫則是對歷史數(shù)據(jù)進行存儲，且支持復(fù)雜的分析操作，以現(xiàn)有的大量歷史數(shù)據(jù)積累為基礎(chǔ)，通過數(shù)據(jù)分析算法，把歷史數(shù)據(jù)進行歸納整理和重組，提供各種類型的數(shù)據(jù)分析，為校領(lǐng)導(dǎo)制定決策提供科學(xué)的數(shù)據(jù)支持。

在此，筆者不為建設(shè)公共數(shù)據(jù)庫和數(shù)據(jù)倉庫的具體設(shè)計方法作詳細討論，而是利用校園現(xiàn)有的oda資源對數(shù)據(jù)遷移作討論研究。

3.基于oracle12c+oda架構(gòu)的數(shù)據(jù)遷移

目前校園的各個業(yè)務(wù)部門的數(shù)據(jù)系統(tǒng)部署在不同的服務(wù)器上，其數(shù)據(jù)格式標(biāo)準、甚至源系統(tǒng)都不盡相同。每個應(yīng)用系統(tǒng)獨自各占各的服務(wù)器存儲資源，資源利用率不高是一方面，另外數(shù)據(jù)資源分散、沒有一個統(tǒng)一管理的平臺，這對于日后所需要展開的數(shù)據(jù)治理工作是非常不利的。為了實現(xiàn)將來的數(shù)據(jù)治理，首先迫切需要將各個不同的數(shù)據(jù)庫系統(tǒng)進行物理集中管理，也就是集合在一個大容器數(shù)據(jù)庫之上，同時各個數(shù)據(jù)系統(tǒng)之間邏輯上還必須像原來一樣保持獨立，不能影響各自采集數(shù)據(jù)及原有的業(yè)務(wù)，此時這就需要一個全新的系統(tǒng)架構(gòu)來統(tǒng)籌收納各個數(shù)據(jù)系統(tǒng)，這也就是數(shù)據(jù)遷移所需完成的任務(wù)。

3.1 利用Oracle12c多租戶環(huán)境實現(xiàn)大容器數(shù)據(jù)庫

甲骨文oracle12c和以往的版本最大的不同就是引入了數(shù)據(jù)庫容器（container database，CDB）和可插拔式數(shù)據(jù)庫（pluggable database，PDB）這一概念，這一新技術(shù)對于數(shù)據(jù)遷移而言，特別有如下一些優(yōu)勢：

（1）多租戶模式。通過容器數(shù)據(jù)庫與用戶數(shù)據(jù)庫的分離，允許用戶創(chuàng)建一個多租用戶環(huán)境，使用一個cdb承載多個pdb，同時每個PDB仍然作為獨立的數(shù)據(jù)庫加以管理，并且可以方便的從一個CDB插入到另一個CDB中[2]。這個技術(shù)結(jié)構(gòu)下的可組裝式數(shù)據(jù)庫遷移簡單，且可以讓以往多個數(shù)據(jù)庫一起共享，真正實現(xiàn)了數(shù)據(jù)多租戶架構(gòu)。

（2）資源靈活配置。Oracle12c RAC技術(shù)提供了一種在數(shù)據(jù)庫層實現(xiàn)按需管理的模式，該模式相當(dāng)于將基礎(chǔ)環(huán)境的配置交給DBA處理，便于從數(shù)據(jù)庫層次根據(jù)用戶應(yīng)用和數(shù)據(jù)的價值，靈活分配資源進行基礎(chǔ)環(huán)境配置[3]。

數(shù)據(jù)庫服務(wù)層多點計算資源高可用設(shè)計，其根據(jù)實際的業(yè)務(wù)系統(tǒng)負荷和資源占用比，可以動態(tài)分配計算節(jié)點資源，既避免了資源浪費又能確實滿足業(yè)務(wù)支撐，還能根據(jù)將來的業(yè)務(wù)擴容同步動態(tài)的調(diào)整資源，確保整個大容器數(shù)據(jù)庫穩(wěn)定、高效地運行。

（3）成本控制。Oracle12c通過創(chuàng)建多租戶環(huán)境將多個部門的應(yīng)用系統(tǒng)整合到一臺性能優(yōu)良的服務(wù)器上合并成一個容器數(shù)據(jù)庫，既降低了資源消耗也減少了系統(tǒng)維護成本。同時，未來所有數(shù)據(jù)服務(wù)需求也都可在該oracle12c架構(gòu)上進行統(tǒng)一的資源開設(shè)、管理和回收，能極大地降低校園運維成本和數(shù)據(jù)服務(wù)資源的生命周期管理。

關(guān)于遷移的方法，對于oracle數(shù)據(jù)庫環(huán)境，可以利用imp/exp和數(shù)據(jù)泵導(dǎo)入導(dǎo)出的方式進行遷移[4]；對于異構(gòu)系統(tǒng)，可以利用XML即可擴展標(biāo)記語言，該語言和各種主流的數(shù)據(jù)庫都有接口（如 Mysql、Access、SQL、和 Oracle等），而且還具有可擴展、跨平臺、易于傳輸、靈活等特點，非常適合于在異構(gòu)系統(tǒng)與平臺之間作數(shù)據(jù)交換。把XML文件作為中介，首先從源數(shù)據(jù)庫中讀取數(shù)據(jù)并按照XML格式寫入到一個XML文檔，然后讀取并分析該XML文件再將數(shù)據(jù)添加入目標(biāo)數(shù)據(jù)庫，從而可以完成兩臺不同機器上不同系統(tǒng)不同數(shù)據(jù)庫之間的數(shù)據(jù)遷移。

3.2 利用ODA方案提供大容器數(shù)據(jù)庫所需的高可用性與IO性能

Oracle12c在架構(gòu)上滿足了大容器數(shù)據(jù)庫實現(xiàn)需求，然而大容器數(shù)據(jù)庫還面臨一個挑戰(zhàn)，就是為大規(guī)模查詢體用必要的IO帶寬，隨著數(shù)據(jù)量和用戶負載的不斷增長這種情況尤其如此。一種可伸縮性的、高性能的硬件基礎(chǔ)架構(gòu)是可靠的大容器數(shù)據(jù)庫解決方案的堅實基礎(chǔ)。

Oracle Database Appliance（ODA）是甲骨文推出的一款數(shù)據(jù)庫高可用軟硬一體機解決方案，其將計算資源、儲存資源以及網(wǎng)絡(luò)資源等通過一系列定制的優(yōu)化措施進行整合，提供了業(yè)界領(lǐng)先的可擴展性和性能、高度集成的分析以及先進的負載管理，為客戶提供了一個集軟件、服務(wù)器、存儲與網(wǎng)絡(luò)于一體的完全集成的系統(tǒng)。大容器數(shù)據(jù)庫應(yīng)用ODA作為載體有如下一些特別的優(yōu)勢：

（1）通過內(nèi)嵌InfiniBand代替內(nèi)網(wǎng)交換機，同時提供優(yōu)化存儲解決方案使大規(guī)模數(shù)據(jù)查詢的性能有了顯著的提升，并且能夠提供非常高效的數(shù)據(jù)存儲性能，可作為存儲大量校園核心事務(wù)數(shù)據(jù)（如財務(wù)記錄、學(xué)生數(shù)據(jù)、科研數(shù)據(jù)等）的主要分析數(shù)據(jù)庫。

（2）所有硬盤通過ASM直接管理，可以允許同時壞兩塊盤，與raid5/6的區(qū)別是只要還存在足夠的空間，ASM條帶化的硬盤仍可以將壞盤上的數(shù)據(jù)繼續(xù)復(fù)制到好的區(qū)域中，由此帶來了ODA的冗余和高可用性。

（3）相對于昂貴的exdata，ODA簡單易用、經(jīng)濟實惠，非常適合于應(yīng)用于校園場景。同時整個機器連接線非常少，再加上一鍵式安裝部署rac的方式，這都極大的簡化了dba的工作。

除了上述優(yōu)勢之外，ODA還提供了一個OAKCLI工具，能很方便的實現(xiàn)數(shù)據(jù)庫的創(chuàng)建與遷移，用戶通過OAKCLI可以輕松實現(xiàn)數(shù)據(jù)庫的升級、容器數(shù)據(jù)庫的創(chuàng)建、刪除等操作，這極大地方便了數(shù)據(jù)庫遷移工作。

4 結(jié)語

智慧校園建設(shè)與數(shù)據(jù)治理是一個長期的話題，Oracle12c+ODA模式下完成數(shù)據(jù)庫物理集中統(tǒng)一管理后，校園整個數(shù)據(jù)庫系統(tǒng)全貌便能非常直觀、方便的展現(xiàn)在DBA面前，同時其本身能夠提供IO查詢、數(shù)據(jù)存儲與分析，是滿足校園數(shù)據(jù)業(yè)務(wù)要求的一套安全、高可用的解決方案，經(jīng)實踐證明，具有良好的實用性。

參考文獻

[1] 蔣東興，付小龍，袁芳，吳海燕，劉啟新.大數(shù)據(jù)背景下的高校智慧校園建設(shè)探討[J]. 華東師范大學(xué)學(xué)報（自然科學(xué)版）.2015，119-125，131.

[2] 趙茉秋，蘇延慶.Oracle Database 12c多租戶環(huán)境研究與實現(xiàn)[J].電腦編程技巧與維護，2016，49-51，59.

[3] 王駿翔.基于Oracle12c DBaaS構(gòu)建云計算數(shù)據(jù)服務(wù)體系[J].上海船舶運輸科學(xué)研究所學(xué)報，2015，71-76.

[4] 李偉，劉志強，陳宏光.Oracle12c在整合醫(yī)院輔助信息系統(tǒng)低版本數(shù)據(jù)庫上的應(yīng)用實踐[J].網(wǎng)絡(luò)空間安全，2015，93-96.