基于數(shù)據(jù)質(zhì)量的大數(shù)據(jù)集成服務(wù)研究

黃東

摘要：本文采用基于數(shù)據(jù)質(zhì)量的大數(shù)據(jù)集成服務(wù)方案及支持向量機(jī)的數(shù)據(jù)挖掘技術(shù)來(lái)解決當(dāng)前大數(shù)據(jù)管理中數(shù)據(jù)質(zhì)量低下的問(wèn)題，通過(guò)建立科學(xué)的分析模型，及時(shí)治理數(shù)據(jù)質(zhì)量問(wèn)題，推動(dòng)大數(shù)據(jù)的整體質(zhì)量持續(xù)提升。

關(guān)鍵詞：數(shù)據(jù)質(zhì)量;大數(shù)據(jù);集成服務(wù);支持向量機(jī)

中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2019）09-0109-02

0 引言

大數(shù)據(jù)質(zhì)量的好壞，直接影響學(xué)校信息化建設(shè)的成敗和后續(xù)的可持續(xù)發(fā)展性，高校原有公共數(shù)據(jù)平臺(tái)完成了基本的業(yè)務(wù)系統(tǒng)之間進(jìn)行數(shù)據(jù)共享和交換的工作，一定程度上消除了數(shù)據(jù)孤島、數(shù)據(jù)割裂的問(wèn)題。但在大力開(kāi)展信息化建設(shè)的同時(shí)，各種原因?qū)е聰?shù)據(jù)的質(zhì)量存在一定程度的問(wèn)題，大數(shù)據(jù)集成服務(wù)質(zhì)量整體堪憂。

1 當(dāng)前高校大數(shù)據(jù)分析存在的普遍問(wèn)題

1.1 大數(shù)據(jù)系統(tǒng)集成服務(wù)的數(shù)據(jù)質(zhì)量低下

數(shù)據(jù)質(zhì)量是整個(gè)信息化建設(shè)中大數(shù)據(jù)系統(tǒng)集成服務(wù)的重中之重，只有高質(zhì)量的數(shù)據(jù)，才能帶來(lái)高效率和高價(jià)值的系統(tǒng)決策和服務(wù)。數(shù)據(jù)質(zhì)量低下，導(dǎo)致后期數(shù)據(jù)運(yùn)維無(wú)法開(kāi)展，當(dāng)需要某些數(shù)據(jù)支撐其進(jìn)行決策或改善的時(shí)候，拿不出高質(zhì)量的數(shù)據(jù)，普遍存在數(shù)據(jù)不準(zhǔn)、數(shù)據(jù)不全、數(shù)據(jù)不一致的問(wèn)題，需要進(jìn)行分析時(shí)，還要耗費(fèi)大量人工線下采集，及時(shí)率無(wú)法保證，采集之后的加工也耗時(shí)耗力，每次都要進(jìn)行重復(fù)工作。

1.2 數(shù)據(jù)共享時(shí)無(wú)法執(zhí)行統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)

大多數(shù)前期的信息化建設(shè)已經(jīng)完成了校內(nèi)信息標(biāo)準(zhǔn)的梳理和建設(shè)，但沒(méi)有真正做到標(biāo)準(zhǔn)的統(tǒng)一管理與有效執(zhí)行，學(xué)校內(nèi)部缺少有效的管理工具和管理機(jī)制，造成各業(yè)務(wù)系統(tǒng)還是按照自有標(biāo)準(zhǔn)進(jìn)行業(yè)務(wù)建設(shè)和運(yùn)行，集成時(shí)可能保持一致，但運(yùn)行過(guò)程中又出現(xiàn)了新的不一致，例如大多數(shù)學(xué)校教務(wù)系統(tǒng)和研究生系統(tǒng)采用自有的學(xué)院代碼。

1.3 大數(shù)據(jù)集成與共享過(guò)程響應(yīng)慢

大數(shù)據(jù)的集成與共享一定程度上是校園信息化整體運(yùn)行的基礎(chǔ)保障，一旦集成過(guò)程或數(shù)據(jù)共享出現(xiàn)問(wèn)題，會(huì)影響到多個(gè)業(yè)務(wù)系統(tǒng)的正常運(yùn)行。學(xué)校信息部門(mén)在缺乏很強(qiáng)的專業(yè)知識(shí)的前提下，無(wú)法快速定位與排查，聯(lián)系廠家再安排處理，浪費(fèi)大量時(shí)間的同時(shí)造成業(yè)務(wù)系統(tǒng)的使用障礙甚至故障，影響信息化整體運(yùn)行。

2 解決方案

針對(duì)上述問(wèn)題，可以采用基于數(shù)據(jù)質(zhì)量的大數(shù)據(jù)集成服務(wù)方案來(lái)解決目前高校智慧校園建設(shè)中普遍存在的問(wèn)題，通過(guò)建立科學(xué)的分析模型，利用先進(jìn)的信息化工具，對(duì)主數(shù)據(jù)的質(zhì)量進(jìn)行自動(dòng)化檢查，及時(shí)治理數(shù)據(jù)質(zhì)量問(wèn)題，推動(dòng)整體數(shù)據(jù)質(zhì)量持續(xù)提升。

2.1 信息標(biāo)準(zhǔn)建設(shè)

信息標(biāo)準(zhǔn)是數(shù)字化校園建設(shè)的重要基石，信息標(biāo)準(zhǔn)確保信息在采集、處理、交換、傳輸?shù)倪^(guò)程中有統(tǒng)一、科學(xué)、規(guī)范的分類和描述，保證源數(shù)據(jù)的唯一性和數(shù)據(jù)轉(zhuǎn)換中的一致性，能夠使信息更加有序流通、最大限度地實(shí)現(xiàn)信息資源共享，降低系統(tǒng)整合的成本。

2.2 大數(shù)據(jù)的質(zhì)量治理

隨著學(xué)校大數(shù)據(jù)應(yīng)用系統(tǒng)遷移，更多深層次數(shù)據(jù)質(zhì)量問(wèn)題進(jìn)一步暴露，如何為后期數(shù)據(jù)應(yīng)用和分析做好充分的準(zhǔn)備是關(guān)鍵前提。數(shù)據(jù)質(zhì)量檢測(cè)可以對(duì)系統(tǒng)集成的主數(shù)據(jù)進(jìn)行事后檢測(cè)，發(fā)現(xiàn)數(shù)據(jù)存在問(wèn)題，并自動(dòng)匯總形成數(shù)據(jù)質(zhì)量報(bào)告，讓學(xué)校對(duì)當(dāng)前的數(shù)據(jù)質(zhì)量有清晰的認(rèn)識(shí)并輕松發(fā)現(xiàn)數(shù)據(jù)質(zhì)量根源，便于著手解決。

2.3 ERP思路下的集成服務(wù)設(shè)計(jì)

基于“頂層設(shè)計(jì)”的思想，借鑒國(guó)際先進(jìn)的ERP設(shè)計(jì)理念和行業(yè)優(yōu)秀的業(yè)務(wù)實(shí)踐為數(shù)據(jù)集成服務(wù)搭建的統(tǒng)一高效、互聯(lián)互通、信息共享的管理平臺(tái)，實(shí)現(xiàn)校內(nèi)各廠商不同時(shí)期開(kāi)發(fā)應(yīng)用系統(tǒng)、異構(gòu)數(shù)據(jù)源集成，實(shí)現(xiàn)應(yīng)用系統(tǒng)一體化，解決內(nèi)部信息孤島，實(shí)現(xiàn)數(shù)據(jù)共享和互通。

3 技術(shù)手段

3.1 技術(shù)方案

梳理校內(nèi)信息標(biāo)準(zhǔn)，加強(qiáng)信息標(biāo)準(zhǔn)執(zhí)行狀況，確保整體“一個(gè)標(biāo)準(zhǔn)”，形成統(tǒng)一的校級(jí)大數(shù)據(jù)，強(qiáng)化數(shù)據(jù)存儲(chǔ)，完成大數(shù)據(jù)倉(cāng)庫(kù)建設(shè)，自動(dòng)化保留大數(shù)據(jù)的歷史痕跡，豐富歷史數(shù)據(jù)，為大數(shù)據(jù)集成分析做數(shù)據(jù)儲(chǔ)備。對(duì)大數(shù)據(jù)質(zhì)量進(jìn)行調(diào)整與優(yōu)化，確保數(shù)據(jù)是逐步可信、權(quán)威的，整理與優(yōu)化是循序漸進(jìn)的過(guò)程。如圖1所示。

3.2 數(shù)據(jù)挖掘分析技術(shù)

大數(shù)據(jù)的數(shù)據(jù)分析技術(shù)主要有樸素貝葉斯、決策樹(shù)、K最近鄰分類、支持向量機(jī)、集成學(xué)習(xí)、K-means、Apriori、最大期望（EM）等技術(shù)。本文主要介紹基于支持向量機(jī)技術(shù)的大數(shù)據(jù)挖掘技術(shù)。SVM算法通過(guò)下式的形式來(lái)實(shí)現(xiàn)，其中表示非線性變換，即使輸入空間映射到一個(gè)對(duì)應(yīng)的高維空間，同時(shí)以線性函數(shù)的形式表示出來(lái)。

考慮到便于觀測(cè)樣本，上式中的Rn表示輸入空間，這樣我們即可以簡(jiǎn)單的將回歸SVM視為線性約束二次規(guī)劃優(yōu)化問(wèn)題：

其中是C>0函數(shù)復(fù)雜度和損失誤差之間的一個(gè)平衡量。由優(yōu)化問(wèn)題（1）的Lagrange函數(shù)相對(duì)于變量的偏導(dǎo)數(shù)為0，可得優(yōu)化問(wèn)題（1）的對(duì)偶問(wèn)題，它的解是核函數(shù)的線性組合，具有如下的形式：

上式即為回歸函數(shù)的學(xué)習(xí)機(jī)器即SVM，即為表達(dá)式系數(shù)始終不能為零的訓(xùn)練樣本。

SVM的訓(xùn)練算法本質(zhì)上是一個(gè)二次規(guī)劃的求解問(wèn)題，是大數(shù)據(jù)挖掘分析的重要技術(shù)。

4 最終效果

4.1 建成完善的信息標(biāo)準(zhǔn)體系

有了統(tǒng)一的信息標(biāo)準(zhǔn)，在數(shù)據(jù)抽取、數(shù)據(jù)清洗、數(shù)據(jù)分析的過(guò)程中有統(tǒng)一的規(guī)范，可以最大限度地實(shí)現(xiàn)信息優(yōu)化管理和資源共享。

4.2 提升大數(shù)據(jù)集成服務(wù)的數(shù)據(jù)質(zhì)量

通過(guò)數(shù)據(jù)清洗處理，提升數(shù)據(jù)整體的質(zhì)量，加強(qiáng)不同系統(tǒng)之間的數(shù)據(jù)共享的力度，避免重復(fù)維護(hù)數(shù)據(jù)，給決策提供更準(zhǔn)確的數(shù)據(jù)支撐。

參考文獻(xiàn)

[1] 于長(zhǎng)虹，王運(yùn)武.智慧校園建設(shè)的現(xiàn)狀、問(wèn)題與對(duì)策[J].教學(xué)與管理，2015（06）：48-51.

[2] 蔣東興，付小龍，吳海燕.大數(shù)據(jù)背景下的高校智慧校園建設(shè)探討[J].華東師范大學(xué)學(xué)報(bào)（自然科學(xué)版），2015（S1）：119-125.

[3] 熊頻.面向智慧校園的學(xué)習(xí)環(huán)境建設(shè)研究：案例與策略[J].電化教育研究，2015（03）：64-69.

[4] 胡欽太.教育信息化的發(fā)展轉(zhuǎn)型：從“數(shù)字校園”到“智慧校園”[J].中國(guó)電化教育，2014（01）：35-39.

[5] 黃榮懷，張進(jìn)寶.智慧校園：數(shù)字校園發(fā)展的必然趨勢(shì)[J].開(kāi)放教育研究，2012（04）：12-17.

Abstract：This paper adopts big data integration service scheme based on data quality and data mining technology of support vector machine to solve the problem of low data quality in current big data management.Through the establishment of scientific analysis model，Manage data quality problem in time，We will continue to improve the overall quality of big data.

Key words：data quality;Big data;Integration services;Support vector machine