對(duì)計(jì)算機(jī)分析處理技術(shù)中的數(shù)據(jù)分析的探析

李晶

摘要：數(shù)據(jù)分析在各個(gè)領(lǐng)域中應(yīng)用廣泛，將其與計(jì)算機(jī)技術(shù)結(jié)合在一起，能夠提出一種新的方法。通過(guò)引用數(shù)據(jù)，該文生動(dòng)地展現(xiàn)了數(shù)據(jù)處理的過(guò)程，揭示了聯(lián)機(jī)分析對(duì)于處理數(shù)據(jù)以及分析結(jié)果的重要性。

關(guān)鍵詞：聯(lián)機(jī)數(shù)據(jù)分析；處理數(shù)據(jù)；分析和轉(zhuǎn)換數(shù)據(jù)

中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2016）03-0006-03

為了提升大學(xué)物理公共課程的教學(xué)水平，更好地了解學(xué)生的學(xué)習(xí)情況，需要引用聯(lián)機(jī)數(shù)據(jù)技術(shù)，通過(guò)科學(xué)建立模型對(duì)教學(xué)數(shù)據(jù)進(jìn)行處理和分析。維度模型的建立是為了能夠全方位地剖析數(shù)據(jù)。

1 建立數(shù)據(jù)模型

建立模型是為了更加直觀地表達(dá)數(shù)據(jù)和事實(shí)。對(duì)于同一批數(shù)據(jù)，人們總是會(huì)以不同的角度對(duì)其進(jìn)行觀察，這就是維度。維度模型從不同的角度分析數(shù)據(jù)，最終得出一張事實(shí)表。

如圖1所示，維度模型包括了教材維度表，學(xué)期維度表，教師維度表，學(xué)生維度表和教學(xué)事實(shí)表。為了更好地分析教學(xué)效果，維度模型從四個(gè)不同的角度進(jìn)行分析，每一張維度表上都注明了詳細(xì)的數(shù)據(jù)內(nèi)容。最后，在總結(jié)四張維度表的基礎(chǔ)上，概括了最終的教學(xué)事實(shí)表。

2 OLAP技術(shù)

2.1 數(shù)據(jù)的采集

原有的Visual和SQL數(shù)據(jù)庫(kù)上儲(chǔ)存了學(xué)生的信息，教師的信息以及教學(xué)的數(shù)據(jù)等等。如圖二所示，教務(wù)數(shù)據(jù)庫(kù)中包含了課程信息表，學(xué)生信息表以及選課成績(jī)表。DTS工具能夠從不同的數(shù)據(jù)庫(kù)中自動(dòng)抽取需要進(jìn)行分析的數(shù)據(jù)，并且將其全部集中在一個(gè)新的數(shù)據(jù)庫(kù)中。新的SQL數(shù)據(jù)庫(kù)既可以儲(chǔ)存信息，還能夠?qū)π畔⑦M(jìn)行管理。聯(lián)機(jī)分析處理技術(shù)從不同的角度分析數(shù)據(jù)，有助于全面了解學(xué)生的學(xué)習(xí)情況和教師的教學(xué)質(zhì)量。

2.2 數(shù)據(jù)分析的結(jié)構(gòu)

從圖2中可以看出，數(shù)據(jù)分析的結(jié)構(gòu)包括了四層，其中最底層的是各種信息數(shù)據(jù)庫(kù)和文本文件，在此基礎(chǔ)上建立數(shù)據(jù)ETL，然后建立相應(yīng)的維度模型，最后利用聯(lián)機(jī)分析技術(shù)對(duì)數(shù)據(jù)進(jìn)行分析。采集數(shù)據(jù)和轉(zhuǎn)換數(shù)據(jù)是使用聯(lián)機(jī)分析技術(shù)的基礎(chǔ)，也是必不可少的一步。多維度分析是該結(jié)構(gòu)中的最后一步，最終的結(jié)果將會(huì)把數(shù)據(jù)轉(zhuǎn)換成圖表的形式呈現(xiàn)出來(lái)。

2.3 轉(zhuǎn)換數(shù)據(jù)

由于不同數(shù)據(jù)的語(yǔ)法可能存在差異，因此，把不同的數(shù)據(jù)轉(zhuǎn)換成相同的結(jié)構(gòu)顯得尤為必要。在聯(lián)機(jī)分析技術(shù)應(yīng)用的過(guò)程中，轉(zhuǎn)換數(shù)據(jù)是關(guān)鍵的一步，能否成功轉(zhuǎn)換數(shù)據(jù)，決定了維度模型的建立是否具有科學(xué)性與全面性。轉(zhuǎn)換數(shù)據(jù)是為了解決語(yǔ)法，語(yǔ)義結(jié)構(gòu)不同引起的問(wèn)題。

和數(shù)據(jù)語(yǔ)義不同相比，處理不同語(yǔ)法的數(shù)據(jù)顯得更為簡(jiǎn)單。如果數(shù)據(jù)本身和目標(biāo)數(shù)據(jù)之間存在語(yǔ)法結(jié)構(gòu)不同的問(wèn)題，那么只需要通過(guò)函數(shù)對(duì)其進(jìn)行轉(zhuǎn)換即可。一般來(lái)說(shuō)，數(shù)據(jù)本身的內(nèi)容并不會(huì)影響轉(zhuǎn)換過(guò)程，只要建立原數(shù)據(jù)和目標(biāo)數(shù)據(jù)之間的對(duì)應(yīng)關(guān)系，就能解決數(shù)據(jù)名稱存在沖突的問(wèn)題。例如，學(xué)生數(shù)據(jù)庫(kù)本身的信息包括了學(xué)生的ID和班級(jí)，這就相當(dāng)于最終目標(biāo)數(shù)據(jù)中學(xué)生對(duì)應(yīng)的名稱和班別。如果數(shù)據(jù)類型不同，可以運(yùn)用相應(yīng)的函數(shù)對(duì)其進(jìn)行轉(zhuǎn)換，例如trim（）函數(shù)就能完成數(shù)據(jù)的轉(zhuǎn)換。下面是利用函數(shù)對(duì)原數(shù)據(jù)中學(xué)生的ID，專業(yè)以及院名進(jìn)行轉(zhuǎn)換的過(guò)程，其轉(zhuǎn)換代碼如下：

Function Main（）

DTSDestination（“ID”）=trim（DTSSourse（“名稱”））

DTSDestination（“專業(yè)”）=cstr（DTSSourse（“專業(yè)”））

DTSDestination（“院名”）=trim（DTSSourse（“學(xué)院”））

Main=DTSTransformStat_OK

End Function

轉(zhuǎn)換不同語(yǔ)義結(jié)構(gòu)的數(shù)據(jù)是一個(gè)復(fù)雜的過(guò)程，它需要重視數(shù)據(jù)本身的信息和內(nèi)容。因此，僅僅通過(guò)一步完成數(shù)據(jù)轉(zhuǎn)換的過(guò)程是幾乎不可能的，它需要將原數(shù)據(jù)進(jìn)行一次次轉(zhuǎn)換，才能得到最終的目標(biāo)數(shù)據(jù)。例如每一個(gè)教師都有發(fā)表論文以及開展項(xiàng)目，在原數(shù)據(jù)中只能看到項(xiàng)目的名稱和論文的名稱，如果需要將其轉(zhuǎn)換成教師的論文數(shù)量和項(xiàng)目數(shù)量，則需要經(jīng)過(guò)兩步的數(shù)據(jù)轉(zhuǎn)換。

2.4 數(shù)據(jù)結(jié)果分析

原數(shù)據(jù)從SQL中提取出來(lái)，然后通過(guò)函數(shù)對(duì)其進(jìn)行轉(zhuǎn)換，最后利用聯(lián)機(jī)分析技術(shù)進(jìn)行數(shù)據(jù)管理和分析，從不同的角度研究數(shù)據(jù)，從而全面分析學(xué)生的學(xué)習(xí)情況和教師的教學(xué)情況。數(shù)據(jù)分析的方法有很多種，其目的都是為了全方位地剖析數(shù)據(jù)。

2.4.1 高校教師教學(xué)質(zhì)量的對(duì)比分析

在教師維度表中，我們已經(jīng)按照教師的從業(yè)年齡，學(xué)歷以及職稱對(duì)其進(jìn)行劃分，不同職稱的教師，其教學(xué)質(zhì)量有著明顯的區(qū)別。教師的學(xué)歷不同，教齡有所差異，這都和教學(xué)效果息息相關(guān)。

2.4.2 不同時(shí)期對(duì)教學(xué)質(zhì)量的影響分析

聯(lián)機(jī)分析處理技術(shù)能夠從多角度分析數(shù)據(jù)，教學(xué)質(zhì)量不可能是一成不變的，它與多個(gè)因素密不可分，時(shí)間也是其中一個(gè)因素。在不同的時(shí)期，由于政策的變動(dòng)和外界因素的影響，教師的教學(xué)質(zhì)量也會(huì)隨之而受到不同程度的影響。

2.4.3 教學(xué)質(zhì)量和其他因素息息相關(guān)

除了時(shí)間和教師的水平會(huì)對(duì)教學(xué)質(zhì)量造成一定的影響，還有其他因素同樣會(huì)影響教學(xué)效果，例如：學(xué)生的學(xué)習(xí)能力，學(xué)校選用的課本等。綜合考慮各個(gè)因素對(duì)教學(xué)效果的影響，有利于教育部門更好地作出相應(yīng)的政策調(diào)整。

3 計(jì)算機(jī)分析處理技術(shù)中的數(shù)據(jù)處理方法分析

無(wú)可置疑，計(jì)算機(jī)技術(shù)的出現(xiàn)顛覆了人們傳統(tǒng)的思想和工作模式。如今，計(jì)算機(jī)技術(shù)已經(jīng)全面滲透到我們生活中和工作中的各個(gè)方面。不管是在工業(yè)生產(chǎn)還是科研數(shù)據(jù)處理中，計(jì)算機(jī)技術(shù)都發(fā)揮著不可替代的作用。如今我們需要處理的數(shù)據(jù)正與日俱增，這就意味著傳統(tǒng)的數(shù)據(jù)處理方法已經(jīng)無(wú)法滿足人們的需求了。儀表生產(chǎn)和系統(tǒng)控制要求數(shù)據(jù)具有高度精確性，這些數(shù)字在顯示之前，都必須經(jīng)過(guò)一系列的轉(zhuǎn)換，計(jì)算以及處理。首先，數(shù)據(jù)會(huì)以一種形式經(jīng)過(guò)轉(zhuǎn)換器，然后變成另一種新的形式，只有這樣計(jì)算機(jī)才能對(duì)數(shù)據(jù)進(jìn)行處理和分析。處理數(shù)據(jù)是一個(gè)復(fù)雜多變的過(guò)程，它的方法并不是單一的，根據(jù)數(shù)據(jù)處理的目標(biāo)不同，需要選擇不同的數(shù)據(jù)處理方法。例如，有的數(shù)據(jù)需要進(jìn)行標(biāo)度轉(zhuǎn)換，但有些數(shù)據(jù)只需要進(jìn)行簡(jiǎn)單計(jì)算即可，計(jì)算機(jī)技術(shù)的不斷進(jìn)步是為了更好地應(yīng)對(duì)人們對(duì)數(shù)據(jù)處理新的需要。

計(jì)算機(jī)數(shù)據(jù)處理技術(shù)的應(yīng)用離不開系統(tǒng)，它比傳統(tǒng)的系統(tǒng)更加具有優(yōu)越性：

1）自動(dòng)更正功能，計(jì)算機(jī)系統(tǒng)在處理數(shù)據(jù)時(shí)，對(duì)于計(jì)算結(jié)果出現(xiàn)的誤差能夠及時(shí)修正，確保結(jié)果的準(zhǔn)確度。

2）傳統(tǒng)模擬系統(tǒng)只能進(jìn)行數(shù)據(jù)的簡(jiǎn)單計(jì)算，而計(jì)算機(jī)系統(tǒng)則能夠處理復(fù)雜多變的數(shù)據(jù)，其適用范圍和領(lǐng)域更加廣。

3）計(jì)算機(jī)系統(tǒng)不需要過(guò)多的硬件，只需要編寫相應(yīng)的程序就能夠完成數(shù)據(jù)的處理，在節(jié)省空間的同時(shí)也降低了數(shù)據(jù)處理的成本。

4）計(jì)算機(jī)系統(tǒng)特有的監(jiān)控系統(tǒng)，能夠隨時(shí)監(jiān)測(cè)系統(tǒng)的安全性，從而確保數(shù)據(jù)的準(zhǔn)確度。

對(duì)于不同的數(shù)據(jù)，往往需要采用不同的處理方式，處理數(shù)據(jù)的簡(jiǎn)單方法包括查表，計(jì)算等。除此之外，標(biāo)度轉(zhuǎn)換，數(shù)字濾波同樣是應(yīng)用十分廣的處理技術(shù)。

3.1 數(shù)據(jù)計(jì)算

在各種數(shù)據(jù)處理方法中，計(jì)算法是最為簡(jiǎn)單的一種，利用現(xiàn)有的數(shù)據(jù)設(shè)置程序，然后直接通過(guò)計(jì)算得出最終的目標(biāo)數(shù)據(jù)。一般來(lái)說(shuō)，利用這種方法處理數(shù)據(jù)需要遵循一個(gè)過(guò)程：首先，求表達(dá)式，這是計(jì)算法最基本的一步；其次，設(shè)計(jì)電路，在此之前必須將轉(zhuǎn)換器的位數(shù)確定下來(lái)；最后，利用第一步已經(jīng)求出的表達(dá)式運(yùn)算數(shù)據(jù)。

3.2 數(shù)據(jù)查表

3.2.1 按順序查表格

當(dāng)需要搜索表格中的數(shù)據(jù)時(shí)，往往需要按照一定的順序和步驟。首先，明確表格的地址和長(zhǎng)度，然后再設(shè)置關(guān)鍵詞，最后按照順序進(jìn)行搜索。

3.2.2 通過(guò)計(jì)算查表格

這是一種較為簡(jiǎn)單的方法，適用范圍并不廣。只有當(dāng)數(shù)據(jù)之間表現(xiàn)出明顯的規(guī)律或者數(shù)據(jù)之間存在某種關(guān)系時(shí)，才能夠使用這種方法查表格。

3.2.3 利用程序查表格

相比于上述的兩種方法，利用程序查表格是一種相對(duì)復(fù)雜的方法，但是這種方法的優(yōu)點(diǎn)在于查找效率高，并且準(zhǔn)確度高。

3.3 數(shù)據(jù)濾波處理

采集數(shù)據(jù)并不難，但是確保每一個(gè)數(shù)據(jù)的真實(shí)性卻十分困難，尤其是在工業(yè)系統(tǒng)中，數(shù)據(jù)的測(cè)量難以確保絕對(duì)準(zhǔn)確，因?yàn)樵跍y(cè)量的過(guò)程中，外界環(huán)境對(duì)數(shù)據(jù)的影響往往是難以預(yù)估的。為了提高數(shù)據(jù)處理的精確度和準(zhǔn)確率，需要借助檢測(cè)系統(tǒng)對(duì)采集的數(shù)據(jù)進(jìn)行深加工。盡可能地讓處理的數(shù)據(jù)接近真實(shí)的數(shù)據(jù)，并且在數(shù)據(jù)采集的過(guò)程中最大限度地減少外界因素對(duì)其的影響，從而提高計(jì)算結(jié)果的準(zhǔn)確度。

濾波處理技術(shù)的應(yīng)用首先要確定數(shù)據(jù)的偏差，一般來(lái)說(shuō)，每?jī)蓚€(gè)測(cè)量數(shù)據(jù)之間都會(huì)存在一定的誤差，首先需要計(jì)算數(shù)據(jù)與數(shù)據(jù)之間可能出現(xiàn)的最大誤差。一旦超出這一數(shù)值，可以認(rèn)定數(shù)據(jù)無(wú)效，只有符合偏差范圍內(nèi)的數(shù)據(jù)，才能進(jìn)行下一步的處理。

為了減少由于外界影響導(dǎo)致數(shù)據(jù)失真的情況，利用程序過(guò)濾數(shù)據(jù)是很有必要的。濾波技術(shù)有幾種，根據(jù)不同的需要可以選擇相應(yīng)的數(shù)據(jù)處理技術(shù)，每一種數(shù)據(jù)濾波技術(shù)都有其適用范圍和優(yōu)點(diǎn)。數(shù)據(jù)濾波技術(shù)包括算術(shù)平均值濾波，加權(quán)平均值濾波，中值濾波，限幅濾波，限速濾波以及其他類型的濾波技術(shù)。

3.4 轉(zhuǎn)換量程和標(biāo)度

在測(cè)量數(shù)據(jù)的過(guò)程中，每一種參數(shù)都有相應(yīng)的單位，為了方便數(shù)據(jù)處理，需要使用轉(zhuǎn)換器把數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一的信號(hào)。標(biāo)度轉(zhuǎn)換是必不可少的，為了加強(qiáng)系統(tǒng)的管理和監(jiān)測(cè)，需要不同單位的數(shù)字量。轉(zhuǎn)換方法包括非線性參數(shù)標(biāo)度變換，參數(shù)標(biāo)度變換，量程轉(zhuǎn)換，這幾種轉(zhuǎn)換方法在數(shù)據(jù)處理的過(guò)程中較為常見。當(dāng)計(jì)算過(guò)程遇到困難，可以結(jié)合其他的標(biāo)度轉(zhuǎn)換方法進(jìn)行數(shù)據(jù)處理。

3.5 非線性補(bǔ)償計(jì)算法

3.5.1 線性插值計(jì)算方法

信號(hào)的輸入和輸出往往會(huì)存在一定的關(guān)系。曲線的斜率和誤差之間存在正相關(guān)關(guān)系，斜率越大，誤差越大。由此可見，這一計(jì)算方法僅僅適用于處理變化不大的數(shù)據(jù)。當(dāng)曲線繪制選用的數(shù)據(jù)越多，曲線的準(zhǔn)確程度越高，偏差越小。

3.5.2 拋物線計(jì)算方法

拋物線計(jì)算方法是一種常用的數(shù)據(jù)處理方法，只需要采集三組數(shù)據(jù)，就可以連成一條拋物線。相比于直線，拋物線更加接近真實(shí)的曲線，從而提高數(shù)據(jù)的準(zhǔn)確度。拋物線計(jì)算法的過(guò)程，只需要求出最后兩步計(jì)算中的M值，就能夠直接輸入數(shù)據(jù)得出結(jié)果。

3.6 數(shù)據(jù)長(zhǎng)度的處理

當(dāng)輸入數(shù)據(jù)和輸出數(shù)據(jù)的長(zhǎng)度不一，需要對(duì)其進(jìn)行轉(zhuǎn)換，使數(shù)據(jù)長(zhǎng)度達(dá)到一致。由于采集數(shù)據(jù)所使用的轉(zhuǎn)換器和轉(zhuǎn)換數(shù)據(jù)所選擇的轉(zhuǎn)換器不同，因此，當(dāng)輸入位數(shù)大于輸出位數(shù)，可以通過(guò)移位的方法使位數(shù)變成相同。相反，當(dāng)輸入位數(shù)少于輸出位數(shù)時(shí)，可以使用填充的方法將其轉(zhuǎn)換成相同的位數(shù)。

4 結(jié)語(yǔ)

本文對(duì)聯(lián)機(jī)分析技術(shù)進(jìn)行了詳細(xì)的論述，該技術(shù)的應(yīng)用對(duì)于評(píng)價(jià)教學(xué)效果有著重要的意義。在物理公共課程中，教學(xué)數(shù)據(jù)數(shù)量巨大，如果利用傳統(tǒng)的方法對(duì)其進(jìn)行分析，將會(huì)耗費(fèi)大量的人力物力，而采用OLAP技術(shù)則能更加快速準(zhǔn)確地分析處理數(shù)據(jù)。數(shù)據(jù)分析是評(píng)估教學(xué)質(zhì)量必經(jīng)的過(guò)程，而使用QLAP技術(shù)是為了能夠多層次，全方位地分析各個(gè)因素對(duì)教學(xué)質(zhì)量的影響，從而更好地改進(jìn)高校教育中存在的不足。除了分析物理課程數(shù)據(jù)，聯(lián)機(jī)分析技術(shù)同樣適用于其他課程的數(shù)據(jù)處理和分析。

參考文獻(xiàn)：

[1] Ralph kimball，Margy Ross.The Data Warehouse Toolkit：the Complete Guide to Dimensional Modeling[M]..北京：電子工業(yè)出版社，2003.

[2] 陳躍國(guó)，王京春.數(shù)據(jù)集成綜述[J]..計(jì)算機(jī)科學(xué)，2004，31（5）：48.

[3] 王珊.數(shù)據(jù)倉(cāng)庫(kù)技術(shù)與聯(lián)機(jī)分析處理[M]..北京：科學(xué)出版社，1999.