數(shù)據(jù)顯斷層與數(shù)據(jù)隱斷層的研究與應(yīng)用

夏驕雄, 韋 琴, 繆 慧, 吳新林, 徐 釗, 金 勇, 高偉山

(1.上海外國語大學(xué) 賢達(dá)經(jīng)濟人文學(xué)院,上海 200083; 2.上海理工大學(xué) 光電信息與計算機工程學(xué)院,上海 200093; 3.上海大學(xué)計算機工程與科學(xué)學(xué)院,上海 200444; 4.上海市教育委員會 信息中心,上海 200003; 5.上海市教育評估院 教育評估研究所,上海 200031)

?

數(shù)據(jù)顯斷層與數(shù)據(jù)隱斷層的研究與應(yīng)用

夏驕雄1,2,3,4, 韋 琴2, 繆 慧3, 吳新林5, 徐 釗3, 金 勇3, 高偉山2

(1.上海外國語大學(xué) 賢達(dá)經(jīng)濟人文學(xué)院,上海 200083; 2.上海理工大學(xué) 光電信息與計算機工程學(xué)院,上海 200093; 3.上海大學(xué)計算機工程與科學(xué)學(xué)院,上海 200444; 4.上海市教育委員會 信息中心,上海 200003; 5.上海市教育評估院 教育評估研究所,上海 200031)

建立能夠和諧平衡各個信息系統(tǒng)之間數(shù)據(jù)斷層的機制是實現(xiàn)管理決策變革最關(guān)鍵的3大基礎(chǔ)之一,也是智能決策支持系統(tǒng)研究領(lǐng)域的重點內(nèi)容之一.隨著互聯(lián)網(wǎng)+時代的到來,各式各樣的數(shù)據(jù)資源不斷積累,數(shù)據(jù)斷層現(xiàn)象在多個領(lǐng)域表現(xiàn)得愈加明顯.通過對數(shù)據(jù)斷層理論體系的進(jìn)一步研究與實踐,著重分析微觀層面的數(shù)據(jù)斷層現(xiàn)象,一方面用顯斷層概念描述各系統(tǒng)之間以及系統(tǒng)內(nèi)部存在的較為明顯的斷層現(xiàn)象,另一方面用隱斷層概念描述各系統(tǒng)之間以及系統(tǒng)內(nèi)部存在的非明顯的斷層現(xiàn)象,并在數(shù)據(jù)顯斷層中引入縫隙的概念來描述主題無關(guān)數(shù)據(jù)對象,采用數(shù)據(jù)聚合的技術(shù)手段來降低縫隙數(shù)據(jù)的斷層屬性,同時在隱斷層中引入“有效密度”來形象地描繪數(shù)據(jù)分布情況,通過數(shù)據(jù)熔合來減少無效數(shù)據(jù)占用的空間.最后以上?！皠痈?01”音樂電臺的移動客戶端應(yīng)用日志數(shù)據(jù)為例,分析了電臺數(shù)據(jù)中所存在的數(shù)據(jù)顯斷層和數(shù)據(jù)隱斷層現(xiàn)象.

智能決策支持系統(tǒng); 微觀數(shù)據(jù)斷層; 數(shù)據(jù)聚合; 數(shù)據(jù)熔合; 縫隙檢測; 數(shù)據(jù)顯斷層; 數(shù)據(jù)隱斷層

IBM的行業(yè)咨詢總監(jiān)趙枏曾經(jīng)指出:要實現(xiàn)管理決策的變革,關(guān)鍵的3大基礎(chǔ)是建設(shè)完成符合管理轉(zhuǎn)型和流程優(yōu)化要求的信息系統(tǒng),建立完善能夠和諧平衡各個信息系統(tǒng)之間數(shù)據(jù)斷層的機制,建構(gòu)完整滿足實時分析和智能決策需要的支撐體系[1].因此,數(shù)據(jù)斷層的研究具有與信息系統(tǒng)的建設(shè)、智能決策支撐體系的架構(gòu)同樣重要的地位和應(yīng)用價值.然而,從現(xiàn)有的文獻(xiàn)資料來看,各行各業(yè)都僅僅是在文字描述中提及企業(yè)信息化、電子政務(wù)、金融投資、醫(yī)學(xué)成像等領(lǐng)域存在著各種形式的“數(shù)據(jù)斷層(data faultage)”,卻很少有從定義、體系、算法、模型的角度給予詳細(xì)描述的.文獻(xiàn)[2]提出基于數(shù)據(jù)倉庫的環(huán)境,通過借鑒地質(zhì)學(xué)領(lǐng)域斷層的理論體系,將其運用到數(shù)據(jù)挖掘領(lǐng)域,并通過對其重定義、再分析,使斷層在數(shù)據(jù)挖掘領(lǐng)域得到了很好的呈現(xiàn)和引申,并對宏觀環(huán)境和微觀環(huán)境下的數(shù)據(jù)斷層進(jìn)行了定量描述,給出了相關(guān)算法和模型.

在微觀層面,數(shù)據(jù)對象是以一定的主題和存儲模式進(jìn)行聚集的[3],通過滿足用戶特定的需求為目標(biāo)來分析數(shù)據(jù)對象,是數(shù)據(jù)挖掘和智能決策支持的關(guān)鍵[4].當(dāng)數(shù)據(jù)總量并不大時,可以人為地對影響用戶決策的數(shù)據(jù)對象進(jìn)行簡單處理;但是,當(dāng)數(shù)據(jù)總量超出人們處理的范圍,這種人為處理就很難達(dá)到預(yù)期效果[5-6].數(shù)據(jù)對象聚集以后,不符合要求的數(shù)據(jù)對象就會以一定規(guī)律匯聚形成微觀數(shù)據(jù)斷層(micro data faultage),這些斷層一方面占用大量的內(nèi)存空間,另一方面給后續(xù)的數(shù)據(jù)和結(jié)果分析帶來一定的干擾.所以,為了提高分析結(jié)果的準(zhǔn)確性,務(wù)必需要對斷層數(shù)據(jù)作相應(yīng)的檢測、分析和處理,從而為精確化決策提供最大化支持.

根據(jù)數(shù)據(jù)斷層所依賴的數(shù)據(jù)類型可以將數(shù)據(jù)斷層分為數(shù)據(jù)顯斷層(dominant data faultage)和數(shù)據(jù)隱斷層(tacit data faultage)兩大類[2].本文借鑒地質(zhì)斷層領(lǐng)域中的概念和方法,針對數(shù)據(jù)顯斷層和數(shù)據(jù)隱斷層引入相應(yīng)的處理方法,采用縫隙(crack)檢測與數(shù)據(jù)聚合(data aggregation)的方法來處理數(shù)據(jù)顯斷層,采用隱斷層檢測和數(shù)據(jù)熔合(data fusion solution)來處理數(shù)據(jù)隱斷層,對上?！皠痈?01”音樂電臺的日志數(shù)據(jù)進(jìn)行了數(shù)據(jù)顯斷層和數(shù)據(jù)隱斷層的分析,達(dá)到了預(yù)期目的.

1 微觀數(shù)據(jù)斷層的基本定義

定義1 微觀數(shù)據(jù)斷層 專門用于描述同類型數(shù)據(jù)對象集合中或者同一數(shù)據(jù)對象集合中各個數(shù)據(jù)對象之間隨著各種結(jié)構(gòu)(各個數(shù)據(jù)對象的存放形式和構(gòu)造)、成分(各個數(shù)據(jù)對象的內(nèi)涵)、數(shù)據(jù)關(guān)系(各個數(shù)據(jù)對象之間的關(guān)系密切程度)等因素變化而變化的相關(guān)性質(zhì)表象,稱為微觀數(shù)據(jù)斷層.

定義2 數(shù)據(jù)顯斷層 主要用于描述大部分存在于數(shù)據(jù)對象集合與數(shù)據(jù)對象集合之間,受到數(shù)據(jù)對象集合的結(jié)構(gòu)、主題、時效等因素影響而發(fā)生變化的較為明顯的微觀數(shù)據(jù)斷層稱為數(shù)據(jù)顯斷層.

定義3 數(shù)據(jù)隱斷層 主要用于描述大部分存在于數(shù)據(jù)對象集合內(nèi)部,受到數(shù)據(jù)對象集合內(nèi)部的結(jié)構(gòu)、成分、數(shù)據(jù)關(guān)系等因素影響而發(fā)生變化的較為隱秘的微觀數(shù)據(jù)斷層稱為數(shù)據(jù)隱斷層.

通過分析數(shù)據(jù)斷層的表現(xiàn)形式所涵蓋的內(nèi)在特性,數(shù)據(jù)斷層都存在必然性、易變性、非均質(zhì)性(inhomogeneity)等特性[7].數(shù)據(jù)對象集合與集合之間以及對象集合本身會存在數(shù)據(jù)斷層現(xiàn)象,這不僅具備了數(shù)據(jù)斷層的必然性、易變性和非均質(zhì)性等基本性質(zhì),還具有客觀存在性(existence)、隱秘性(mystery)和規(guī)律性(regularity)等一些特殊性質(zhì).

客觀存在性表現(xiàn)在任何數(shù)據(jù)對象內(nèi)部或多或少存在與主題無關(guān)的數(shù)據(jù),即噪聲數(shù)據(jù)[8];隱蔽性指那些看上去與文章大意相同的數(shù)據(jù)對象[9],它們的不一致性表現(xiàn)不明顯,很難被發(fā)現(xiàn);規(guī)律性主要是指數(shù)據(jù)顯斷層和數(shù)據(jù)隱斷層在一定操作規(guī)程的約束下,某種程度上能夠相互轉(zhuǎn)化.

2 數(shù)據(jù)顯斷層

正確的決策支持需要數(shù)據(jù)對象的準(zhǔn)確性來支撐,必然對數(shù)據(jù)對象集合的產(chǎn)生和存儲提出了高質(zhì)量的要求,這就要求數(shù)據(jù)對象本身應(yīng)該具有準(zhǔn)確性、可靠性、完整性和一致性的基本特征[10].但現(xiàn)實的數(shù)據(jù)卻不盡如此,由于數(shù)據(jù)量本身的龐大和雜糅性,必然導(dǎo)致一系列數(shù)據(jù)問題,包括:不一致值、同一實體的多種描述、拼寫問題、簡寫、打印錯誤、缺失值、未遵守引用完整性規(guī)則、不合法值等[11-12].

2.1 縫隙

本文參考基于圖像分析的砂巖孔隙網(wǎng)絡(luò)定量分析的模型[13],將結(jié)合地質(zhì)學(xué)原理,采用縫隙的概念來描述數(shù)據(jù)顯斷層中的問題數(shù)據(jù)對象.

定義4 縫隙 數(shù)據(jù)對象中的縫隙數(shù)據(jù)包括與主題無關(guān)的所有數(shù)據(jù)對象,重點有空白數(shù)據(jù)對象、噪聲數(shù)據(jù)對象、重復(fù)數(shù)據(jù)對象等,均定義為數(shù)據(jù)對象集合中的縫隙.

定義5 縫隙度(crack degrees) 針對某一特定主題,數(shù)據(jù)對象集合中存在的縫隙數(shù)量與數(shù)據(jù)對象集合所含有的所有數(shù)據(jù)對象數(shù)量之間的比值,稱為該特定主題下的縫隙度.

在某一特定主題環(huán)境中,數(shù)據(jù)對象集合中數(shù)據(jù)對象之間的緊密程度可以通過縫隙度進(jìn)行反映,即縫隙度越大,數(shù)據(jù)對象的緊密程度越低.因此,針對不同的主題,同一數(shù)據(jù)對象集合的縫隙度并不一致.

定義6 總縫隙度(total crack degrees) 數(shù)據(jù)對象聚合中的所有與主題無關(guān)的數(shù)據(jù)與總體數(shù)據(jù)的比值,稱為特定主題下數(shù)據(jù)對象集合的總縫隙度.

通常,總縫隙度可以表示為

(1)

式中:∑de指與特定主題無關(guān)的數(shù)據(jù)量;dr指數(shù)據(jù)總量;Pt是總縫隙度.

為了滿足某個特定的用戶需求,有時候只需要對數(shù)據(jù)對象集合的局部進(jìn)行分析處理即可,而并不需要對整個數(shù)據(jù)對象集合進(jìn)行操作.

定義7 有效縫隙度(valid crack degrees) 有效縫隙度指的是在具體的主題下用戶選擇的數(shù)據(jù)對象的縫隙與總的數(shù)據(jù)對象的比值.

通常,有效縫隙度可以表示為

(2)

式中:∑di是用戶所選擇的數(shù)據(jù)對象中存在的縫隙數(shù)量;Pe是有效縫隙度.

為了表述簡單,如非特別指出,本文均指有效縫隙度.由于縫隙產(chǎn)生分先后次序,故將縫隙又劃分為既生縫隙和再生縫隙兩種類型.

定義8 既生縫隙(existing crack) 既生縫隙指在數(shù)據(jù)集合形成的初始就存在的各類縫隙.

任何數(shù)據(jù)對象集合構(gòu)建的時候,都必然存在構(gòu)建此數(shù)據(jù)對象集合的目標(biāo)主題,因此,此時數(shù)據(jù)對象集合內(nèi)部所存在的縫隙都是既生縫隙.隨著時間的變化,數(shù)據(jù)對象集合本身的目標(biāo)主題也會變化,那么將會導(dǎo)致縫隙的消失或者增大,還可能產(chǎn)生新縫隙.

定義9 再生縫隙(newly crack) 數(shù)據(jù)對象集合隨著時間、主題目標(biāo)等變化產(chǎn)生的不同于既生縫隙的縫隙稱為再生縫隙.

數(shù)據(jù)對象中可能存在既生縫隙和再生縫隙的混雜,因為數(shù)據(jù)的更新會造成原本只存在既生縫隙的數(shù)據(jù)對象又增加新的再生縫隙的情況.根據(jù)數(shù)據(jù)挖掘的需要,應(yīng)盡可能降低縫隙度,從而減小縫隙對分析數(shù)據(jù)的影響.

2.2 縫隙類型

在數(shù)據(jù)對象集合中,縫隙的類型主要有3種:

a. 缺失數(shù)據(jù).

各種應(yīng)用信息系統(tǒng)經(jīng)過長期運行所積累下來的數(shù)據(jù),均存在不同程度的缺失現(xiàn)象,即包含很多缺失數(shù)據(jù).從數(shù)據(jù)庫的觀點而言,如果某條記錄中的某個屬性存在空缺值,這就是缺失數(shù)據(jù)[14].按照數(shù)據(jù)對象集合中數(shù)據(jù)對象的不完整性,缺失值從缺失的分布來講可以分為完全隨機缺失、隨機缺失和完全非隨機缺失等[15].

b. 噪聲數(shù)據(jù).

簡單來說,數(shù)據(jù)噪聲指在一組數(shù)據(jù)中無法解釋的數(shù)據(jù)變動,就是一些不和其他數(shù)據(jù)相一致的數(shù)據(jù)[16-17].噪聲數(shù)據(jù)有可能是數(shù)據(jù)對象集合中存在的錯誤數(shù)據(jù),也有可能是數(shù)據(jù)對象集合形成過程中記錄下來的隨機錯誤或者偏差[14],也有可能是完全不相關(guān)的數(shù)據(jù)對象或者是沒有實際意義的數(shù)據(jù)對象[18].

噪聲數(shù)據(jù)的產(chǎn)生通常有3類原因[19],即:不同數(shù)據(jù)對象集合由數(shù)據(jù)集成操作引發(fā);數(shù)據(jù)對象本身隨著某一因素的改變而自然發(fā)生;在數(shù)據(jù)測量和采集過程中由人為填寫錯誤或者儀器故障等原因引起.

c. 重復(fù)數(shù)據(jù).

重復(fù)數(shù)據(jù)是指對同一實體對象的多重表述,或者說在數(shù)據(jù)結(jié)構(gòu)或數(shù)據(jù)表示上對同一實體對象的不同表達(dá)[20].任意的數(shù)據(jù)對象集合中都有重復(fù)數(shù)據(jù)記錄或數(shù)據(jù)屬性的可能性,因此,幾乎所有的信息系統(tǒng)都可能存在著信息重復(fù)和冗余的現(xiàn)象[21].通常,檢測重復(fù)數(shù)據(jù)的目的是從數(shù)據(jù)對象集合中識別出那些在表現(xiàn)形式上不同但又表示同一實體對象的記錄[14,22].

2.3 縫隙檢測

縫隙檢測的目的有兩個,首先是判斷有沒有縫隙,再者,若有縫隙,鑒別縫隙大小和位置.現(xiàn)實狀態(tài)下,無論是缺失數(shù)據(jù)、噪聲數(shù)據(jù)、重復(fù)數(shù)據(jù)等具有代表性的縫隙,還是其他特殊類型的縫隙,都會影響正常的數(shù)據(jù)預(yù)處理工作和數(shù)據(jù)分析工作,因此,這類問題十分值得研究和分析[15,19,22].

進(jìn)行正常的數(shù)據(jù)預(yù)處理工作就是對數(shù)據(jù)對象集合進(jìn)行篩選操作,盡可能多地剔除縫隙[6].縫隙檢測的常用方法包括:人工神經(jīng)網(wǎng)絡(luò)法[23]、統(tǒng)計判別法[24]、支持向量機法[25]等.

本文借鑒基于能量的概念[26]和基于層次聚類的方法[27],提出了基于能量和層次聚類的縫隙檢測(crack detection on energy and hierarchy clustering)方法.為了定量化進(jìn)行縫隙查找,引入相關(guān)能的概念進(jìn)行描述,縫隙的檢測問題進(jìn)一步轉(zhuǎn)化成在數(shù)據(jù)對象集合中通過相關(guān)能計算獲取較大能值的數(shù)據(jù)對象過程.

假定d維數(shù)據(jù)空間Fd中有x和y兩個數(shù)據(jù)對象.當(dāng)兩個數(shù)據(jù)對象一致(x=y)時,合并兩個數(shù)據(jù)對象;若兩個數(shù)據(jù)對象不一致(x≠y)時,則計算其相關(guān)能值的公式為

(3)

算法1 基于能量和層次聚類的縫隙檢測

Step1 根據(jù)用戶需求,選定特定主題,并將數(shù)據(jù)對象集合分為num個數(shù)據(jù)分區(qū).

Step2 對數(shù)據(jù)分區(qū)進(jìn)行層次聚類操作.

a. 在數(shù)據(jù)分區(qū)中,先假定各數(shù)據(jù)對象相互獨立,然后使用式(3)計算類與類之間的相關(guān)能;

b. 設(shè)定類合并的條件(根據(jù)具體情況設(shè)定);

c. 將相關(guān)能由大到小排序,將相關(guān)能最大(滿足類合并條件)的兩個類合并成一個類;

d. 在數(shù)據(jù)分區(qū)中對新生成的類與其他類重新計算相關(guān)能;

e. 重復(fù)步驟c和d,直至無法再進(jìn)行類歸并為止.

Step3 對數(shù)據(jù)分區(qū)進(jìn)行層次聚類處理后,若數(shù)據(jù)分區(qū)不存在異常,則將其從原數(shù)據(jù)分區(qū)中減除.

Step4 重復(fù)執(zhí)行Step2和Step3,完成num個數(shù)據(jù)分區(qū)的所有檢測.

如果數(shù)據(jù)分區(qū)中存在異常數(shù)據(jù)對象,則單列該數(shù)據(jù)分區(qū),以便單獨分析和處理.

基于能量和層次聚類的縫隙檢測方法具有明顯的3大優(yōu)勢:(a)縫隙檢測的基本單位是數(shù)據(jù)分區(qū),不需要將所有的數(shù)據(jù)全部調(diào)入內(nèi)存,只需將要檢測的數(shù)據(jù)分區(qū)調(diào)入內(nèi)存即可;(b)計算數(shù)據(jù)對象間相關(guān)能的計算量取決于數(shù)據(jù)分區(qū)中的數(shù)據(jù)對象總數(shù),由于分區(qū)內(nèi)的數(shù)據(jù)對象總數(shù)相對較少,因此計算量大大減少;(c)數(shù)據(jù)對象集合中不存在縫隙的數(shù)據(jù)分區(qū)不需要進(jìn)行計算,因此整體的計算量也相應(yīng)減少.

縫隙檢測的目的并不在于通過檢測來消除它,而是在于發(fā)現(xiàn)縫隙與數(shù)據(jù)斷層之間主從關(guān)系所折射出來的數(shù)據(jù)對象之間變化的規(guī)律.如果這些數(shù)據(jù)對象是符合用戶最終需求的,那么縫隙檢測的分析結(jié)果就是數(shù)據(jù)斷層的分析結(jié)果;但是如果這些數(shù)據(jù)對象并不符合用戶的最終需求,則需要進(jìn)一步的數(shù)據(jù)聚合操作才能避免數(shù)據(jù)斷層的危害.

2.4 數(shù)據(jù)聚合

定義10 數(shù)據(jù)聚合 為了防止縫隙的存在對后續(xù)數(shù)據(jù)分析造成負(fù)面影響而進(jìn)行的各種操作,就是數(shù)據(jù)聚合.

數(shù)據(jù)聚合通過處理數(shù)據(jù)對象集合中存在的縫隙,降低縫隙對數(shù)據(jù)分析的不準(zhǔn)確性造成的影響.數(shù)據(jù)聚合操作有:對空白數(shù)據(jù)對象的處理、對格式不一致數(shù)據(jù)對象的處理、對重復(fù)數(shù)據(jù)對象的處理等.數(shù)據(jù)聚合是微觀數(shù)據(jù)斷層研究中的關(guān)鍵步驟,聚合數(shù)據(jù)對象集合中存在的縫隙是為后續(xù)的數(shù)據(jù)分析與優(yōu)化決策服務(wù)的.

數(shù)據(jù)聚合的示意圖如圖1所示.圖1(a)為數(shù)據(jù)對象集合的原始狀態(tài)圖,集合中存在明顯的縫隙且集合中數(shù)據(jù)對象排列混亂;通過數(shù)據(jù)聚合初步處理后的情形如圖1(b)所示,縫隙已經(jīng)被消除,數(shù)據(jù)排列趨于半結(jié)構(gòu)化,數(shù)據(jù)集合體積總體減小;當(dāng)對數(shù)據(jù)對象進(jìn)一步聚合操作后,就得到了更加統(tǒng)一化、規(guī)整化和結(jié)構(gòu)化的數(shù)據(jù)對象排列,如圖1(c)所示.

圖1 數(shù)據(jù)聚合示意圖

數(shù)據(jù)聚合的程度可以使用聚合率來表示

(4)

式中:dc表示通過數(shù)據(jù)聚合操作刪除的數(shù)據(jù)對象數(shù)量;dt表示數(shù)據(jù)對象集合中原有的數(shù)據(jù)對象數(shù)量.在實際應(yīng)用中,聚合率反映數(shù)據(jù)對象集合對用戶具體需求的滿足程度,即聚合率越低,符合要求的數(shù)據(jù)對象越多.

在具體應(yīng)用中,數(shù)據(jù)質(zhì)量、縫隙形態(tài)、聚合方法都會對數(shù)據(jù)聚合后的效果產(chǎn)生重要的影響.通常,數(shù)據(jù)對象結(jié)構(gòu)越良好,數(shù)值規(guī)范越準(zhǔn)確,數(shù)據(jù)聚合的效果越好;縫隙類型越單一,縫隙內(nèi)容越關(guān)聯(lián),數(shù)據(jù)聚合的操作越簡單.

基于能量和層次聚類的縫隙檢測方法能夠明確縫隙存在的位置以及縫隙具體的類型,采用不同的數(shù)據(jù)聚合方法可以處理不同類型的縫隙.

a. 聚合缺失數(shù)據(jù).

聚合缺失數(shù)據(jù)雖然操作簡單,但是選擇過程比較繁瑣,在具體應(yīng)用中主要有刪除法和填充法兩種可供選擇.對于缺失值的處理,從總體上來說分為刪除存在缺失值的個案[28]和缺失值插補[29-30].通常采用的填充法包括均值、同類均值、缺失值的預(yù)測、全局常量和人工等5種.

均值法是使用屬性的均值來填充缺失的數(shù)據(jù)項,這對于數(shù)據(jù)缺失現(xiàn)象比較均勻的情況特別適用;同類均值法是針對某種特定類型的數(shù)據(jù)發(fā)生缺失,將數(shù)據(jù)分類后以特定類型數(shù)據(jù)的均值作為缺失數(shù)據(jù)進(jìn)行填充;缺失值的預(yù)測法就是采用一些數(shù)據(jù)分析方法對缺失值進(jìn)行合理預(yù)測,選擇預(yù)測值最大的值進(jìn)行填充;全局常量法就是對每一個缺失值采用固定的全局常量來填充;在數(shù)據(jù)缺失情況比較嚴(yán)重的時候,通常采用人工操作,但其對于填充人的主觀依賴性過于明顯,存在較大的準(zhǔn)確性偏差.

b. 聚合噪聲數(shù)據(jù).

聚合噪聲數(shù)據(jù)通常采用分箱法[31]、聚類法[32]、回歸法[33]等諸多常規(guī)方法.

分箱法是對數(shù)據(jù)周圍的數(shù)據(jù)進(jìn)行分析,按照不同的取值方法來平滑數(shù)據(jù)的值;聚類法是將數(shù)據(jù)對象集合中的每個數(shù)據(jù)視為對象,按照相似程度把對象劃分到一個個類中,提高類內(nèi)對象的相似度,降低類間的相似度;回歸法是盡可能地利用稱為線性回歸方程的最小平方函數(shù)對一個或多個自變量和因變量之間關(guān)系進(jìn)行建模,從而推斷出不合理數(shù)據(jù)可能對應(yīng)的正確值.

c. 聚合重復(fù)數(shù)據(jù).

重復(fù)數(shù)據(jù)的處理通常采用把重復(fù)數(shù)據(jù)直接從數(shù)據(jù)對象集合中刪除的方法來實現(xiàn)消除數(shù)據(jù)冗余的目的.這不僅有利于降低數(shù)據(jù)對象的空間占有度,也有利于優(yōu)化數(shù)據(jù)對象的存儲容量.刪除重復(fù)數(shù)據(jù)主要有固定塊刪除法與可變塊刪除法兩種[34].

固定塊刪除法就是將數(shù)據(jù)劃分成長度固定的部分或塊,然后執(zhí)行刪除操作;可變塊刪除法就是根據(jù)一個大小可變的滑動窗口對存在的重復(fù)數(shù)據(jù)進(jìn)行刪除操作.

3 數(shù)據(jù)隱斷層

不同的數(shù)據(jù)對象其存儲方式也不同.正是由于存在數(shù)據(jù)對象維度的差異性,需要引入數(shù)據(jù)對象集合的數(shù)據(jù)密度(data density of set)這一概念來描述數(shù)據(jù)對象的分布情況[7].

定義11 數(shù)據(jù)對象集合的數(shù)據(jù)有效密度 假設(shè)將整個數(shù)據(jù)空間分為k個數(shù)據(jù)對象,假定某個數(shù)據(jù)對象由{a1,a2,…,an}組成,(n>0),amax和amin是數(shù)據(jù)對象中的最大和最小值,amax≠amin,則數(shù)據(jù)對象集合K的數(shù)據(jù)密度定義為數(shù)據(jù)對象集合K中所有數(shù)據(jù)值之和與其最大值和最小值的差值之比

(5)

在定義11的基礎(chǔ)上,進(jìn)一步定義數(shù)據(jù)對象集合的數(shù)據(jù)均值和數(shù)據(jù)對象集合的斷層概率.

定義12 數(shù)據(jù)對象集合的數(shù)據(jù)均值 數(shù)據(jù)對象集合K中所有數(shù)據(jù)值之和與其數(shù)據(jù)對象的數(shù)量之比定義為數(shù)據(jù)對象集合K的數(shù)據(jù)均值.

(6)

定義13 數(shù)據(jù)對象集合的斷層概率 對于數(shù)據(jù)對象集合K中任一數(shù)據(jù)值aj所對應(yīng)的數(shù)據(jù)對象Kaj,定義其在數(shù)據(jù)對象集合K中發(fā)生數(shù)據(jù)斷層的概率pKaj、數(shù)據(jù)密度dK和數(shù)據(jù)均值E(K)的關(guān)系

(7)

3.1 隱斷層偵測

隱斷層可能會因為用戶需求不同而不同,所以數(shù)據(jù)對象集合中某些隱斷層可以很容易地被偵測出來,例如采用觀察法或總結(jié)歸納法等,但是有些隱斷層的發(fā)現(xiàn)并不簡單.通常,需明確數(shù)據(jù)隱斷層定義,并計算出數(shù)據(jù)對象集合的信息熵,并將其與相應(yīng)閾值進(jìn)行比較才能得出結(jié)果.但是,從定義法來偵測隱斷層也存在著一些缺陷,例如隱斷層的狀態(tài)不能依據(jù)定義判斷出來.因此,本文采用基于定義與數(shù)據(jù)密度的斷層偵測(faultage detection on definition and data density)方法來對隱斷層的位置與程度進(jìn)行確定.

算法2 基于定義與數(shù)據(jù)有效密度的斷層檢測

Step 1 根據(jù)用戶的主題需求,將數(shù)據(jù)空間劃分為k個數(shù)據(jù)對象集合.

Step3 再次判斷用戶的實際要求,明確閾值T.

Step4 分別對各個數(shù)據(jù)對象集合的信息熵H(Xi)與閾值T進(jìn)行比較.如果信息熵H(Xi)小于閾值T,則判定數(shù)據(jù)對象集合存在隱斷層,否則不存在.

Step5 對于已偵測出存在隱斷層的數(shù)據(jù)對象集合,則需要根據(jù)定義11～13計算出數(shù)據(jù)對象集合的斷層概率,判斷隱斷層存在的確切位置.

基于定義與數(shù)據(jù)有效密度的斷層檢測方法中確定閾值T是至關(guān)重要的一步,針對不同的應(yīng)用情況,其確定的方法也不盡相同,本文不再贅述.不同的隱斷層數(shù)據(jù)需要不同的處理方法來配套.若隱斷層數(shù)據(jù)可以為用戶決策所服務(wù),對于這類隱斷層數(shù)據(jù)則需要將其提取出來進(jìn)行進(jìn)一步分析;若隱斷層數(shù)據(jù)是無意義的,那么采用數(shù)據(jù)熔合進(jìn)行處理即可.

3.2 數(shù)據(jù)熔合

隱斷層的存在并無好壞之分.隱斷層數(shù)據(jù)的處理方式依據(jù)用戶具體需要確定,可以進(jìn)行分析,也可以進(jìn)行消除.本文引入數(shù)據(jù)熔合來消除隱斷層數(shù)據(jù).

定義14 數(shù)據(jù)熔合 對不滿足用戶需要的數(shù)據(jù)進(jìn)行處理進(jìn)而獲得有價值的信息的過程定義為數(shù)據(jù)熔合.

數(shù)據(jù)熔合的過程與數(shù)據(jù)聚合的過程相類似,也主要由3大步驟組成(如圖2所示).但是在數(shù)據(jù)熔合中,非縫隙數(shù)據(jù)對象在熔合處理后自身會發(fā)生變化,包括隱斷層數(shù)據(jù)對象的隱藏或轉(zhuǎn)化.

經(jīng)過數(shù)據(jù)熔合初步處理后,邊緣數(shù)據(jù)對象排列得更加緊湊,同時減少了數(shù)據(jù)對象所占用的空間.對數(shù)據(jù)對象集合進(jìn)行大規(guī)模數(shù)據(jù)熔合后,隱斷層數(shù)據(jù)得到消除,數(shù)據(jù)對象按照相同主題進(jìn)行聚集,數(shù)據(jù)空間得到充分利用.數(shù)據(jù)熔合具體操作方法需要依據(jù)具體的應(yīng)用情況而采用合適的方法,大致分為3種[7].

圖2 數(shù)據(jù)熔合示意圖

a. 人工處理.

傳統(tǒng)的人工處理方法主要是借助類似SPSS,SAS等傳統(tǒng)的數(shù)據(jù)分析軟件工具來進(jìn)行.這種處理方法主要適用于數(shù)據(jù)量不大的情況,當(dāng)數(shù)據(jù)量較大時,這種方法效率十分低下,難以有效處理任務(wù).

b. 程序處理.

設(shè)計一個程序?qū)Υ嬖跀鄬拥臄?shù)據(jù)對象集合進(jìn)行分析處理,與人工處理方法相比,程序處理方法效率相對提高,可以處理較大容量的數(shù)據(jù)對象集合.但是,這種處理方法靈活性較差,程序嚴(yán)格依賴于數(shù)據(jù)結(jié)構(gòu)與屬性,不具有通用性,因此這種方式只在數(shù)據(jù)對象形式固定的情況下比較適用.

c. 領(lǐng)域無關(guān)處理.

采用與領(lǐng)域無關(guān)的數(shù)據(jù)熔合方式,表現(xiàn)形式較多,通常有屬性約簡[35]和數(shù)據(jù)規(guī)范化[36]兩種.

通常,數(shù)據(jù)對象集合中可能包括成百上千的數(shù)據(jù)屬性,但是數(shù)據(jù)挖掘只需涉及數(shù)據(jù)對象集合的極少一部分相關(guān)屬性并進(jìn)行相應(yīng)處理,從而降低整體的數(shù)據(jù)數(shù)量.

另外,在同一個數(shù)據(jù)屬性中,其數(shù)值波動的范圍可能十分巨大,這種情況會顯著降低一些數(shù)據(jù)挖掘算法的執(zhí)行性能和效率.因此,需要利用數(shù)據(jù)的規(guī)范化方法,盡可能把數(shù)據(jù)的屬性值映射到一個幅度不大的區(qū)間中[29].

4 針對電臺收聽數(shù)據(jù)的斷層分析實驗

本文以上?！皠痈?01”頻道的移動客戶端用戶訪問日志數(shù)據(jù)(以下簡稱“電臺數(shù)據(jù)”)為研究對象,對日志數(shù)據(jù)中可能存在的數(shù)據(jù)斷層進(jìn)行分析和處理.

本文的實驗數(shù)據(jù)是“動感101”電臺移動客戶端2013年4月8日0時到2013年4月14日24時的訪問日志數(shù)據(jù),來自源IP地址為222.***.***.167,222.***.***.207,222.***.***.208的服務(wù)器,總文件大小約為3.1 G.一條記錄為一個切片,且一個切片代表用戶進(jìn)行連續(xù)10 s的訪問操作.鑒于原始電臺數(shù)據(jù)的屬性較多,根據(jù)研究者實際的需求,只選擇了如表1所示的5個數(shù)據(jù)屬性進(jìn)行實驗.

表1 選擇的5個數(shù)據(jù)屬性

4.1 數(shù)據(jù)顯斷層分析和處理

根據(jù)算法1的檢測結(jié)果,“動感101”電臺數(shù)據(jù)的縫隙類型主要有缺失數(shù)據(jù)、噪聲數(shù)據(jù)和重復(fù)數(shù)據(jù).

缺失數(shù)據(jù)的主要表現(xiàn)為數(shù)據(jù)屬性ts是空的,這表示用戶并沒有下載切片流;噪聲數(shù)據(jù)的主要表現(xiàn)為數(shù)據(jù)屬性mobile顯示LiveRadioEncoder或者ChinaCache等字樣,表示這些記錄是由內(nèi)部編碼器向服務(wù)器發(fā)送音頻切片文件所產(chǎn)生的訪問記錄,而非真正的日志訪問記錄;重復(fù)數(shù)據(jù)的主要表現(xiàn)是存在一些每個數(shù)據(jù)屬性都相同的記錄,這類記錄大多是訪問頁面的信息,并沒有下載任何的切片流信息.

3臺服務(wù)器一周內(nèi)電臺數(shù)據(jù)所表現(xiàn)的3種縫隙數(shù)據(jù)統(tǒng)計信息如表2所示.

表2 一周縫隙數(shù)據(jù)統(tǒng)計

圖3(見下頁)顯示的是對電臺數(shù)據(jù)縫隙度的統(tǒng)計信息,電臺數(shù)據(jù)縫隙度基本在6.81%～10.98%之間波動.如圖3所示,4月8日(周一)到4月11日(周四)的縫隙度相對比較穩(wěn)定,而4月12日(周五)到4月14日(周日)的縫隙度明顯升高,可以猜測是由于用戶從周五開始到周日對電臺的收聽明顯減少,但應(yīng)用程序總量卻沒變,從而導(dǎo)致縫隙度變大.

對于實驗中提到的3種主要類型縫隙數(shù)據(jù),本實驗都分別進(jìn)行了數(shù)據(jù)聚合操作,根據(jù)特定的情況,主要采取刪除法.

4.2 數(shù)據(jù)隱斷層分析和處理

完成數(shù)據(jù)顯斷層的分析和處理后,按照算法2對“動感101”電臺數(shù)據(jù)進(jìn)行檢測.

為了擬合用戶的實際需求,將“動感101”電臺數(shù)據(jù)中國外IP地址訪問的數(shù)據(jù)記錄進(jìn)行了刪除,同時按照天為單位,對每天重復(fù)的國內(nèi)IP地址訪問的數(shù)據(jù)記錄也進(jìn)行了留一條的刪除操作,然后才對相應(yīng)遺留的用戶數(shù)進(jìn)行統(tǒng)計,并按照地理位置的劃分將數(shù)據(jù)對象劃分到9個地區(qū)的集合中.

圖3 電臺數(shù)據(jù)的縫隙度

圖4顯示了按照地理位置劃分的收聽人數(shù)分布情況.由于“動感101”是屬于上海地區(qū)的電臺,上海的用戶固然很多,再加上臨近上海的江蘇和浙江的用戶人數(shù),使得東部沿海地區(qū)的用戶數(shù)遠(yuǎn)遠(yuǎn)高于其他地區(qū)的用戶數(shù),從而導(dǎo)致東部沿海地區(qū)與其他地區(qū)在用戶數(shù)量上產(chǎn)生了斷層.

圖4 收聽用戶區(qū)域分布及其信息熵

同時,圖4顯示了9個地區(qū)集合的信息熵情況,大部分分布在0.30～0.35之間.9個地區(qū)的信息熵,其中有7個介于0.30～0.35之間,只有東部沿海和北部沿海低于0.30.如果根據(jù)實際需求將閾值定為0.30,那么存在數(shù)據(jù)斷層的就是東部沿海和北部沿海地區(qū).通常信息熵越大,數(shù)據(jù)斷層概率相對小,數(shù)據(jù)斷層數(shù)量和規(guī)模也相對小.

忽略其他不存在數(shù)據(jù)斷層的地區(qū),重點看一下存在數(shù)據(jù)斷層的東部沿海和北部沿海,再根據(jù)定義11～13計算各個地區(qū)中省市的斷層概率,如表3所示.在東部沿海地區(qū),考慮到在用戶數(shù)方面上海是浙江和江蘇的接近9倍,導(dǎo)致上海的數(shù)據(jù)隱斷層概率高達(dá)0.337 5.在北部沿海地區(qū),北京的用戶數(shù)是天津、河北和山東的4倍左右,導(dǎo)致北京的數(shù)據(jù)隱斷層概率高達(dá)0.160 4.

斷層概率的確定,對于數(shù)據(jù)隱斷層的確切位置給予了明確,并進(jìn)一步揭示了隱藏在數(shù)據(jù)背后的影響力問題.固然,IP地址標(biāo)識為上海的電臺數(shù)據(jù)本來就因為聽眾數(shù)量的關(guān)系占據(jù)著主導(dǎo)地位,但是通過斷層概率分析,IP地址標(biāo)識為北京的電臺數(shù)據(jù)盡管在人數(shù)上與浙江、江蘇相差較遠(yuǎn),但是其在區(qū)域性主導(dǎo)地位方面仍然具有重大影響力.

表3 東部沿海和北部沿海地區(qū)的斷層概率

5 結(jié) 論

作為實現(xiàn)管理決策變革的三要素之一,建立完善能夠和諧平衡各個信息系統(tǒng)之間數(shù)據(jù)斷層的機制一直以來是智能決策支持系統(tǒng)建設(shè)領(lǐng)域重要的研究內(nèi)容,并在眾多領(lǐng)域得到初步的實踐與應(yīng)用[2].本文選擇數(shù)據(jù)挖掘領(lǐng)域的“數(shù)據(jù)斷層”概念,分別探討和分析了數(shù)據(jù)顯斷層領(lǐng)域的縫隙現(xiàn)象和減少縫隙的數(shù)據(jù)聚合方法,以及數(shù)據(jù)隱斷層領(lǐng)域的隱斷層現(xiàn)象和減少隱斷層的數(shù)據(jù)熔合方法,并就具體案例的日志數(shù)據(jù)分析,對蘊含其中的數(shù)據(jù)顯斷層和隱斷層進(jìn)行了細(xì)節(jié)化論述.

整個數(shù)據(jù)顯斷層和隱斷層的分析處理過程對于引導(dǎo)用戶根據(jù)自身要求得到有用信息并進(jìn)行智能決策都具有良好的指導(dǎo)作用[37-39].因此,進(jìn)一步深化數(shù)據(jù)斷層的研究,有利于強化數(shù)據(jù)挖掘技術(shù)對于智能決策支持領(lǐng)域的支撐作用,有利于創(chuàng)新數(shù)據(jù)挖掘領(lǐng)域的研究.

[1] 趙枏.智慧的未來供應(yīng)鏈趨勢展望[EB/OL].(2011-10-15)[2015-07-22].http:∥articles.e-works.net.cn/scm/article91405.htm.

[2] 夏驕雄,汪晶玲,嚴(yán)琛瓊,等.數(shù)據(jù)斷層現(xiàn)象的研究[J].計算機應(yīng)用與軟件,2013,30(8):9-13.

[3] FLEISCHMANN A,SCHMIDT W,STARY C.Subject-oriented development of federated systems——a methodological approach[C]∥Proceedings of the 2014 40th EUROMICRO Conference on Software Engineering and Advanced Applications.Verona,Italy:IEEE Computer Society,2014:199-206.

[4] SHARMA D,SHADABI F.Multi-agents based data mining for intelligent decision support systems[C]∥Proceedings of the 2014 2nd International Conference on Systems and Informatics.Shanghai:IEEE Computer Society,2014:241-245.[5] ZHENG L,DHU W,MIN Y.Raw wind data preprocessing:a data-mining approach[J].IEEE Transactions on Sustainable Energy,2015,6(1):11-19.

[6] 夏驕雄.數(shù)據(jù)資源的聚類預(yù)處理[M].上海:上?？茖W(xué)普及出版社,2011:11.

[7] 汪晶玲.數(shù)據(jù)資源中數(shù)據(jù)斷層現(xiàn)象的研究[D].上海:上海大學(xué),2013.

[8] MILLER L D,SOH L K.Cluster-based boosting[J].IEEE Transactions on Knowledge and Data Engineering,2015,27(6):1491-1504.

[9] ZHANG H,CHEN G,OOI B C,et al.In-memory big data management and processing:a survey[J].IEEE Transactions on Knowledge and Data Engineering,2015,27(7):1920-1948.[10] ALGHASSI A,PERINPANAYAGAM S,SAMIE M,et al.Computationally efficient,real-time,and embeddable prognostic techniques for power electronics[J].IEEE Transactions on Power Electronics,2015,30(5):2623-2634.

[11] QIU F D,WU F,CHEN G H.Privacy and quality preserving multimedia data aggregation for participatory sensing systems[J].IEEE Transactions on Mobile Computing,2015,14(6):1287-1300.

[12] SHORE J E.Relative entropy,probabilistic inference,and AI[C]∥Proceedings of the First Annual Conference on Uncertainty in Artificial Intelligence.Los Angeles:Elsevier,1988:211-216.

[13] BERREZUETA E,GONZLEZ-MENNDEZ L,ORDEZ-CASADO B,et al.Pore network quantification of sandstones under experimental CO2injection using image analysis[J].Computers & Geosciences,2015,77:97-110.

[14] SSALI G,MARWALA T.Computational intelligence and decision trees for missing data estimation[C]∥Proceedings of the International Joint Conference on Neural Networks.Hong Kong:IEEE,2008:201-207.

[15] VATEEKUL P,SARINNAPAKORN K.Tree-based approach to missing data imputation[C]∥Proceedings of the IEEE International Conference on Data Mining Workshops.Miami,Florida:IEEE,2009:70-75.

[16] JIN W,TUNG A K H,HAN J W.Mining top-n local outliers in large databases[C]∥Proceedings of 7th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.San Francisco:ACM Press,2001:293-298.

[17] WANG Y T,FENG H Y.Outlier detection for scanned point clouds using majority voting[J].Computer-Aided Design,2015,62:31-43.

[18] XIONG H,PANDEY G,STEINBACH M,et al.Enhancing data analysis with noise removal[J].IEEE Transactions on Knowledge and Data Engineering,2006,18(3):304-319.

[19] CHOI J,KIM K E.Hierarchical bayesian inverse reinforcement learning[J].IEEE Transactions on Cybernetics,2015,45(4):793-805.[20] FERRO A,GIUGNO R,PUGLISI P L,et al.An efficient duplicate record detection using q-grams array inverted index[C]∥Proceedings of the 12th International Conference on Data Warehousing and Knowledge Discovery.Berlin Heidelberg:Springer,2010:309-323.[21] BILENKO M,MOONEY R J.Adaptive duplicate detection using learnable string similarity measures[C]∥Proceedings of the 9th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.Washington DC:ACM Press,2003:39-48.

[22] ELMAGARMID A K,IPEIROTIS P G,VERYKIOS V S.Duplicate record detection:a survey[J].IEEE Transactions on Knowledge and Data Engineering,2007,19(1):1-16.

[23] HONG Y S T,ROSEN M R,BHAMIDIMARRI R.Analysis of a municipal wastewater treatment plant using a neural network-based pattern analysis[J].Water Research,2003,37(7):1608-1618.

[24] NGUYEN T,PHUNG D,DAO B,et al.Affective and content analysis of online depression communities[J].IEEE Transactions on Affective Computing,2014,5(3):217-226.

[25] ZENG G M,LI X D,JIANG R,et al.Fault diagnosis of WWTP based on improved support vector machine[J].Environmental Engineering Science,2006,23(6):1044-1054.

[26] JOHNSON S.Optimization strategy of energy-description and collision-description clustering[J].Journal of Information and Computational Science,2011,8(8):1251-1260.

[27] BIAN M J,XIA J X,XU J.Database preprocessing with AHP[C]∥Proceedings of the 2010 7th International Conference on Fuzzy Systems and Knowledge Discovery.Yantai:IEEE Press,2010:2805-2809.

[28] MAYFIELD C S,NEVILLE J,PRABHAKAR S.ERACER:a database approach for statistical inference and data cleaning[C]∥Proceedings of the 2010 ACM SIGMOD International Conference on Management of Data.Indianapolis,Indiana:ACM Press,2010:75-86.

[29] KOTSIANTIS S B,KANELLOPOULOS D,PINTELAS P E.Data preprocessing for supervised learning[J].International Journal of Computer Science,2006,1(2):111-117.

[30] BRUHA I,FRANEK F.Comparison of various routines for unknown attribute value processing:the covering paradigm[J].International Journal of Pattern Recognition and Artificial Intelligence,1996,10(8):939-955.

[31] LUANGPAIBOON P,CHINDA K.Computer-based management of interactive data transformation systems using Taguchi’s robust parameter design[J].International Journal of Computer Integrated Manufacturing,2015,28(10):1030-1045.

[33] GHASSABEH Y A,RUDZICZ F.Noisy source vector quantization using kernel regression[J].IEEE Transactions on Communications,2014,62(11):3825-3834.

[34] WAGNER C,MILLER S,GARIBALDI J M,et al.From interval-valued data to general type-2 fuzzy sets[J].IEEE Transactions on Fuzzy Systems,2015,23(2):248-269.

[35] 葛浩,李龍澍,楊傳健.基于相對分辨能力的屬性約簡算法[J].系統(tǒng)工程理論與實踐,2015,35(6):1595-1603.

[36] XU Y W,HOU C H,YAN S F,et al.Fuzzy statistical normalization CFAR detector for non-rayleigh data[J].IEEE Transactions on Aerospace and Electronic Systems,2015,51(1):383-396.

[37] HSU D,JOHNSON S,HUI M.Data faultage in data resource[J].International Journal of Database Theory and Application,2015,8(6):271-284.

[38] 徐俊,夏驕雄,周時強.數(shù)據(jù)斷層分析在廣播電臺數(shù)據(jù)處理中的應(yīng)用[J].計算機應(yīng)用與軟件,2016,33(9):38-42,158.

[39] 夏驕雄,劉政,劉緒彬,等.基于快速應(yīng)用開發(fā)的功能點增量迭代模型[J].上海理工大學(xué)學(xué)報,2014,36(6):578-584.

(編輯:丁紅藝)

Research and Application of Dominant Data Faultage and Tacit Data Faultage

XIA Jiaoxiong1,2,3,4, WEI Qin2, MIAO Hui3, WU Xinlin5, XU Zhao3, JIN Yong3, GAO Weishan2

(1.Xianda College of Economics and Humanities,Shanghai International Studies University,Shanghai 200083,China;2.School of Optical-Electrical and Computer Engineering,University of Shanghai for Science and Technology,Shanghai 200093,China; 3.School of Computer Engineering and Science,Shanghai University,Shanghai 200444,China;4.Information Centre,Shanghai Municipal Education Commission,Shanghai 200003,China; 5.Department of Education Evaluation Research,Shanghai Education Evaluation Institute,Shanghai 200031,China)

As one of the three key bases for the alteration of management decision-making,the establishment and perfection of the mechanism of data faultage between different information systems is also one of the important research content for intelligent decision support systems.With the advent of the Internet+,all kinds of data resources are growing,the data faultage has become more obvious in several areas around our life.For further studies and practices on data faultage intellectual systems,taking the micro data faultage as a main analysis object,the dominant data faultage was defined as the data faultage between different information systems,and the tacit data faultage was defined as the data faultage existing in a single information system.In the dominant data faultage,the concept of pore was introduced as the data object with subject independence,and a data compaction technique was used to reduce the faultage property of pore.In the tacit data faultage,the data density was defined as the distribution of data objects,and a data pressure solution technique was used to reduce the space occupied by data objects.In the paper,the log data of mobile client application of “Shanghai Music Radio FM 101.7” was taken as an example and the dominant data faultage and the tacit data faultage were analyzed finely.

intelligent decision support system; micro data faultage; data aggregation; data fusion solution; crack detection; dominant data faultage; tacit data faultage

1007-6735(2016)05-0487-10

10.13255/j.cnki.jusst.2016.05.012

2016-03-07

國家自然科學(xué)基金資助項目(40976108,61303097);上海市重點學(xué)科建設(shè)資助項目(J50103);上海市第二期(2016年)民辦高?？蒲许椖?2016-SHNGE-08ZD);上海大學(xué)研究生創(chuàng)新基金資助項目(SHUCX070037,SHUCX120105)

夏驕雄(1973-),男,研究員.研究方向:數(shù)據(jù)挖掘、智能決策支持系統(tǒng)、教育信息化、計算機輔助教育.E-mail:jshardrom@shmec.gov.cn

TP 311.131;G 202

A