數(shù)據(jù)挖掘技術(shù)在電子政務(wù)系統(tǒng)中的應(yīng)用

福建省經(jīng)濟(jì)信息中心 莊仁團(tuán)

?

數(shù)據(jù)挖掘技術(shù)在電子政務(wù)系統(tǒng)中的應(yīng)用

福建省經(jīng)濟(jì)信息中心 莊仁團(tuán)

分析了電子政務(wù)數(shù)據(jù)的特點(diǎn)，介紹了數(shù)據(jù)挖掘方法，結(jié)合幾個(gè)可能的應(yīng)用例子，探討了電子政務(wù)數(shù)據(jù)挖掘的實(shí)現(xiàn)。

電子政務(wù) 數(shù)據(jù)挖掘

1 引言

信息技術(shù)的迅速發(fā)展和成熟，使得電子政務(wù)應(yīng)用不斷深化。電子政務(wù)能夠輔助政府更好地為公眾服務(wù)，也能滿足人們對(duì)政府和職能部門高效運(yùn)轉(zhuǎn)的要求。

從全國(guó)范圍看，經(jīng)過(guò)多年的實(shí)踐，電子政務(wù)建設(shè)和應(yīng)用初見(jiàn)成效。各級(jí)政府在不同的層面建設(shè)和實(shí)現(xiàn)了不同的功能。這其中建立和獲取了很多數(shù)據(jù)。這些數(shù)據(jù)中具有一些知識(shí)。但目前的系統(tǒng)只是實(shí)現(xiàn)數(shù)據(jù)的輸入、查詢、統(tǒng)計(jì)等功能，還沒(méi)有能夠從中挖掘這些知識(shí)。充分利用這些數(shù)據(jù)，挖掘其中的知識(shí)，將能夠?yàn)檎臎Q策提供更好的支持，能夠更好地滿足快速有效服務(wù)大眾的要求。

2 電子政務(wù)數(shù)據(jù)的特點(diǎn)

電子政務(wù)涉及面廣，因此擁有的數(shù)據(jù)也是海量而復(fù)雜的。歸納起來(lái)看，電子政務(wù)數(shù)據(jù)有下面這些特點(diǎn)：

2.1 數(shù)據(jù)種類多。政府事務(wù)和管理涉及很多方面。因此數(shù)據(jù)類型也豐富。這些數(shù)據(jù)有統(tǒng)計(jì)數(shù)字、文本、圖像、視頻、音頻等。數(shù)據(jù)種類多也使得數(shù)據(jù)的格式多樣。

2.2 海量數(shù)據(jù)。電子政務(wù)面向的用戶廣，業(yè)務(wù)繁多。隨著系統(tǒng)的運(yùn)行，每天由文本、圖像、音頻、視頻等組成的數(shù)據(jù)，以及網(wǎng)絡(luò)服務(wù)器訪問(wèn)記錄、瀏覽器日志記錄、用戶個(gè)人信息、用戶對(duì)話等生成的數(shù)據(jù)量巨大。

2.3 數(shù)據(jù)的動(dòng)態(tài)性。在電子政務(wù)系統(tǒng)運(yùn)行過(guò)程中，各種數(shù)據(jù)庫(kù)中的數(shù)據(jù)都在不斷擴(kuò)充和增加。

3 數(shù)據(jù)挖掘方法

應(yīng)用數(shù)據(jù)挖掘時(shí)涉及兩個(gè)方面的問(wèn)題。第一是算法層面。第二是實(shí)現(xiàn)層面。

在算法層面，數(shù)據(jù)挖掘主要來(lái)源于機(jī)器學(xué)習(xí)、模式識(shí)別等人工智能算法。這包括關(guān)聯(lián)規(guī)則、分類、聚類等算法。

（1）關(guān)聯(lián)規(guī)則挖掘：其目的就是為了挖掘出隱藏在數(shù)據(jù)間的相互關(guān)系。

（2）分類：分類算法的輸入集是一組樣本集合和幾種類別標(biāo)記。首先為每一個(gè)樣本賦予一個(gè)標(biāo)記，然后訓(xùn)練一個(gè)分類器。最后對(duì)新樣本進(jìn)行分類。

（3）聚類分析：聚類分析法的輸入是一組未標(biāo)記類別的樣本，也就是說(shuō)此時(shí)輸入的樣本還沒(méi)有進(jìn)行任何分類。其目的是根據(jù)一定的規(guī)則，合理地劃分樣本。而所依據(jù)的這些規(guī)則是由聚類分析算法定義的，例如，可以是一個(gè)準(zhǔn)則函數(shù)，可以是一條經(jīng)驗(yàn)規(guī)則等。

另外，數(shù)據(jù)挖掘還有一個(gè)重要的任務(wù)就是將結(jié)果呈現(xiàn)給用戶，這需要一些機(jī)器學(xué)習(xí)的技術(shù)和其他計(jì)算機(jī)技術(shù)。

在實(shí)現(xiàn)層面，不僅僅要考慮數(shù)據(jù)，還要考慮數(shù)據(jù)的存放。由于很多的數(shù)據(jù)是存放在數(shù)據(jù)庫(kù)中，因此，不可避免需要采用數(shù)據(jù)庫(kù)技術(shù)從而使數(shù)據(jù)挖掘算法能夠更好地實(shí)現(xiàn)和更高效的運(yùn)行。

電子政務(wù)系統(tǒng)是一個(gè)大的系統(tǒng)，涉及的數(shù)據(jù)多而且豐富，用戶眾多，訪問(wèn)頻繁。因此，電子政務(wù)系統(tǒng)通常會(huì)采用數(shù)據(jù)庫(kù)。所以，在設(shè)計(jì)和實(shí)現(xiàn)挖掘算法的時(shí)候，需要充分采用數(shù)據(jù)庫(kù)技術(shù)，從而使數(shù)據(jù)挖掘能更好地運(yùn)行。

4 電子政務(wù)系統(tǒng)中的數(shù)據(jù)挖掘功能

形象地說(shuō)，數(shù)據(jù)挖掘就是從大量數(shù)據(jù)中挖掘知識(shí)的過(guò)程。根據(jù)電子政務(wù)系統(tǒng)的特點(diǎn)，我們這里給出幾種可能從中挖掘到的知識(shí)的類型。

4.1 用戶關(guān)注熱點(diǎn)的發(fā)現(xiàn)

在電子政務(wù)網(wǎng)站上，有大量的政策、法規(guī)、通告、新聞等文件。用戶會(huì)根據(jù)自己的喜好點(diǎn)擊、瀏覽和下載這些文件。通過(guò)網(wǎng)絡(luò)日志可以記錄這些數(shù)據(jù)。這些數(shù)據(jù)可以給我們提供一些信息。

通過(guò)對(duì)這些數(shù)據(jù)的分析，我們可以知道，在一段時(shí)間內(nèi)，大多數(shù)用戶對(duì)哪些，或者哪類的文件有興趣。由此可以確定用戶的關(guān)注熱點(diǎn)是什么。

不僅如此，根據(jù)對(duì)不同時(shí)間段內(nèi)用戶關(guān)注熱點(diǎn)的跟蹤和分析，還可以發(fā)現(xiàn)用戶關(guān)注熱點(diǎn)的變化。這些變化能給政府部門人員提供豐富的信息，也可以促使我們尋找變化原因，從而及時(shí)作出相應(yīng)改進(jìn)以適應(yīng)這些變化。

4.2 用戶使用電子政務(wù)系統(tǒng)的模式發(fā)現(xiàn)

用戶在訪問(wèn)電子政務(wù)系統(tǒng)時(shí)，會(huì)以自己喜歡的方式進(jìn)行操作。根據(jù)網(wǎng)絡(luò)日志，發(fā)現(xiàn)用戶這些操作的模式，有助于改進(jìn)電子政務(wù)系統(tǒng)。

用戶的操作模式包括兩種類型。一種是大眾的操作模式，一種是個(gè)人的操作模式。

大眾的操作模式是指一段時(shí)間來(lái)，大多數(shù)用戶對(duì)于某一類功能的操作模式。發(fā)現(xiàn)這些模式，可以讓我們了解大多數(shù)人是怎樣操作的。由此可以啟發(fā)我們分析目前的系統(tǒng)設(shè)計(jì)是否存在問(wèn)題，是否存在改進(jìn)的可能。

個(gè)人的操作模式是指?jìng)€(gè)人在一段時(shí)間的操作習(xí)慣。根據(jù)日志的記錄，可以持續(xù)對(duì)一些用戶進(jìn)行分析，發(fā)現(xiàn)其個(gè)人操作模式。個(gè)人的操作模式和大眾的操作模式可能不同。由此我們可以考慮設(shè)計(jì)面向不同用戶的，或者說(shuō)是用戶自適應(yīng)的政務(wù)系統(tǒng)。

4.3 用戶提交文件的搜索

一些電子政務(wù)系統(tǒng)允許用戶提交電子文件。數(shù)據(jù)挖掘算法可以對(duì)這些數(shù)據(jù)進(jìn)行分析，以提供更好的服務(wù)。

例如：在公務(wù)員招考過(guò)程，系統(tǒng)接收到很多報(bào)考者填報(bào)的數(shù)據(jù)。數(shù)據(jù)挖掘系統(tǒng)可以首先對(duì)這些大量的數(shù)據(jù)進(jìn)行分析。一方面可以提醒某些粗心的報(bào)考者，他們填報(bào)的數(shù)據(jù)可能缺少相關(guān)的要素。另一方面，還可以從這些大量的數(shù)據(jù)中搜索，自動(dòng)挑選出符合要求的報(bào)考者以供選擇。

5 數(shù)據(jù)挖掘在電子政務(wù)系統(tǒng)中的實(shí)現(xiàn)

要使用和實(shí)現(xiàn)應(yīng)用于電子政務(wù)的數(shù)據(jù)挖掘算法，還需要做以下幾點(diǎn)。

5.1 數(shù)據(jù)預(yù)處理

數(shù)據(jù)預(yù)處理是數(shù)據(jù)挖掘中的重要步驟。由于數(shù)據(jù)存在大量噪聲等，直接使用數(shù)據(jù)挖掘算法很難得到有用的知識(shí)。因此，在使用數(shù)據(jù)挖掘算法前，需要對(duì)數(shù)據(jù)做預(yù)處理：去除噪聲。

不同的數(shù)據(jù)挖掘算法對(duì)數(shù)據(jù)的格式有要求。為了使用某些數(shù)據(jù)挖掘算法，就需要對(duì)數(shù)據(jù)預(yù)處理，從而得到適當(dāng)?shù)臄?shù)據(jù)格式。如，有的算法需要數(shù)據(jù)是向量，有的可以處理字符串。為此，需要對(duì)數(shù)據(jù)格式做相應(yīng)的處理。

5.2 數(shù)據(jù)挖掘的實(shí)現(xiàn)

挖掘算法是數(shù)據(jù)挖掘中最核心的內(nèi)容。在一些系統(tǒng)中可以用通常的技術(shù)實(shí)現(xiàn)算法。但是，電子政務(wù)系統(tǒng)具有自身的一些特點(diǎn)，因此，在實(shí)現(xiàn)算法方面，我們還需要有更多的考慮。

5.2.1增量數(shù)據(jù)挖掘

由于電子政務(wù)系統(tǒng)的數(shù)據(jù)不斷擴(kuò)大，因此需要設(shè)計(jì)增量式的數(shù)據(jù)挖掘方法。

增量數(shù)據(jù)挖掘是指當(dāng)算法在已有的數(shù)據(jù)上挖掘出一些知識(shí)后，只需要根據(jù)新得到的擴(kuò)充的數(shù)據(jù)來(lái)調(diào)整原來(lái)的知識(shí)的算法。這樣就可以避免使用所有的數(shù)據(jù)重新挖掘的繁瑣過(guò)程。從而可以節(jié)省時(shí)間，快速得到結(jié)果。

5.2.2 并行數(shù)據(jù)挖掘

由于電子政務(wù)系統(tǒng)的數(shù)據(jù)量龐大，因此常常需要通過(guò)并行算法來(lái)實(shí)現(xiàn)挖掘算法。

海量數(shù)據(jù)信息的并行實(shí)現(xiàn)是當(dāng)前的一個(gè)熱點(diǎn)。用于數(shù)據(jù)挖掘的并行處理技術(shù)可將一個(gè)復(fù)雜的算法分解為多個(gè)子過(guò)程，每個(gè)子過(guò)程可以并行執(zhí)行，這樣可以大大加速數(shù)據(jù)挖掘的過(guò)程。也可以利用一臺(tái)計(jì)算機(jī)上的多核并行計(jì)算。

另外，電子政務(wù)中一些數(shù)據(jù)是分布在不同的計(jì)算機(jī)上的。因此，可以在各自的計(jì)算機(jī)上進(jìn)行挖掘，然后將其有機(jī)地融合在一起。

云計(jì)算是當(dāng)前的熱點(diǎn)技術(shù)。我們還可以考慮把云計(jì)算技術(shù)應(yīng)用于數(shù)據(jù)挖掘。

6 結(jié)語(yǔ)

數(shù)據(jù)挖掘是電子政務(wù)系統(tǒng)的一個(gè)重要組成部分，可以為各級(jí)政府的決策提供科學(xué)的依據(jù)，從而提高各項(xiàng)政策制訂的科學(xué)性和合理性。

我們?cè)诒疚闹兄皇巧婕傲穗娮诱?wù)系統(tǒng)中數(shù)據(jù)挖掘的幾個(gè)問(wèn)題。特別是我們給出了幾個(gè)可能的應(yīng)用。其目的是啟發(fā)我們對(duì)這一問(wèn)題進(jìn)行深入思考。隨著電子政務(wù)系統(tǒng)的運(yùn)行，我們對(duì)其中的數(shù)據(jù)挖掘功能會(huì)有更為迫切的需求。

[1] 李鵬飛. 基于數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)挖掘技術(shù)的電子政務(wù)建設(shè)[J]. 現(xiàn)代電子技術(shù)，2004, (4): 1-3.

[2] 孫正興，戚魯. 電子政務(wù)原理與技術(shù)[M]. 北京：人民郵電出版社，2003.

[3] 蘇新寧，吳鵬，朱曉峰等. 電子政務(wù)技術(shù)[M]. 北京：國(guó)防工業(yè)出版社，2003.

[4] 金江軍，潘懋. 電子政務(wù)數(shù)據(jù)資源的開(kāi)發(fā)利用[J]. 地理與地理信息科學(xué)，2003, 19（6）：42-46.

[5] 裴韜，周成虎，駱劍承等. 空間數(shù)據(jù)知識(shí)發(fā)現(xiàn)研究進(jìn)展述評(píng)[J]. 中國(guó)圖象圖形學(xué)報(bào):A輯， 2001，(9): 854-860.

[6] 陳侃. 基于數(shù)據(jù)倉(cāng)庫(kù)技術(shù)的電子政務(wù)資源庫(kù)[J]. 計(jì)算機(jī)工程，2004，30(5):81-83，89.