數(shù)據(jù)挖掘中web文檔轉換算法的設計與實現(xiàn)

摘要：在數(shù)據(jù)挖掘的技術中，Web文檔是一種極為重要的網(wǎng)絡信息處理技術，怎么樣把Web的文檔轉換成為所需要的數(shù)據(jù)挖掘的格式，是一項非常重要的課題。

關鍵詞：數(shù)據(jù)挖掘；Web文檔；詞典；信息服務中心

中圖分類號：TP311.13 文獻標識碼：A 文章編號：1007-9599 （2012） 20-0000-02

目前對于web它屬于世界性的信息服務中心，它所涉及的方面非常的廣泛，包括了金融管理、電子商務、廣告新聞、政府、教育、消費等許多的信息服務，能夠提供足夠的資源給予數(shù)據(jù)挖掘，是信息的綜合體?，F(xiàn)在研究web數(shù)據(jù)挖掘的人也越來越多，本文研究的是我們從國際互聯(lián)網(wǎng)絡上下載了大量的信息網(wǎng)頁文件，現(xiàn)在要將你所下載的網(wǎng)頁文件轉換成你所需要的文本文件。接著進行一些詞頻的統(tǒng)計去掉高頻詞、刪除非用詞，在來進行相應的處理，最終將生成Database的數(shù)據(jù)格式。

1 轉化前問題的猜想

1.1 問題的提出

國際互聯(lián)網(wǎng)絡上存在著異構性和開放性的特點，因此許多用戶在WWW上很難很快和準確的獲取所需的信息。如何能夠快速有效的獲取你所需要的信息，就涉及到了數(shù)據(jù)挖掘和信息檢索兩個方面，目前用于英文文檔聚類的許多，其中使用最為廣泛的是Reuters語料庫。而對于Web數(shù)據(jù)文檔是不能夠直接的分類分聚的，需要進行一定的處理，將Web文檔中的圖像、文本及腳本等轉換成你所需要的格式，以便為后面數(shù)據(jù)挖掘的分聚類做好準備。

1.2 設計的問題

一般的我們可以通過以下幾個步驟對Web文檔進行處理：

（1）先將你下載的網(wǎng)頁文件進行分類。（2）整理分類好文件之后再把這些文件轉換成為文本文件，把文件中tag、front、table等類的標志去除掉。（3）第三步也是最為重要和關鍵的一步，通過對這些文件中的數(shù)據(jù)進行詞頻的統(tǒng)計，去掉高頻詞、刪除非用詞。在來進行單詞的詞根處理，建立詞表，抽取所需要的詞，通過字母的排序建立索引，最后在來生成所需的Database的數(shù)據(jù)格式。比如非用詞能夠看做是一組無關緊要的詞如for、a、with等它們都屬于非用詞，詞頻出現(xiàn)的頻率雖然非常高，但是起不到多大的作用，可以看做虛詞的給與去除。

1.3 算法的設計

在詞典的文件中只包含著單詞的原型，因此需要把文件中的實詞都轉化成原型，在來從詞典中提取詞干的檢測出單詞的序號。一般提取詞干我們可以把它分為以下這幾步：（1）去掉單詞中的復數(shù)、-ing、-ed等形式的單詞，如ties-ti，caresses-caress，matting-mat，milling-mill，agreed-agree等。（2）如果我們在詞干中發(fā)現(xiàn)還含有另外一個元音字母的時候，就需要把單詞末端的y改成i。（3）把含有雙后綴的單詞改為單后綴，例如enci-ence，ization-ize，iveness-ive等。（4）這步的步驟與上一步的步驟有些相同，是處理-full，-ic，-ness等。像-iciti-i，-lize-al，-cal-ic，-ul直接去掉，-cate-ic，-ative直接去掉。（5）這一步主要是去掉如-ant，-ible，-ence，-able，-ous，-ize等。（6）當存在著輔音序列和元音序列的個數(shù)都大于一的時候，去掉最后的一個e。因為在Word，dic的文件時很大的，存放著許多的單詞及單詞的ID，如果每一次都是對Word，dic文件進行從頭到尾掃描的話這樣檢索的速度是會非常的慢，因此未來加快檢索的速度還需要進行另一種檢索進行輔助。按照字母順序的排列，可以建立這種算法：（7）字典和字典中存在的ID存放到一個結構體的wd文檔中。（8）在把該文檔中的單詞進行分類和分段的索引，按照a、b、c、d…….z的順序進行二十六段。對該文檔進行一次掃描，確定每段的開始位置及結束的位置，為每段建立一個索引。（9）如果有些單詞需要到文檔中區(qū)尋找，我們可以根據(jù)文檔中的第一個單詞去尋找，確定在字典中的那一段去尋找，而不需要翻遍整個字典，這樣的話就大大節(jié)省了時間和降低了檢索的難度。

2 設計問題的實現(xiàn)

對于web的文檔處理需要經(jīng)過以下這幾個步驟，①對于從Internet下載來的資料文件，應該要進行劃分。②目前信息化的社會有許多的現(xiàn)成的軟件可以將網(wǎng)頁文件轉換成文本文件。像現(xiàn)在運用比較廣泛的是HTML2TXT軟件，并且像這種軟件大部分都是大同小異的，都能夠將網(wǎng)頁文件轉換成文本文檔，并且還能夠去掉一些網(wǎng)頁上的標志。③目前實現(xiàn)文檔的轉換方法一般用的是純C++語言來完成的。在建立兩個以h的文件在分別命名為WordDic.h.和WordVce.h。

WordDic.h屬于字典文件類，包括了建立和查找索引及字典文件的讀取等功能，一個是用建立和查找的索引的函數(shù)（CString Key）另外一個是讀的成員函數(shù)bool _fastcall ReadDic。用C++語言編寫存在著如下的部分代碼。

{ CString c=key；

Char firstChar=c[0]；

Int I，d；

If（firstChar>=0 firstChar<=9）//if

The first character is a digital

{ For（i=index[0]； i

If（Key==word[i].str）reture word [i]，NO；

If（i==index[1]）return-1；//unable to find

}

Else //if the first character is a letter

{ d=firstChar-a+1；//offset

For（i=index[d]；i

If（key==word[i].str）return word[i].No；

If（i==index[d+1]）reture-1；//unable to find ……}return-1；}

WordVec.h它是屬于字符向量類，能夠從你所保存的文檔中提取你所需的單詞，然后在按照設計分六步來處理這個提取的單詞，提取詞干去除后綴，并在對這個文件下定義并分類，這個定義的的文檔也定義了多個成員函數(shù)，并對每個所所定義的函數(shù)給出注解表明函數(shù)的功能。

3 從問題中得到的結論

通過上面的算法，對于將互聯(lián)網(wǎng)絡上下載的資料轉換成為文本文檔，需要通過C++的的文檔進行轉換系統(tǒng)，并且同時去掉其中含有的tag等標志，在來將它轉換成所需的Database的格式，在對Web的文檔中設計算法的時候，就需要考慮到算法的性能和效率。在轉換的時候速度是很快的，因此在算的時候需要處理大數(shù)據(jù)集。并且還可以在這個文檔計算出詞頻，在根據(jù)算法轉換成權值，再來進行降維，使得每一篇文章的文檔都有著一樣的維數(shù)?？梢员硎境蔀閂=（ ……， ）的形式。在數(shù)據(jù)的中Web文檔的轉換分類分聚做好充分的準備。

結束語：Web它所設計的范圍非常的廣泛，涉及到金融管理、新聞官告、信息管理、政府教育及消費等，是信息的服務中心，也是信心的綜合體。因此對于Web的文檔轉換也變的尤為重要。

參考文獻：

[1]范明，孟曉峰.數(shù)據(jù)挖掘概念與技術[M].機械工業(yè)出版社.2004，5.

[2]趙小龍.WEB數(shù)據(jù)文檔的研究與應用[J].安徽科技大學出版社.2007，7.

[3]李超峰.WEB數(shù)據(jù)挖掘的數(shù)據(jù)資源分析[J].中國民族大學報.