企業(yè)網(wǎng)站靜態(tài)頁(yè)面生成與全文檢索技術(shù)研究

李苑 李明

[摘? ? 要] 從企業(yè)網(wǎng)站中用戶經(jīng)常使用的信息瀏覽和信息檢索兩個(gè)需頻繁讀取數(shù)據(jù)庫(kù)的功能入手，介紹了可有效降低數(shù)據(jù)庫(kù)讀取頻率的靜態(tài)頁(yè)面生成技術(shù)和站內(nèi)全文檢索技術(shù)的原理和實(shí)現(xiàn)方式。

[關(guān)鍵詞] 企業(yè)網(wǎng)站;靜態(tài)頁(yè)面生成;全文檢索

doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2019. 03. 053

[中圖分類號(hào)] TP311? ? [文獻(xiàn)標(biāo)識(shí)碼]? A? ? ? [文章編號(hào)]? 1673 - 0194（2019）03- 0131- 03

0? ? ? 引? ? 言

企業(yè)網(wǎng)站是用戶了解企業(yè)的一個(gè)重要窗口，它可為企業(yè)提供信息發(fā)布、產(chǎn)品宣傳、數(shù)據(jù)采集以及電子商務(wù)等功能，成為企業(yè)與客戶及供應(yīng)商之間溝通交流的一個(gè)紐帶[1]。但是，隨著網(wǎng)站數(shù)據(jù)量和訪問(wèn)量的不斷增加，頻繁的數(shù)據(jù)庫(kù)讀寫操作將耗費(fèi)大量的服務(wù)器資源，給網(wǎng)站性能帶來(lái)嚴(yán)重的影響，進(jìn)而降低用戶的體驗(yàn)。在Web服務(wù)器性能不變的情況下，為有效降低數(shù)據(jù)庫(kù)的讀寫操作，可從用戶訪問(wèn)量最頻繁的信息瀏覽和信息檢索兩個(gè)方向入手，通過(guò)靜態(tài)頁(yè)面生成和站內(nèi)全文檢索技術(shù)的應(yīng)用來(lái)提高網(wǎng)站的響應(yīng)速度。

1? ? ? 靜態(tài)頁(yè)面生成技術(shù)

在企業(yè)網(wǎng)站的開發(fā)過(guò)程中，為方便網(wǎng)站內(nèi)容的日常維護(hù)，通常會(huì)采用動(dòng)態(tài)網(wǎng)頁(yè)技術(shù)。動(dòng)態(tài)網(wǎng)頁(yè)是以數(shù)據(jù)庫(kù)技術(shù)為基礎(chǔ)的一種網(wǎng)站開發(fā)技術(shù)，其URL后綴比較常見的有 aspx、jsp、php、asp等形式。近年來(lái)隨著MVC技術(shù)的快速發(fā)展，“control/action/id”形式URL格式也比較普遍。動(dòng)態(tài)網(wǎng)頁(yè)在運(yùn)行過(guò)程中，需將數(shù)據(jù)預(yù)先存儲(chǔ)到數(shù)據(jù)庫(kù)中，當(dāng)客戶通過(guò)瀏覽器向Web服務(wù)器發(fā)出HTTP請(qǐng)求時(shí)，服務(wù)器再根據(jù)請(qǐng)求執(zhí)行相應(yīng)的程序，從數(shù)據(jù)庫(kù)中讀取所需要的內(nèi)容并填充到動(dòng)態(tài)頁(yè)面中，然后再將運(yùn)行結(jié)果以HTML的格式傳送至客戶端瀏覽器，并解釋和顯示[2]。采用動(dòng)態(tài)網(wǎng)頁(yè)技術(shù)可以大大降低網(wǎng)站內(nèi)容的維護(hù)成本，如果需要修改已發(fā)布網(wǎng)站內(nèi)容，只需在管理頁(yè)面修改相應(yīng)的數(shù)據(jù)庫(kù)字段內(nèi)容即可。

企業(yè)網(wǎng)站發(fā)布的信息常常會(huì)有很大一部分發(fā)布出來(lái)后就很少出現(xiàn)更改的情況，如果采用動(dòng)態(tài)頁(yè)面技術(shù)，每請(qǐng)求一次就需要執(zhí)行一次數(shù)據(jù)的查詢和信息的轉(zhuǎn)換操作，而每次操作都需要消耗一定的服務(wù)器的資源，對(duì)于訪問(wèn)量較大的網(wǎng)站來(lái)說(shuō)，很容易出現(xiàn)服務(wù)器負(fù)擔(dān)過(guò)重的情況。為解決這一問(wèn)題，就出現(xiàn)了將動(dòng)態(tài)網(wǎng)頁(yè)轉(zhuǎn)換為靜態(tài)頁(yè)面的技術(shù)，并在很多大型網(wǎng)站上得到了應(yīng)用。靜態(tài)頁(yè)面擴(kuò)展名為html或htm，頁(yè)面存儲(chǔ)的內(nèi)容直接就是HTML格式的文件，不需要經(jīng)過(guò)服務(wù)器的編譯，直接根據(jù)請(qǐng)求將頁(yè)面中的HTML代碼傳遞到客戶端的瀏覽器即可顯示出來(lái)。因此，靜態(tài)頁(yè)面的訪問(wèn)速度比動(dòng)態(tài)頁(yè)面要快許多，而且，由于不需要像動(dòng)態(tài)頁(yè)面一樣執(zhí)行數(shù)據(jù)的查詢和轉(zhuǎn)換操作，所消耗的服務(wù)器資源也較低。但靜態(tài)頁(yè)面無(wú)法自動(dòng)更新，如果某個(gè)靜態(tài)頁(yè)面的內(nèi)容需要修改，只能在后臺(tái)管理頁(yè)面重新創(chuàng)建一次，故靈活性較差，也不便于控制其訪問(wèn)權(quán)限。因此，動(dòng)態(tài)頁(yè)面的靜態(tài)化技術(shù)只適合于應(yīng)用在不需要頻繁對(duì)頁(yè)面內(nèi)容進(jìn)行更新和權(quán)限控制的功能模塊中，如企業(yè)網(wǎng)站中的新聞發(fā)布功能模塊等。以下為.NET環(huán)境下一種將動(dòng)態(tài)頁(yè)面生成為靜態(tài)頁(yè)面的方法。

2? ? ? 站內(nèi)全文檢索技術(shù)

隨著企業(yè)網(wǎng)站各功能模塊中信息量的逐漸增加，如何利用關(guān)鍵詞快速地查找到所需信息也就成了網(wǎng)站要解決的關(guān)鍵問(wèn)題之一。對(duì)于小型的企業(yè)網(wǎng)站來(lái)說(shuō)，由于數(shù)據(jù)量不是太大，采用基于數(shù)據(jù)庫(kù)的模糊檢索方式就能滿足要求，即根據(jù)用戶輸入的關(guān)鍵詞構(gòu)建“select * from tableName where title like ‘%keyword%”等類型的檢索式即可從數(shù)據(jù)庫(kù)中檢索出滿足條件的數(shù)據(jù)。但這種檢索方式只適合檢索結(jié)構(gòu)化數(shù)據(jù)，無(wú)法對(duì)文本、圖片等非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行檢索。而且，在使用like查詢時(shí)，需要對(duì)數(shù)據(jù)庫(kù)表格中相關(guān)字段的內(nèi)容全部檢索一次，在數(shù)據(jù)量較大的環(huán)境下，like查詢對(duì)系統(tǒng)性能的影響是相當(dāng)大的。如果是需要對(duì)多個(gè)關(guān)鍵詞進(jìn)行模糊匹配：like"%keyword1%" and like "%keyword2%"，其檢索效率將會(huì)成倍較低，所耗費(fèi)的服務(wù)器資源也會(huì)成倍增加。

為解決傳統(tǒng)數(shù)據(jù)檢索方式存在的效率低下問(wèn)題，以Lucene為代表的站內(nèi)全文檢索技術(shù)也就應(yīng)運(yùn)而生。Lucene 的檢索過(guò)程實(shí)際上就是把模糊查詢變成可以利用索引進(jìn)行精確查詢的過(guò)程[3]，就如查字典，只需要從索引目錄中找出所查字符的頁(yè)碼即可實(shí)現(xiàn)精確定位，不需要一頁(yè)一頁(yè)的去搜尋，極大地提升了數(shù)據(jù)檢索的效率和準(zhǔn)確性。全文檢索的實(shí)現(xiàn)過(guò)程主要分為索引創(chuàng)建和搜索索引兩個(gè)步驟。其中，索引創(chuàng)建就是將結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的特征信息提取出來(lái)并儲(chǔ)存到創(chuàng)建好的索引庫(kù)中;搜索索引就是根據(jù)用戶需要查詢的關(guān)鍵詞，從索引庫(kù)中搜索出滿足條件的記錄，然后將查詢結(jié)果返回給用戶。

索引庫(kù)的建立是全文檢索的關(guān)鍵技術(shù)點(diǎn)，假設(shè)某個(gè)文檔集合里面有100篇文檔，為了方便表示，將文檔從1到100進(jìn)行編號(hào)，每個(gè)編號(hào)代表一篇文檔，然后將每篇文檔的關(guān)鍵信息提取出來(lái)，得到下面的索引結(jié)構(gòu)（見圖1）。左邊保存的是反映文檔關(guān)鍵信息的一系列字符串，稱為詞典。每個(gè)字符串所指向的是包含此字符串的文檔鏈表，這一文檔鏈表稱為倒排表。一篇文檔可以擁有詞典中的多個(gè)字符串。

當(dāng)索引庫(kù)建立起來(lái)后，就可通過(guò)從索引庫(kù)中搜索相關(guān)的關(guān)鍵詞來(lái)查找所需要的信息。

比如，如果我們要尋找既包含字符串“知識(shí)”又包含字符串“經(jīng)濟(jì)”的文檔，只需要執(zhí)行以下三步：①取出包含字符串“知識(shí)”的文檔鏈表。②取出包含字符串“經(jīng)濟(jì)”的文檔鏈表。③對(duì)以上兩個(gè)文檔鏈表進(jìn)行合并，就可找出既包含“知識(shí)”又包含“經(jīng)濟(jì)”的文檔為3、10、31這三篇文檔。然后將這三篇文檔的信息返回給用戶即完成了檢索（見圖2）。

從以上全文檢索的原理可以看出，全文檢索中創(chuàng)建索引的過(guò)程只需一次，以后每次搜索數(shù)據(jù)的時(shí)候，只需從創(chuàng)建好的索引庫(kù)中搜索相應(yīng)的關(guān)鍵詞就可以了，而且還可以根據(jù)相似度算法對(duì)檢索結(jié)果進(jìn)行排序，不必像數(shù)據(jù)庫(kù)模糊查詢一樣重新遍歷一次數(shù)據(jù)庫(kù)中的全部數(shù)據(jù)。

3? ? ? 結(jié)? ? 語(yǔ)

對(duì)于訪問(wèn)量和數(shù)據(jù)量較大的企業(yè)網(wǎng)站來(lái)說(shuō)，靜態(tài)頁(yè)面生成技術(shù)和站內(nèi)全文檢索技術(shù)的應(yīng)用可有效提升網(wǎng)站的整體性能，為用戶帶來(lái)更好的使用體驗(yàn)。其中，靜態(tài)頁(yè)面生成主要是降低動(dòng)態(tài)頁(yè)面運(yùn)行過(guò)程中不斷進(jìn)行數(shù)據(jù)庫(kù)的查詢和數(shù)據(jù)轉(zhuǎn)換操作給服務(wù)器資源帶來(lái)的不必要耗費(fèi)，提高頁(yè)面的響應(yīng)速度。站內(nèi)全文檢索技術(shù)主要是解決了傳統(tǒng)的基于數(shù)據(jù)庫(kù)模糊查詢而帶來(lái)的問(wèn)題，提升了數(shù)據(jù)檢索的效率和準(zhǔn)確性。

主要參考文獻(xiàn)

[1]鄧三鴻，楊建林，潘有能，等.企業(yè)門戶網(wǎng)站中的數(shù)據(jù)挖掘研究[J]. 情報(bào)學(xué)報(bào)，2003，22（1）：40-45.

[2]白金牛，李慧萍，王培吉. ASP.NET下利用動(dòng)態(tài)網(wǎng)頁(yè)技術(shù)生成靜態(tài)HTML頁(yè)面的方法[J]. 計(jì)算機(jī)應(yīng)用與軟件，2008，25（1）：79-81.

[3]郎小偉，王申康.基于Lucene的全文檢索系統(tǒng)研究與開發(fā)[J]. 計(jì)算機(jī)工程，2006，32（4）：94-99.