企業(yè)級搜索引擎中結果聚類和查詢補全技術研究

王偉桃

【摘? 要】 隨著時代的發(fā)展，傳統(tǒng)搜索引擎已無法滿足用戶的需求，為適應新時代的潮流，相關技術人員需要不斷進行創(chuàng)新，從用戶體驗出發(fā)，對技術以及應用方面進行優(yōu)化，從而實現(xiàn)企業(yè)級搜索引擎中結果聚類和查詢補全技術，該技術可以在很大程度上提升系統(tǒng)應用的有效性，且具有更高可靠性，同時，也可以滿足智能時代的需求。

【關鍵詞】 企業(yè)級搜索引擎；搜索結果聚類；查詢補全技術

一、企業(yè)級搜索引擎系統(tǒng)總體結構

企業(yè)級搜索引擎與傳統(tǒng)搜索引擎之間存在一定的差異性，在實際應用的過程中，傳統(tǒng)搜索引擎更重視搜索的廣度，而企業(yè)級搜索引擎更重視搜索的精確性（如圖1所示），兩者分別為不同領域提供了強有力的支持。

企業(yè)級搜索引擎的六大模塊如下：

1. 管理模塊：其主要是對整體系統(tǒng)進行管理，接收不同管理節(jié)點發(fā)出的不同命令，避免人工干預，并對搜索信息等進行記錄。

2. 采集模塊：其主要工作是收集互聯(lián)網(wǎng)網(wǎng)頁的網(wǎng)絡蜘蛛程序，具有自動化的特點，對網(wǎng)頁內(nèi)容進行分析，并提取關鍵信息，計算關聯(lián)度。

3. 索引模塊：其主要是針對采集的內(nèi)容進行集中處理，并對其進行分類，以此為基礎建立索引數(shù)據(jù)庫。

4. 搜索頁面構建模塊：用戶在輸入搜索內(nèi)容的關鍵詞之后，其會對搜索請求進行相應的分析，形成檢索命令查詢包，獲取與搜索內(nèi)容相關信息，最終構成搜索頁面。

5. 檢索合并模塊：其主要是將用戶的搜索請求發(fā)送給不同的索引機器之后，合并成為單獨的結果數(shù)據(jù)包，最后發(fā)送至查詢端。

6. 數(shù)據(jù)分發(fā)控制模塊：其主要的工作內(nèi)容是將采集模塊采集的信息發(fā)送至索引模塊之中，同時其也可以根據(jù)實際情況增加多組機器，增加搜索結果。

二、企業(yè)級搜索引擎中結果聚類技術研究

（一）基本思想

通過研究人員的不斷分析，發(fā)現(xiàn)當前由于信息數(shù)據(jù)內(nèi)容數(shù)量較多，為后續(xù)的一系列工作帶來了一定的難度，因此技術人員提出了結果聚類技術，進行結果聚類分析，對數(shù)據(jù)信息進行分類，同時對數(shù)據(jù)信息進行篩選，以此提升企業(yè)級搜索的精準性。

（二）系統(tǒng)模型的基本設計

1. 預處理：在實際進行結果聚類之前，需要對數(shù)據(jù)信息進行清理，篩選關鍵信息，此過程尤為重要，在信息數(shù)據(jù)篩選的過程中，主要包括去除非字符、選取HTML標簽、標記標題以及頁面語言識別等內(nèi)容。

2. 明確聚類算法：企業(yè)級搜索引擎中結果聚類技術主要以Lingo算法為主，Lingo算法在很大程度上解決了其他聚類算法存在的弊端，其在實際應用的過程中，可以生成更為精準、描述能力更強的聚類，并且將用戶體驗作為核心，從根本上提升結果聚類質量，以更好地為用戶提供所需內(nèi)容（如圖2）。

3. Lingo算法：Lingo算法整體較為復雜，較為重要的有兩個內(nèi)容（如圖3所示）。（1）在生成標簽的過程中，首先要做的就是提取候選標簽，應用后綴詞組，主要是對共現(xiàn)的短語和詞組進行獲取；（2）潛在語義索引（LSI方法），此方法的應用以VSM方法為基礎，其在實際進行工作的過程中，首先對TF-IDF權重進行計算，權重一般表達公式為W（d，t）=TF（d，t），其中TF（d，t）表示詞t在文本d中出現(xiàn)的次數(shù)，隨后進行矩陣分解。

（三）確定系統(tǒng)結構

聚類搜索引擎在工作的過程中，具有較強的自動性，在用戶發(fā)起搜索之后，聚類搜索引擎會自主對結構進行搜索，并進行相應的組織分類，將最終結果呈現(xiàn)給用戶。聚類技術與分類和標引之間存在較強的差異性，其在實際運行的過程中，具有實時性，且不受人為干預，此種方式在很大程度上能降低出現(xiàn)失誤的情況。此外，聚類搜索引擎在實際進行工作的過程中，可以自主對搜索結果進行分類，其中較為重要的一項內(nèi)容就是選取類名，以幫助用戶更加清楚此類結果的核心內(nèi)容。對類名的選取而言，需要保證其簡潔性、準確性、唯一性以及易于理解性（如圖4）。

（四）系統(tǒng)流程設計

在設計的過程中，技術人員將整體系統(tǒng)分為輸入模塊、過濾模塊以及輸出模塊3項內(nèi)容，同時需要保證各模塊之間的獨立性，這樣可以更好地利用算法對其中模塊進行替換，進而提升搜索結果聚類的有效性以及質量，且處理速度更快。為保證企業(yè)級搜索引擎中結果聚類技術應用的有效性，相關技術人員根據(jù)實際情況設計了系統(tǒng)主要運行流程，如圖5所示。在完成聚類分析之后，可以將結果展現(xiàn)給用戶，在展現(xiàn)的過程中，為方便用戶觀看和獲取結果，會應用分類目錄的方式，從根本上提升用戶體驗，提升應用的整體效果，滿足企業(yè)級搜索引擎的應用需求，這也是其在不同領域被大量應用的主要原因之一。

企業(yè)級搜索引擎中結果聚類技術運行會先獲取Web網(wǎng)頁的信息數(shù)據(jù)，隨后進入文件預處理階段，對獲取的信息進行簡單處理，接著對預處理后的數(shù)據(jù)信息進行分詞以及降維，并將其發(fā)送至過濾模塊，過濾模塊在實際運行的過程中，主要是應用Lingo算法，對獲取的數(shù)據(jù)信息進行聚類分析。

（五）系統(tǒng)閾值說明

在實際進行設計的過程中，為保證搜索結果聚類的效果和有效性，需要閾值進行定義，進而對整體結果進行控制。對系統(tǒng)閾值而言，主要分為4種，分別是短語頻率閾值（2.00～5.00）、聚類標簽數(shù)目閾值（0.70～0.90）、聚類標簽合并閾值（0.20～0.50）以及聚類內(nèi)容生成閾值（0.15～0.30），閾值定義的方式可以分為兩種，一種是提前由系統(tǒng)進行設置，另外一種是方法與Lingo算法之間存在一定的相似性，讓用戶按照說明，將其作為參數(shù)，自行進行設置，此種方法具有個性化特點，滿足不同用戶的需求，具有一定的優(yōu)勢。

三、企業(yè)級搜索引擎中查詢補全技術研究

（一）核心技術

Ajax技術的應用直接改變了傳統(tǒng)Web應用的交互模式，在實際進行設計建設的過程中，其主要是構建效果更好的Web應用，完善和優(yōu)化Web應用的動態(tài)性能，同時也可以提升Web應用的響應速度，使其更加靈敏，為用戶帶來更為良好的體驗。

Ajax技術設計內(nèi)容更多，完整性更強，其相當于一個綜合體，融合了多種不同的技術，其中主要包括JAVA、HTML、CSS、DOM、XML以及XSTL技術等。而現(xiàn)階段隨著科學技術的不斷進步，其也成為Web2.0的核心技術之一。

Ajax技術在實際應用的過程中，其主要寄宿在瀏覽器的類中，即XML-HTTPRewquest。在XML-HTTPRewquest類的支持下，Ajax技術在與服務器進行鏈接的過程中，不需要提交任何表單，簡化了整體流程，且不需要對整體頁面進行刷新，只需要刷新用戶需要的部分內(nèi)容，一般是通過動態(tài)更新的方式進行。對XML-HTTPRewquest而言，在對數(shù)據(jù)進行交換時，一般將XML作為載體，除此之外也可以應用其他類型的載體，如純文本載體。在企業(yè)級搜索引擎運行的過程中，在XML-HTTPRewquest的支持下，可以將用戶輸入的信息內(nèi)容發(fā)送至不同的服務器，同時也可以異步接收服務器處理并返回信息，最后利用JAVA技術與對網(wǎng)頁內(nèi)部分內(nèi)容進行動態(tài)更新。

（二）具體實現(xiàn)方法

為實現(xiàn)查詢自動補全功能，Ajax技術成了核心技術，在其實際運行的過程中，需要在Web頁面上產(chǎn)生一個div區(qū)域，當用戶利用企業(yè)級搜索引擎進行搜索時，自動進行補全。但當索引框內(nèi)未輸入任何文本時，自動隱藏div區(qū)域，而當用戶輸入搜索信息時，JAVA運行，其可以從服務端獲取搜索關鍵信息，并觸發(fā)div區(qū)域，自動進行查詢補全。最后，利用JAVA技術，向服務端發(fā)送相應的請求，而此時對Web頁面而言，會產(chǎn)生XML數(shù)據(jù)信息，并將其作為返回的關鍵數(shù)據(jù)信息，最終實現(xiàn)自動補全的目的。

（三）數(shù)據(jù)來源

查詢補全技術在實際運行的過程中，會將用戶輸入的關鍵詞進行記錄，并將其作為下一次查詢補全的數(shù)據(jù)，同時不斷對查詢補全數(shù)據(jù)庫進行充實和完善。對數(shù)據(jù)而言，其主要是將用戶的日常使用習慣作為核心，對傳統(tǒng)自動補全技術進行完善和優(yōu)化，并對其進行改進。在完善優(yōu)化的過程中，需要對現(xiàn)有企業(yè)級搜索引擎搜索日志文件進行整理和分析，提取搜索日志文件的關鍵內(nèi)容，并將其作為查詢自動補全數(shù)據(jù)庫的基礎數(shù)據(jù)信息內(nèi)容。為使企業(yè)級搜索引擎實現(xiàn)查詢自動補全的目的，需要大量數(shù)據(jù)的支持，才能實現(xiàn)企業(yè)級搜索引擎的應用效果。通常情況下，為保證查詢補全的完整性以及整體性，需要的數(shù)據(jù)信息一般在8萬～10萬的范圍之內(nèi)。為保證數(shù)據(jù)來源的精準性，需要對數(shù)值性屬性的相似度進行計算，計算公式為Sim（vi，vj）=1-d（vi，vj）=1-dij，其中vi和vj是某個屬性V的兩個屬性值，dij典型的定義與絕對距離以及歐氏距離，在完成計算之后可以保證內(nèi)容補全的精準性。