將搜索引擎中的基本技術(shù)應用于高職教學探討

陳 琳

（福建省信息職業(yè)技術(shù)學院，福建 福州 350003）

將搜索引擎中的基本技術(shù)應用于高職教學探討

陳 琳

（福建省信息職業(yè)技術(shù)學院，福建 福州 350003）

本文探討了搜索引擎的基本技術(shù)，以及將搜索引擎的基本技術(shù)融入高職教學中的合理性、有效性和可行性。探討如何將搜索引擎的基本技術(shù)融入《數(shù)據(jù)結(jié)構(gòu)》課程教學中。

搜索引擎；高職教學；數(shù)據(jù)結(jié)構(gòu)

1 搜索引擎的基本技術(shù)

搜索引擎為互聯(lián)網(wǎng)上數(shù)以億計的網(wǎng)頁建立索引，包含不勝枚舉迥然不同的詞匯。每天要完成成千上萬個查詢。處理查詢必須快，達到每秒能處理成百上千個查詢。索引系統(tǒng)必須能夠有效、快速地處理億萬個的數(shù)據(jù)。而且用戶希望得到高精度的搜索結(jié)果，并且這些結(jié)果最好能出現(xiàn)在前面的幾十個。

搜索引擎的基本技術(shù)有：

1.1 抓取網(wǎng)頁技術(shù)

抓取網(wǎng)頁是由幾個分布式爬蟲完成的。一個URL服務器負責向爬蟲提供URL列表。抓來的網(wǎng)頁交給存儲服務器。再由存儲服務器壓縮網(wǎng)頁并把它們存到知識庫中。

設定最大的線程的數(shù)目，每個線程對應一個爬蟲。所有爬蟲同時在網(wǎng)上進行搜索，根據(jù)數(shù)據(jù)庫中已有的網(wǎng)頁信息，尋找需要更新的網(wǎng)頁或新鮮有用的網(wǎng)頁。執(zhí)行的重點是找DNS。每個爬蟲有它自己的DNS緩存，不必每個網(wǎng)頁都查DNS。每一百個連接都有幾種不同的狀態(tài)：查DNS，連接主機，發(fā)送請求，接收回答。它用異步IO處理事件，若干請求隊列從一個網(wǎng)站到另一個網(wǎng)站不停的抓取網(wǎng)頁。

1.2 分詞技術(shù)

分詞技術(shù)分為英文分詞技術(shù)和中文分詞技術(shù)。眾所周知，英文是以詞為單位的，詞和詞之間是靠空格隔開，因此英文分詞技術(shù)較容易實現(xiàn)。為了得到有效結(jié)果，還應實現(xiàn)短語切分，實現(xiàn)短語查詢。中文是以字為單位，句子中所有的字連起來才能描述一個意思，因此，中文分詞技術(shù)很難實現(xiàn)。把中文的漢字序列切分成有意義的詞，就是中文分詞，有些人也稱為切詞。

中文分詞技術(shù)可分為三大類：基于字符串匹配的分詞方法、基于理解的分詞方法和基于統(tǒng)計的分詞方法。

1.2.1 基于字符串匹配的分詞方法

又稱機械分詞方法，它是按照一定的策略將待分析的漢字串與一個“充分大的”分詞詞典中的詞條進行比較，若在詞典中找到某個字符串，則成功切出一個詞?？梢园褭C械分詞作為一種初分手段，再利用各種其它的語言信息來進一步提高切分的準確率。

1.2.2 基于理解的分詞方法

是通過讓計算機模擬人對句子的理解，達到識別詞的效果。其基本思想就是在分詞的同時進行句法、語義分析，利用句法信息和語義信息來處理歧義現(xiàn)象。

1.2.3 基于統(tǒng)計的分詞方法

是根據(jù)上下文，若相鄰的字同時出現(xiàn)的次數(shù)越多，就越有可能構(gòu)成一個詞。以此來識別一些新的詞。

1.3 用戶查詢方式

用戶查詢方式有單詞查詢、短語查詢、“智能”查詢和分層的主題查詢。所謂的"智能"是基于對概率統(tǒng)計的靈活應用。它能夠同時進行基于概念和關(guān)鍵字的索引。搜索引擎最基本的檢索是基于布爾查詢。一般認為用戶輸入的若干關(guān)鍵詞為與關(guān)系，同時支持短語和鄰近兩種運算。在布爾查詢的基礎上，按空間向量模型的相似度算法計算各個文檔與查詢的相似度算法計算各個文檔與查詢的相似度，結(jié)果作為排序的基礎。分層的主題查詢，能讓你能夠從一個常用的主題導引入到另一個相關(guān)的主題。

1.4 排序技術(shù)

對搜索到的網(wǎng)頁按它們的價值度和訪問次數(shù)排序。理想情況是將價值越大或訪問次數(shù)越多的網(wǎng)頁排在最前面。

PageRank技術(shù)主要根據(jù)鏈接數(shù)來排序而HillTop算法更強調(diào)了內(nèi)容的相關(guān)性，相同主題網(wǎng)站之間的鏈接優(yōu)先。

與排序技術(shù)相關(guān)的技術(shù)有：詞干技術(shù)和拼寫糾錯技術(shù)。

1.5 前向索引和后向索引

搜索引擎將抓取的文檔信息存入知識庫中。知識庫中有64個“存儲桶”。前向索引是將抓取的文檔信息存入包含一些Word Id的“存儲桶”中，“存儲桶”的關(guān)鍵字為DocId，“存儲桶”即前向索引表，它已完成了部分排序；而后向索引是在前向索引的基礎上建立Word Id與其對應的所有DocId的關(guān)系，形成后向索引表，它是以Word Id為關(guān)鍵字，建立某個關(guān)鍵詞與其對應的所有網(wǎng)頁，即倒排文件。如果倒排文件的索引項數(shù)據(jù)用鏈表方式，則有利于提高更新效率，不利于檢索；如果索引項數(shù)據(jù)按序連續(xù)存儲，則有利于提高檢索效率，不利于更新；一個折中方案是索引項用連續(xù)存儲，索引更新采用部分索引重建的方式。

2 將搜索引擎的基本技術(shù)融入高職教學的合理性、有效性和可行性

在信息化時代的今天，高職院校的學生經(jīng)常在網(wǎng)絡上查閱各種信息，頻繁使用搜索引擎。對搜索引擎有一定程度的了解，將搜索引擎的基本技術(shù)融入高職教學中具有一定的合理性。雖然高職學生會使用搜索引擎查閱資料，但他們未必了解它的工作過程，出于好奇，他們也會想了解它的工作過程，興趣是最好的老師，如果將搜索引擎技術(shù)融入高職教學中，能吸引學生的注意，引起學生的興趣，從而能有效地提高相關(guān)課程的學習熱情，增強學習效果。因此，將搜索引擎的基本技術(shù)融入高職教學中具有一定的有效性。在高職院校計算機及其相關(guān)專業(yè)中開設了 《數(shù)據(jù)結(jié)構(gòu)》課程，它是計算機專業(yè)基礎課，是理論和實踐并重的課程，它不是一門非常實用的課程，但對于計算機專業(yè)的學生來說，它又是一門非常重要的課程，學好它，能提高學生的學習能力、提高分析問題和解決問題的能力，能有效地提高學生的編程水平。因此，將搜索引擎的基本技術(shù)融入高職教學中具有一定的可行性。

3 如何將搜索引擎的基本技術(shù)融入高職教學中

《數(shù)據(jù)結(jié)構(gòu)》課程的主要內(nèi)容有線性表 （串、文件）、樹、圖、查找和排序。數(shù)據(jù)結(jié)構(gòu)研究數(shù)據(jù)的邏輯結(jié)構(gòu)和物理結(jié)構(gòu)。線性表、樹、圖是三種基本的數(shù)據(jù)結(jié)構(gòu)，每一種數(shù)據(jù)結(jié)構(gòu)都有不同的存儲結(jié)構(gòu)，在計算機中都是以它的一種物理結(jié)構(gòu)的存儲形式存在。目前，高職教育推崇以工作過程為導向的教育理念，提倡以任務驅(qū)動的案例教學模式，搜索引擎的基本技術(shù)是一個不錯的案例，可以貫穿整個《數(shù)據(jù)結(jié)構(gòu)》課程教學的過程中。

設計一個方案如下：搜索引擎的知識庫中為每個網(wǎng)頁建立一個字典表，包括URL編號、單詞及其出現(xiàn)的次數(shù)。可以用字典表作為線性表的案例?；谧址ヅ涞姆衷~方法，其常用的策略有以下三種：正向最大匹配法、逆向最大匹配法和最少切分法。可以用基于字符串匹配的分詞方法作為串的案例。用戶查詢方式中的分層的主題索引可以作為樹的案例。抓取網(wǎng)頁技術(shù)用多個爬蟲實現(xiàn)，每個爬蟲有一定的搜索路徑，其搜索方式可以作為圖的案例。用戶查詢方式中用單詞查詢或短語查詢可以作為查找的案例。用搜索引擎中的排序技術(shù)作為排序的案例。爬蟲將抓取的文檔存入知識庫中的所建立的倒排文件可以作為文件的案例。

在《數(shù)據(jù)結(jié)構(gòu)》課程的實際教學中，可安排1至2周的實訓課程，完成其中的部分或全部功能。對于高職學生來說，不能作太高要求，能完成基本功能即可。

四 結(jié)束語

本文探討了搜索引擎的基本技術(shù)，以及將搜索引擎的基本技術(shù)融入高職教學中的合理性、有效性和可行性，它不具備必要性。本文還設計了搜索引擎的基本技術(shù)融入《數(shù)據(jù)結(jié)構(gòu)》課程教學的一種方案。

[1]王暢.基于java技術(shù)的搜索引擎基本組成和數(shù)據(jù)結(jié)構(gòu)探究[J].科技博覽，2011：109-110.

[2]魏長春.資料搜集過程中搜索引擎合理化選擇探討[J].信息通信，2011:87-88.

[3]鄭志宏，徐文君，文紅等.改進搜索引擎及其數(shù)據(jù)結(jié)構(gòu)的設計[J].情報科學，2012:200-205.

[4]鄧雄（Johnny Deng）萬維網(wǎng)Web自動搜索引擎（技術(shù)報告）2006.12 http://www.csdn.net.

[5]搜索引擎的基本原理及數(shù)據(jù)結(jié)構(gòu)剖析http://hi.baidu.com/lewutian/blog/item/0e6074dd5f6e2fe476c63885.html.

The Discussion on the Application of Search Engine Technology to the Vocational High School Teaching

CHEN Lin

（Fujian Instiute of Information Technology，F(xiàn)uzhou，F(xiàn)ujian 350003）

This paper discusses the basic techniques of search engine and the rationality,effectiveness and feasibility of applying them to the vocational teaching.Issues such as how to apply them to course teaching eg.Data Structure is also explored.

search Engine；vocational Teaching；data Structure

G350；TP393

A

1674－2109(2012)01－0103－03

2012-02-25

陳琳（1963-），女，漢族，高講，主要研究方向：軟件技術(shù)。