信息采集技術(shù)在教育領(lǐng)域的應(yīng)用與實現(xiàn)

□魏巍巍

時代的快速發(fā)展，使得信息技術(shù)不斷的挖掘與開發(fā)，并且應(yīng)用于現(xiàn)代教育過程中。為了有效實現(xiàn)網(wǎng)絡(luò)信息采集技術(shù)在教育領(lǐng)域信息采集中的有效應(yīng)用，必須深入探討教育技術(shù)相關(guān)網(wǎng)站的采集特定主題，并且選取符合特定規(guī)律與格式的信息，通過信息收集與處理加工，有助于拓展教育領(lǐng)域的應(yīng)用價值，提高了信息的使用效率。

一、網(wǎng)絡(luò)信息采集技術(shù)設(shè)計思路與系統(tǒng)架構(gòu)

(一)網(wǎng)絡(luò)信息采集設(shè)計思路。網(wǎng)絡(luò)信息采集系統(tǒng)是由windows平臺研發(fā)，運用c語言形式編寫，并且采用了xml存儲格式，與數(shù)據(jù)庫進行對接。網(wǎng)絡(luò)信息采集系統(tǒng)能夠?qū)δ繕?biāo)網(wǎng)站進行信息數(shù)據(jù)的收集，通過固定模式、單線程、制定框架采集，有助于對不同網(wǎng)站制定多元化的框架模式，從而保證采集方式更加多樣，采集過程更加便捷。

(二)網(wǎng)絡(luò)信息采集系統(tǒng)架構(gòu)。網(wǎng)絡(luò)信息采集系統(tǒng)的基本框架主要是保存URL履帶抓取的數(shù)據(jù)結(jié)構(gòu)，通過保存已經(jīng)抓取的數(shù)據(jù)結(jié)構(gòu)，有效避免系統(tǒng)重復(fù)抓取。在目標(biāo)頁面獲取模塊，對于獲取的頁面內(nèi)容進行部分抽取再進行加工處理，完成數(shù)據(jù)的精確化存儲。網(wǎng)絡(luò)信息采集系統(tǒng)的應(yīng)用流程必須確定采集信息的所在網(wǎng)站以及采集信息的主題。將采集信息主題輸入系統(tǒng)中，在運用搜索功能、搜索網(wǎng)站中，包含與采集信息主題相關(guān)的數(shù)據(jù)信息。信息采集器根據(jù)相關(guān)標(biāo)準(zhǔn)要求采集信息，對于采集頁面進行結(jié)構(gòu)化調(diào)整，根據(jù)相關(guān)規(guī)則，實現(xiàn)自動信息聚焦，從而得出初步的信息內(nèi)容。采集后的信息通過提取處理、格式轉(zhuǎn)換等等，生成信息索引，完成信息采集。將采集后的信息存儲到文件中，再根據(jù)使用需求，決定是否將文件存儲于同類別數(shù)據(jù)庫中，最后進行信息展示。

二、網(wǎng)絡(luò)信息采集系統(tǒng)核心技術(shù)

在網(wǎng)絡(luò)信息采集系統(tǒng)中，支撐技術(shù)的主要有地址查詢技術(shù)與數(shù)據(jù)提取技術(shù)、模擬填充、數(shù)據(jù)精加工、自動點擊技術(shù)等等。地址查詢技術(shù)是應(yīng)用布隆過濾器，判斷經(jīng)過函數(shù)散列時是否已經(jīng)訪問過，進而避免重復(fù)采取某一數(shù)據(jù)，導(dǎo)致程序死循環(huán)。其技術(shù)是開源項目，能夠為目標(biāo)網(wǎng)頁提供精準(zhǔn)的目標(biāo)搜索導(dǎo)航。在整個信息收集過程中，無論是頁面解析或者是文本抽取，都需要運用到數(shù)據(jù)提取技術(shù)，數(shù)據(jù)提取技術(shù)是一種路徑表達工具，能夠深入了解頁碼帶面中的最小單位從而精準(zhǔn)確定目標(biāo)數(shù)據(jù)的代碼，加強兩者的有效結(jié)合，對解析界面進行綜合分析與目標(biāo)信息采集。而模擬填充與點擊功能則像是百度、搜狐一類具有搜索功能的網(wǎng)頁，由于大部分網(wǎng)站中均有搜索功能，應(yīng)用數(shù)據(jù)信息挖掘系統(tǒng)，可以應(yīng)用網(wǎng)站內(nèi)搜索功能，有效地實現(xiàn)信息抓取。對于信息采集的目標(biāo)網(wǎng)站來說，通常站內(nèi)設(shè)有檢索，但是檢索也分為普通檢索與高級檢索兩類搜索方式，普通檢索只是提供輸入文本框，高級檢索則能夠除文本框以外進行下拉列表框，或者是互斥選項等。應(yīng)用模擬填充中自動點擊功能可以模擬，用戶的檢索行為，包括下拉列表檢索，或者是填充文本、點擊按鈕等一系列操作有助于增強搜索的準(zhǔn)確性。對于一些動態(tài)類網(wǎng)頁，如果并未確定數(shù)據(jù)技術(shù)的導(dǎo)向，就需要模擬點擊下一頁，完成對應(yīng)頁的超鏈接。經(jīng)過以上幾個步驟后，雖然得到了初步信息，但是也是粗糙的原始數(shù)據(jù)，必須對原始數(shù)據(jù)進行精確加工，才能夠確保數(shù)據(jù)的價值與功能。原始數(shù)據(jù)中通常會出現(xiàn)HTML等文本，可以將占位符號去除，也可以對零散的原始信息進行有效的加工，規(guī)范信息格式，例如可以將新聞信息的標(biāo)題與作者、發(fā)布日期統(tǒng)一設(shè)定為“某企業(yè)對于XXX技術(shù)應(yīng)用展開研討的通知”。對于作者信息或者是發(fā)布日期，存在文字中的引號與括號，或者是一系列標(biāo)點符號。可以選用表達式定位目標(biāo)，將這一部分符號抽取出來，再運用自然語言處理。對于pdf文檔、圖片、音頻、視頻、壓縮包等則需要應(yīng)用數(shù)據(jù)提取技術(shù)，導(dǎo)入下載程序。

三、網(wǎng)絡(luò)信息采集系統(tǒng)的實現(xiàn)

為了確保上述方法的可靠性與真實性，本文運用簡單的案例來驗證。信息采集數(shù)據(jù)內(nèi)容是教育技術(shù)資源網(wǎng)中的教育信息，信息內(nèi)容是信息連接地址與信息標(biāo)題。通過加載頁面在設(shè)置編碼信息，確定目標(biāo)數(shù)據(jù)的所在位置，再應(yīng)用表達式XPATH獲取相關(guān)數(shù)據(jù)與信息。通過獲取該頁面下ID信息，再運用SELECTNODES分析判斷代碼中是否包含提取的信息內(nèi)容，也就是本案例中所要提取的連接信息。如果是，代碼則表示為SELECTNODES(“//a”)最后將數(shù)據(jù)搜索已定位在所提取的數(shù)據(jù)點上，再提取相關(guān)信息。根據(jù)上述實驗，能夠看出，運用本文提出的信息采集技術(shù)，能夠有效地對教育網(wǎng)絡(luò)頁面信息進行高效采集，從而應(yīng)用到教育技術(shù)中，有助于提高教育水平與工作效率，也增強了教育信息的多樣化，提高學(xué)生的綜合素養(yǎng)。

四、其他網(wǎng)絡(luò)信息采集方法

本文介紹的信息采集技術(shù)是應(yīng)用c語言編寫的，可以選用其他方式，例如：JAVA網(wǎng)絡(luò)信息采集技術(shù)。VIETSPIDER HRMLPARSER是HTML DOM解析器，是一項開發(fā)能源的網(wǎng)絡(luò)數(shù)據(jù)采集器，能夠提供圖形化界面，有助于用戶方便使用。同時，該項技術(shù)能夠根據(jù)搜索主題展開目的特定信息搜索，對于初步獲得的信息進行采集和分類，該項技術(shù)的最大特點在于能夠?qū)?shù)據(jù)采集過程變得簡捷化，提供圖形化界面，滿足用戶的多元化使用需求。同時應(yīng)用了爬蟲技術(shù)，有效提出了模板解析理念，根據(jù)站點提供代理或者是多線配置，有助于服務(wù)器高效運行。同時VIETSPIDER可以在WINDOES系統(tǒng)下運行，管理人員可以運用VIETSPIDER客戶端進行遠程客戶管理，可以應(yīng)用于多類數(shù)據(jù)庫系統(tǒng)。VIETSPIDER系統(tǒng)中設(shè)置了瀏覽器功能，支持數(shù)據(jù)解析以及多類數(shù)據(jù)的輸出格式、數(shù)據(jù)的改造與除雜，并且VIETSPIDER技術(shù)應(yīng)用設(shè)計極為簡單高效，專業(yè)知識較少，能夠提高使用效率。也可以選用組合系統(tǒng)方法HERTRIX+HTMLPARSER，該項系統(tǒng)是JAVA.研發(fā)的網(wǎng)絡(luò)爬蟲，用戶可以從網(wǎng)絡(luò)上抓取想要獲取的目標(biāo)資源。HERTRIX能夠?qū)崿F(xiàn)HTML文件的解析，可以應(yīng)用于JAVA包的轉(zhuǎn)化與抽取。運用HTMLPARSER則能夠?qū)崿F(xiàn)文本、鏈接、資源的抽取與站點、鏈接檢查等，通過數(shù)據(jù)檢查地址的重寫以及冗雜信息的清除，有效地將HTML頁面轉(zhuǎn)換為XML頁面。

五、結(jié)語

綜上所述，信息采集過程中由于采集量較大，必須實現(xiàn)互聯(lián)網(wǎng)站點的自動點擊功能與填充功能，才能夠完成對網(wǎng)頁信息的解析與出題工作。最后要分析采集的網(wǎng)頁是否可以進行重復(fù)采集，再對數(shù)據(jù)信息進行精加工，只有滿足以上需求，才能夠有效實現(xiàn)信息采集技術(shù)在教育領(lǐng)域中的有效應(yīng)用。