Web挖掘優(yōu)化VOD點(diǎn)播系統(tǒng)

文/錢丹

Web挖掘優(yōu)化VOD點(diǎn)播系統(tǒng)

文/錢丹

VOD (Video On Demand，視頻點(diǎn)播技術(shù)），也稱為交互式媒體視頻點(diǎn)播系統(tǒng)，是計(jì)算機(jī)技術(shù)、網(wǎng)絡(luò)技術(shù)、多媒體技術(shù)發(fā)展的產(chǎn)物，是一項(xiàng)全新的信息服務(wù)。如今各大高校校園網(wǎng)建設(shè)日趨完善，網(wǎng)絡(luò)輔助的重要性日益凸顯，VOD系統(tǒng)在高校輔助教學(xué)領(lǐng)域得到充分應(yīng)用，由此展開一系列針對(duì)VOD系統(tǒng)服務(wù)性能的研究，其中優(yōu)化站點(diǎn)服務(wù)、提供個(gè)性化選擇成為研究的熱點(diǎn)。

VOD系統(tǒng)在應(yīng)用過程中遇到的問題是，隨著VOD系統(tǒng)中影片資源集的不斷增大，點(diǎn)播人數(shù)的眾多，服務(wù)器的負(fù)荷日益加重。VOD服務(wù)器系統(tǒng)、網(wǎng)絡(luò)傳輸系統(tǒng)和終端系統(tǒng)的性能是視頻點(diǎn)播系統(tǒng)能否提供高質(zhì)量服務(wù)的三個(gè)方面。因此希望通過對(duì)不同時(shí)間段、不同用戶群點(diǎn)播數(shù)據(jù)的挖掘提出優(yōu)化服務(wù)器負(fù)載的解決辦法，也就是針對(duì)VOD服務(wù)器系統(tǒng)，利用Web挖掘技術(shù)優(yōu)化其性能，以免成為整個(gè)系統(tǒng)的瓶頸。校園網(wǎng)絡(luò)因其使用群體層次高、頻度大、范圍廣，因而更加需要高質(zhì)量的網(wǎng)絡(luò)。如何通過分析用戶行為，合理分配流量，提高用戶使用網(wǎng)絡(luò)的效率已成為校園網(wǎng)絡(luò)管理的一個(gè)重要課題。

我們以南通大學(xué)校園網(wǎng)教學(xué)VOD點(diǎn)播系統(tǒng)為基礎(chǔ)，運(yùn)用Web挖掘技術(shù)，以校園網(wǎng)用戶的行為特征為對(duì)象進(jìn)行關(guān)聯(lián)性分析，在對(duì)點(diǎn)播系統(tǒng)優(yōu)化后，通過有針對(duì)性的引導(dǎo)，對(duì)不同用戶進(jìn)行個(gè)性化推薦，以提高頁面訪問的效率和視頻資源的利用率，從而減輕服務(wù)器負(fù)載，使點(diǎn)播更加流暢，并提出一個(gè)新思路：根據(jù)各大高校的網(wǎng)絡(luò)部署，不僅可以針對(duì)整個(gè)群體進(jìn)行推薦，還可以將用戶進(jìn)一步劃分，區(qū)分為學(xué)生組和教師組，甚至細(xì)分至各學(xué)院不同專業(yè)，就可以根據(jù)同一IP地址段用戶的點(diǎn)擊習(xí)慣來生成該區(qū)域用戶的關(guān)聯(lián)模型，從而有針對(duì)性、更精確、更人性化地提供VOD的推薦服務(wù)。

Web挖掘向用戶智能化推薦資源

數(shù)據(jù)挖掘就是從大型數(shù)據(jù)庫的數(shù)據(jù)中提取人們感興趣的知識(shí)。這些知識(shí)是隱含的、事先未知的潛在有用信息，提取的知識(shí)表示為概念(Concepts)、規(guī)則(Rules)、規(guī)律(Regularities)、模式(Patterns)等形式[1]。數(shù)據(jù)挖掘是知識(shí)發(fā)現(xiàn)過程的一個(gè)基本步驟，也是最重要的步驟，它是用來評(píng)估的隱藏模式。

圖1 VOD推薦系統(tǒng)模型

圖2 未經(jīng)篩選的VOD用戶點(diǎn)播日志

Web包含豐富、動(dòng)態(tài)的超鏈接信息，以及Web頁面的訪問和使用信息，這為數(shù)據(jù)挖掘提供豐富的資源。Web挖掘發(fā)展成為數(shù)據(jù)挖掘中的一個(gè)重要分支。Web挖掘的過程可粗略地分為：問題定義、數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)挖掘算法執(zhí)行和模型建立、對(duì)結(jié)果的分析和模型的評(píng)估。Web挖掘的任務(wù)很多，有分類、聚類、關(guān)聯(lián)、預(yù)測等。根據(jù)挖掘目的，采用不同的任務(wù)和技術(shù)對(duì)結(jié)果的影響非常重要，也是能否得到有意義結(jié)果的關(guān)鍵因素。

根據(jù)VOD系統(tǒng)用戶點(diǎn)播影片的詳細(xì)訪問記錄，我們可以從中發(fā)現(xiàn)用戶的行為模式，建立訪問模型，有針對(duì)性地為用戶做出智能化推薦，減少用戶盲目搜索的時(shí)間，提高VOD系統(tǒng)的服務(wù)效率。根據(jù)這一目標(biāo)，我們采用Microsoft關(guān)聯(lián)性規(guī)則算法[2]，該算法的兩個(gè)關(guān)鍵參數(shù)是MINIMUM_SUPPORT（項(xiàng)要成為頻繁項(xiàng)集所必須滿足的最小支持度）和MINIMUM_PROBABILITY（關(guān)聯(lián)規(guī)則的最小概率）來說明項(xiàng)集以及該算法生成的規(guī)則。在我們進(jìn)行Web數(shù)據(jù)挖掘過程中，需要多次設(shè)置參數(shù)組合來比較挖掘結(jié)果，并通過模擬測試以得到最佳參數(shù)設(shè)置[3][4]。

建立動(dòng)態(tài)變化的VOD前臺(tái)系統(tǒng)

為保障研究課題的順利進(jìn)行，我們對(duì)實(shí)驗(yàn)環(huán)境進(jìn)行精心部署，在服務(wù)器上安裝SQL 2005來進(jìn)行數(shù)據(jù)挖掘。因?yàn)閿?shù)據(jù)挖掘不是實(shí)時(shí)的數(shù)據(jù)處理，所以我們進(jìn)一步將VOD的前臺(tái)點(diǎn)播頁面也同時(shí)部署在這臺(tái)服務(wù)器上，以便更好地實(shí)施后續(xù)工作。在研究過程中，我們采用Visual Studio.Net為開發(fā)平臺(tái)，使用C#語言來進(jìn)行編程。由于VOD用戶對(duì)每個(gè)頁面的瀏覽和每部影片的點(diǎn)播都會(huì)存入日志數(shù)據(jù)庫，我們通過對(duì)該數(shù)據(jù)庫的挖掘來獲取詳細(xì)數(shù)據(jù)，并構(gòu)建模型，創(chuàng)建一個(gè)獨(dú)立的影片推薦模塊。根據(jù)不同用戶組的歷史點(diǎn)擊情況，定制個(gè)性化的點(diǎn)播頁面，形成動(dòng)態(tài)變化的VOD前臺(tái)系統(tǒng)，并嵌入到當(dāng)前的點(diǎn)播系統(tǒng)中，從而優(yōu)化服務(wù)器負(fù)載，改善網(wǎng)站系統(tǒng)運(yùn)行情況。

具體實(shí)施步驟如下：

第一步：對(duì)分組用戶進(jìn)行匯總，將數(shù)據(jù)庫中的信息作為數(shù)據(jù)源，考察用戶各項(xiàng)行為數(shù)據(jù)。對(duì)Web挖掘的數(shù)據(jù)特征項(xiàng)進(jìn)行分析，并進(jìn)行數(shù)據(jù)預(yù)處理，挖掘出有效數(shù)據(jù)。

第二步：根據(jù)Web挖掘的具體目標(biāo)，制定挖掘任務(wù)，并構(gòu)建模型。

第三步：利用Web挖掘所得到的數(shù)據(jù)，結(jié)合終端用戶的實(shí)際點(diǎn)播情況，動(dòng)態(tài)生成點(diǎn)播系統(tǒng)的前臺(tái)頁面。

VOD個(gè)性化點(diǎn)播推薦系統(tǒng)的設(shè)計(jì)方案由離線部分和在線部分兩部分組成，如圖1所示。其中，離線部分實(shí)現(xiàn)數(shù)據(jù)的采集、預(yù)處理以及推薦模型的生成等功能，在線部分接受推薦請(qǐng)求、運(yùn)行推薦策略并實(shí)時(shí)產(chǎn)生推薦結(jié)果。

數(shù)據(jù)處理及模型建立

數(shù)據(jù)采集

根據(jù)所需要得到的結(jié)果和不同的挖掘任務(wù)，Web數(shù)據(jù)挖掘[5]可以分為三種類型：針對(duì)內(nèi)容的Web挖掘，針對(duì)結(jié)構(gòu)的Web挖掘，針對(duì)使用記錄的Web挖掘。[6]在本文中，我們所重點(diǎn)研究的是：針對(duì)使用記錄的Web挖掘。當(dāng)用戶訪問VOD視頻點(diǎn)播系統(tǒng)時(shí)，其所點(diǎn)擊的頁面等一系列操作都會(huì)記錄在日志服務(wù)器中。我們對(duì)各類用戶訪問的頁面進(jìn)行分析，通過有序的數(shù)據(jù)來預(yù)測訪問者對(duì)VOD站點(diǎn)的下一步訪問行為，從而獲得用戶瀏覽站點(diǎn)時(shí)的點(diǎn)擊流。我們可以用于挖掘的參考數(shù)據(jù)包括：Web用戶的IP地址、參考頁面、訪問日期和時(shí)間及配置信息。一個(gè)用戶會(huì)話描述了用戶在登錄Web后一段時(shí)間內(nèi)瀏覽的網(wǎng)頁序列，通常將這組網(wǎng)頁稱為一個(gè)訪問[7]。

數(shù)據(jù)預(yù)處理

我們對(duì)VOD視頻點(diǎn)播系統(tǒng)進(jìn)行優(yōu)化，歸根結(jié)底是通過挖掘Web日志來實(shí)現(xiàn)的。用戶訪問模式的發(fā)現(xiàn)也必然依賴于VOD服務(wù)器產(chǎn)生的日志文件，因此，如何將日志中的有效信息進(jìn)行合理篩選，是我們優(yōu)化的關(guān)鍵。Web日志將各類用戶的訪問行為記錄在冊(cè)，其中涵蓋大量有效與無效信息。這使得我們對(duì)Web訪問日志的分析和挖掘必須經(jīng)過一系列的數(shù)據(jù)準(zhǔn)備工作和建模工作，其中一個(gè)重要步驟就是數(shù)據(jù)預(yù)處理，目的是將原始的日志文件和VOD頁面的結(jié)構(gòu)及內(nèi)容結(jié)合起來，經(jīng)過一系列的數(shù)據(jù)處理，轉(zhuǎn)化為挖掘算法所需要的特定形式的數(shù)據(jù)格式。根據(jù)Web挖掘的要求，我們對(duì)Web訪問日志進(jìn)行過濾和轉(zhuǎn)換，從中抽取有價(jià)值的數(shù)據(jù)。[8]未經(jīng)篩選的用戶點(diǎn)播日志如圖2所示。數(shù)據(jù)預(yù)處理是Web挖掘的重要步驟之一，直接影響著挖掘的質(zhì)量和正確性。凡是點(diǎn)播記錄中字段為空的記錄、重復(fù)無關(guān)的記錄，都必須進(jìn)行清理和刪除。當(dāng)用戶點(diǎn)擊影片時(shí)，由于網(wǎng)絡(luò)延遲或者系統(tǒng)響應(yīng)速度的問題，用戶可能存在重復(fù)點(diǎn)擊的情況，這樣數(shù)據(jù)庫中所記錄下的多條重復(fù)記錄并不能反映用戶的實(shí)際點(diǎn)播情況。對(duì)于這樣的記錄，只需保留其中的一條，以確保構(gòu)造正確的模型。

數(shù)據(jù)預(yù)處理的相關(guān)程序節(jié)選如下：

圖3 挖掘模型

經(jīng)過此步驟，我們從120多萬條記錄中篩選出記錄約40萬條。

數(shù)據(jù)模型建立及關(guān)聯(lián)規(guī)則表的生成

在Visual Studio 2005中創(chuàng)建Analysis Services項(xiàng)目，首先要建立數(shù)據(jù)源和數(shù)據(jù)源視圖。我們將整個(gè)VOD點(diǎn)播系統(tǒng)數(shù)據(jù)庫作為數(shù)據(jù)源，但用于前臺(tái)推薦的數(shù)據(jù)僅僅是其中一部分。本次研究根據(jù)日志數(shù)據(jù)表生成兩個(gè)視圖，一個(gè)是Customer表，用于表征用戶，另一個(gè)是PlayLog表，用于表征用戶的瀏覽記錄。在創(chuàng)建挖掘結(jié)構(gòu)中將Customer作為事例表，PlayLog表作為嵌套表，通過LogIp關(guān)聯(lián)，在挖掘模型中選擇合適的數(shù)據(jù)挖掘算法并設(shè)置合理的參數(shù)，如圖3所示。

設(shè)置挖掘模型后，就可以通過挖掘模型瀏覽器來查看挖掘的結(jié)果，圖4為推薦模型生成項(xiàng)之間的網(wǎng)絡(luò)圖。

在圖4中，我們可以看到，點(diǎn)播的影片之間存在著關(guān)聯(lián)。例如：對(duì)某用戶來說，中間綠色圈內(nèi)為首點(diǎn)播影片，周圍橙色圈的影片表示與該片存在很大關(guān)聯(lián)的影片序列；紫色圈內(nèi)的影片表示，它們與示例影片存在相互引用的關(guān)系，而呈灰白色的影片則表示，它與示例影片之間暫時(shí)達(dá)不到關(guān)聯(lián)規(guī)則的要求，排除在推薦列表之外。

一般，我們可以采用DMX來查詢數(shù)據(jù)，但是由于點(diǎn)播系統(tǒng)的訪問量非常大，點(diǎn)播日志呈指數(shù)級(jí)增長。每次都通過實(shí)時(shí)查詢挖掘模型來獲取數(shù)據(jù)庫的推薦信息，將會(huì)大大增加服務(wù)器的壓力。因此，我們進(jìn)一步優(yōu)化推薦方案，通過數(shù)據(jù)挖掘?qū)㈥P(guān)聯(lián)規(guī)則一次性生成，并存入數(shù)據(jù)表中，與影片數(shù)據(jù)庫分別部署。前臺(tái)點(diǎn)擊時(shí)，通過SQL查詢語句查詢數(shù)據(jù)表中對(duì)應(yīng)的項(xiàng)即可作出影片推薦。根據(jù)影片更新情況和訪問情況，按周期執(zhí)行數(shù)據(jù)挖掘模型，將用戶點(diǎn)播的最新情況更新到關(guān)聯(lián)規(guī)則表中，確保影片推薦的質(zhì)量。通過對(duì)原本無序的訪問進(jìn)行有序地引導(dǎo)來減少點(diǎn)播流量，從根本上減輕服務(wù)器負(fù)載，使得點(diǎn)播更加流暢。

如表1所示，關(guān)聯(lián)性規(guī)則推薦表的后兩個(gè)字段是項(xiàng)集，P1作為前臺(tái)推薦程序的輸入?yún)?shù)，P2是與之關(guān)聯(lián)的項(xiàng)，是可能的輸出結(jié)果，根據(jù)概率和重要性兩個(gè)指標(biāo)選擇滿足條件的記錄，推薦程序部分節(jié)選如下：

表1 關(guān)聯(lián)性規(guī)則

圖4 由推薦模型生成項(xiàng)之間的網(wǎng)絡(luò)關(guān)系

前臺(tái)點(diǎn)播頁面

我們的研究目的是為了將歷史數(shù)據(jù)用于系統(tǒng)優(yōu)化，將上一步生成的關(guān)聯(lián)規(guī)則表應(yīng)用于點(diǎn)播系統(tǒng)，為用戶提供更好的點(diǎn)播體驗(yàn)。主頁面設(shè)置新聞公告、最近資源、熱門排行等主要模塊，按模塊化設(shè)計(jì)思路，每個(gè)模塊都是一個(gè)用戶自定義控件，能夠在不同頁面重復(fù)使用。比如創(chuàng)建一個(gè)hotfilm.ascx用戶自定義控件，實(shí)現(xiàn)熱門電影排行，程序如下：

點(diǎn)播程序中最核心的頁面為filminfo.aspx，在查看某個(gè)影片的詳細(xì)信息時(shí)，通過關(guān)聯(lián)規(guī)則表查詢出推薦影片，推薦模塊的程序如下：

挖掘效益分析

目前全國各高校校園網(wǎng)建設(shè)日趨完善，網(wǎng)絡(luò)輔助教學(xué)呈直線上升趨勢(shì)，我們根據(jù)實(shí)際教學(xué)工作的需要，將Web挖掘技術(shù)運(yùn)用于VOD視頻點(diǎn)播系統(tǒng)中，對(duì)該視頻點(diǎn)播系統(tǒng)的功能進(jìn)行改進(jìn)和優(yōu)化，特別是對(duì)于該系統(tǒng)的影片個(gè)性化推薦技術(shù)進(jìn)行研究和探索，從而提高該系統(tǒng)用戶的訪問效率和服務(wù)質(zhì)量。在研究中，我們還細(xì)分用戶，根據(jù)同一IP地址段用戶的點(diǎn)播習(xí)慣來來生成該特定用戶組的關(guān)聯(lián)模型。

我們主要完成以下任務(wù)：

1. 生成關(guān)聯(lián)模型：根據(jù)歷史的訪問點(diǎn)播記錄，發(fā)現(xiàn)用戶的模式，建立訪問模型。

2. 形成關(guān)聯(lián)模型表：通過數(shù)據(jù)挖掘?qū)㈥P(guān)聯(lián)規(guī)則一次性生成，并存入數(shù)據(jù)表中。例如：一次性生成幾個(gè)月以來的關(guān)聯(lián)規(guī)則。同時(shí)，為了適應(yīng)用戶的動(dòng)態(tài)更新，在一定周期內(nèi)，根據(jù)服務(wù)器負(fù)載情況，在負(fù)載最低的時(shí)間段，執(zhí)行一次數(shù)據(jù)挖掘模型，將關(guān)聯(lián)規(guī)則更新到規(guī)則表中，以確保影片推薦的精確性。前臺(tái)點(diǎn)擊時(shí)，只要使用SQL查詢?cè)摂?shù)據(jù)表中對(duì)應(yīng)的項(xiàng)即可作出影片推薦，從根本上減輕服務(wù)器的點(diǎn)播壓力。

3. 前臺(tái)推薦程序：該程序通過獲取用戶當(dāng)前點(diǎn)擊的影片名稱，查詢關(guān)聯(lián)規(guī)則表中滿足推薦的影片，如果查詢到滿足條件的記錄，則輸出地址鏈接，將推薦的結(jié)果鏈接到影片播放界面。通過智能化地引導(dǎo)和推薦影片，提高VOD點(diǎn)播系統(tǒng)的服務(wù)效率。

由于各站點(diǎn)的數(shù)據(jù)本身具有自述性和動(dòng)態(tài)可變性，半結(jié)構(gòu)化的Web數(shù)據(jù)模型是研究Web挖掘、信息檢索、智能引擎及Web用戶訪問模式挖掘的前提和重點(diǎn)。[9]面向Web的數(shù)據(jù)挖掘必須以半結(jié)構(gòu)化模型和半結(jié)構(gòu)化數(shù)據(jù)模型抽取技術(shù)為前提。針對(duì)Web數(shù)據(jù)半結(jié)構(gòu)化的特點(diǎn)，尋找一個(gè)半結(jié)構(gòu)化的數(shù)據(jù)模型是解決問題的關(guān)鍵所在。我們將不斷探索，使Web挖掘更好地服務(wù)于網(wǎng)絡(luò)教學(xué)。

擴(kuò)展閱讀：

[1] Jiawei Han，Micheline Kam ber.Data Mining Concepts and Techniques [M].Beijing：Higher Education Press，2007，240-243.

[2]Pereira Jr，Baeza-Yates A R.Applications of an web information mining model to data mining and information retrieval tasks[J].Proceedings International Workshop on Database and Expert Systems Applications.2006：1031-1035.

[3]Lisheng Ma，Huiwen Deng.Fast algorithm for mining maximal frequent itemsets[C]// Proceedings of international Conference on Data Engineering，2007：86-91.

[4]Zhao Hui Tang，Jamie Mac Lennan.Data Mining with SQL Server 2005[M].Beijing：Tsinghua University Press，2007：199-200，322-323.

[5]Pannar J，Garg S.Modifiedweb aecess pattern approachfor sequential pattern mining.Computer Science[M].2007，(6)：46-54.

[6]R Gruber. Towards Principles for the Design of Anthologies Used for Knowledge Sharing[J].International Journal of Human-Computer Studies，2009(43).907-928.

[7]L.Zhen，G.Q. Huang，Z. Jiang，Recommender system based on workflow，Decision Support Systems2009 (48) 237-245.

[8]翁小蘭，孫蕾.基于WEB日志挖掘優(yōu)化VOD系統(tǒng)中影片的歸類[J].Computer Applications and Softwar，2007，(10)：125-127.

[9]Bunchner A G，Mulvenna M D.Discovering Internet Marketing Intelligence Through Online nalytical Web Using Mining[J].Sigmod Record，2006，27 (4)：145-156[J].

（作者單位為南通大學(xué)現(xiàn)代教育技術(shù)中心）

本文獲江蘇省現(xiàn)代教育技術(shù)研究2010年度課題資助，課題名稱：《基于校園網(wǎng)VOD視頻點(diǎn)播系統(tǒng)的視頻教學(xué)資源整合與個(gè)性化研究》，課題編號(hào)：2010-R-16632。

德州儀器：3D投影機(jī)將創(chuàng)建沉浸式學(xué)習(xí)環(huán)境

本刊訊 德州儀器于2月8日在北京召開記者會(huì)，聲稱DLP在2011年全球投影顯示市場擁有近55%的市場份額，到目前為止，DLP芯片的出貨量已經(jīng)超過了3千萬，未來將投入到新興的嵌入式投影市場，并將在教育市場發(fā)力。

德州儀器致力于教育的創(chuàng)新，希望通過提供各種創(chuàng)新技術(shù)，包括DLP的3D-Ready投影、互動(dòng)投影、超短焦、無燈泡投影技術(shù)等，幫助學(xué)校提升學(xué)生學(xué)習(xí)的主動(dòng)性、積極性。

德州儀器高級(jí)副總裁兼DLP產(chǎn)品事業(yè)部總經(jīng)理Kent Novak表示，在現(xiàn)今全球教育創(chuàng)新的改革中，3D教學(xué)已成為一個(gè)不容忽視的發(fā)展趨勢(shì)。DLP憑借其創(chuàng)新技術(shù)，創(chuàng)造性地使學(xué)?？梢酝ㄟ^平價(jià)單機(jī)3D投影機(jī)實(shí)現(xiàn)沉浸式教學(xué)，從而為學(xué)生帶來更真實(shí)而動(dòng)態(tài)的學(xué)習(xí)環(huán)境，進(jìn)而大大地調(diào)動(dòng)學(xué)生的學(xué)習(xí)熱情，并大幅提升他們的學(xué)習(xí)成績。

德州儀器除了在教育領(lǐng)域創(chuàng)新技術(shù)之外，還在數(shù)字影院、微型投影、嵌入式投影等方面帶動(dòng)更多極具創(chuàng)意應(yīng)用的發(fā)展。