智能化普適多媒體服務(wù)模式與支持技術(shù)研究

張宇　閆幸

摘? 要? 文章闡述了普適多媒體服務(wù)的模式和過程，分析了其中所需的多媒體處理技術(shù)、大數(shù)據(jù)技術(shù)、深度學(xué)習(xí)、云計算、社會物聯(lián)網(wǎng)等各種新技術(shù)對于展開服務(wù)規(guī)?；瘧?yīng)用的支持作用。闡述了智能化普適多媒體服務(wù)集成框架的需求分析、設(shè)計方法和原則，設(shè)計了其體系結(jié)構(gòu)，并對其中主要服務(wù)器的功能進行了說明。

關(guān)鍵詞? 人工智能;普適服務(wù);多媒體;大數(shù)據(jù);云計算

中圖分類號? G2? ? ? 文獻標(biāo)識碼? A? ? ? 文章編號? 2096-0360（2020）13-0025-04

普適多媒體服務(wù)是指以人為中心，隨時隨地、無所不在的，能夠通過各種網(wǎng)絡(luò)終端設(shè)備和各種媒體形式，為用戶提供各種業(yè)務(wù)的內(nèi)容服務(wù)。與互聯(lián)網(wǎng)環(huán)境不同的是普適服務(wù)不僅要考慮用戶與內(nèi)容、用戶與用戶之間的關(guān)系，而且要考慮時空環(huán)境、網(wǎng)絡(luò)終端設(shè)備等情境因素對用戶需求的影響。其目標(biāo)是在適宜的情境下，以適宜的方式和形式，為用戶提供豐富多彩的內(nèi)容[1]。

目前，國內(nèi)外研究人員在普適計算、個性化服務(wù)、多媒體技術(shù)等相關(guān)領(lǐng)域進行了深入的研究，取得了大量成果。但受到理論、技術(shù)、網(wǎng)絡(luò)和軟硬件設(shè)備條件等的限制，讓各種普適多媒體服務(wù)業(yè)務(wù)真正融入人們的日常工作和生活，以更加靈活、主動和智能的方式提供滿足用戶需求的內(nèi)容產(chǎn)品，展開大規(guī)模的應(yīng)用，還需要較長的一段研究與實踐的過程。人工智能、大數(shù)據(jù)、深度學(xué)習(xí)和云計算等新的理論和技術(shù)的發(fā)展為上述目標(biāo)的實現(xiàn)提供了重要的支撐。能夠不斷滿足普適環(huán)境下用戶對于多媒體服務(wù)的及時性、多樣性、易用性、穩(wěn)定性和安全性的各種要求。普適多媒體服務(wù)的發(fā)展趨勢表現(xiàn)為：從單一媒體到跨媒體;從分散到統(tǒng)一;從設(shè)備到云端;從數(shù)據(jù)到語義;從感知到認知。要實現(xiàn)各種規(guī)?；膽?yīng)用，智能化是必由之路。

1? 普適多媒體服務(wù)的模式與過程分析

1.1? 普適多媒體服務(wù)的模式

普適多媒體服務(wù)的業(yè)務(wù)模式多樣，如：智慧旅游、智能家居、智慧圖書館、移動學(xué)習(xí)、遠程醫(yī)療、普適推薦、智能汽車等。表1總結(jié)了從不同視角對普適多媒體服務(wù)模式的分類，這些類型可以進行多種組合，從而為用戶提供種類繁多的服務(wù)。

1.2? 普適多媒體服務(wù)的過程

1.2.1? 服務(wù)系統(tǒng)的學(xué)習(xí)過程

服務(wù)系統(tǒng)的學(xué)習(xí)過程主要回答：用戶在何種情境下需要何種類型、何種形式內(nèi)容的問題。該問題又細化為5個階段：

1）原始數(shù)據(jù)獲?。杭磸谋?描述的各類數(shù)據(jù)網(wǎng)絡(luò)中獲取原始數(shù)據(jù)，這些數(shù)據(jù)通常具有時間戳，詳細記錄了用戶在怎樣的情境下，通過何種方式獲取過何種類型和形式的內(nèi)容。

2）數(shù)據(jù)預(yù)處理：預(yù)處理階段需要清除無意義的、冗余的數(shù)據(jù)、解決數(shù)據(jù)的沖突、對缺失的數(shù)據(jù)進行填補、通過本體對其進行規(guī)范描述，形成集成完整的數(shù)據(jù)集。

3）數(shù)據(jù)存儲：部分數(shù)據(jù)是即取即用，提取出規(guī)則即可;而有的數(shù)據(jù)則需要以適當(dāng)?shù)母袷酱鎯σ源罄m(xù)分析。隨著用戶數(shù)量的增長，上下文數(shù)據(jù)種類的增加，多媒體內(nèi)容資源量的增長，傳統(tǒng)的服務(wù)器處理方式很難勝任工作，需要運用云計算的理念，采用彈性的方式組織。

4）數(shù)據(jù)分析：其目標(biāo)是發(fā)現(xiàn)描述用戶情境的上下文數(shù)據(jù)的類型、取值與用戶具體需求之間的各種關(guān)系，為后續(xù)系統(tǒng)的服務(wù)決策提供支持。這一階段的工作最為重要也最為復(fù)雜。

5）規(guī)則存儲與更新：主要任務(wù)是將數(shù)據(jù)分析階段得到的各種上下文與用戶需求之間的關(guān)聯(lián)知識進行保存，以備系統(tǒng)工作過程使用。用戶興趣具有漂移的特征，學(xué)習(xí)機制需要不斷運行，對服務(wù)規(guī)則進行更新。對于大規(guī)模的服務(wù)系統(tǒng)，一般采用增量式學(xué)習(xí)方式。

1.2.2? 服務(wù)系統(tǒng)的工作過程

從用戶與系統(tǒng)的交互方式視角看，可分為推式、拉式和互動方式。

1）主動推送：可分為兩種問題。第一種即已知用戶及其情境信息，求解適宜推薦的內(nèi)容;第二種即已知需要推送的內(nèi)容，求解需要被推送內(nèi)容的目標(biāo)用戶及其情境。兩種問題的本質(zhì)均是在系統(tǒng)學(xué)習(xí)過程得到的規(guī)則庫中提取所需的知識規(guī)則。規(guī)則的提取通過對知識庫中的用戶偏好與內(nèi)容相似性的計算、規(guī)則情境與現(xiàn)實情境的相似性計算的方式進行，當(dāng)滿足相似度閾值時，做出內(nèi)容推送決策[1]。

2）用戶請求：在用戶發(fā)出請求之前主動感知描述用戶情境的基本上下文數(shù)據(jù)，可以提高系統(tǒng)的響應(yīng)速度，如：系統(tǒng)可事先對粗粒度的時間上下文（工作日、周末）、位置上下文（圖書館、操場、寢室等）進行獲取工作，根據(jù)情境偏好知識庫中的知識規(guī)則對業(yè)務(wù)內(nèi)容進行初始排序;在用戶開始與系統(tǒng)進行交互時，再逐次獲取知識庫中描述情境的其他類型的上下文數(shù)據(jù)，對內(nèi)容服務(wù)類目及其子類目的優(yōu)先級進行調(diào)整。這種方式在一定程度上能夠平衡系統(tǒng)負載，體現(xiàn)系統(tǒng)的智能化特征，獲得良好的用戶體驗。

1.2.3? 多媒體內(nèi)容的適配過程

普適環(huán)境相對于固網(wǎng)環(huán)境在多媒體服務(wù)方面具有很多劣勢，如：屏幕尺寸小、處理器運行速度較低、輸入不方便、文件支持度較低、網(wǎng)絡(luò)速度限制等。內(nèi)容適配是根據(jù)用戶偏好，在網(wǎng)絡(luò)和終端能力約束的條件下，通過各種多媒體處理技術(shù)對內(nèi)容進行加工處理，使各種內(nèi)容資源滿足用戶需求的過程。傳統(tǒng)的多媒體服務(wù)業(yè)務(wù)往往需要用戶和內(nèi)容提供商做出大量的手工選擇和處理，要實現(xiàn)大規(guī)模的應(yīng)用，內(nèi)容適配過程的自動化和智能化也是必然趨勢，即根據(jù)用戶的偏好、網(wǎng)絡(luò)和終端條件，主動智能地為其選擇、加工和推送內(nèi)容。

內(nèi)容適配首先需要對終端設(shè)備和網(wǎng)絡(luò)特征進行描述，將這些特征與內(nèi)容元數(shù)據(jù)進行比較，然后對內(nèi)容進行各種處理。目前一些國際組織已提出一些相關(guān)的元數(shù)據(jù)規(guī)范，具體應(yīng)用需要結(jié)合各種參數(shù)進一步擴展。內(nèi)容適配需要信息處理領(lǐng)域一系列智能技術(shù)的支持，如：信息提取、文本摘要、媒體形式轉(zhuǎn)換、圖像縮放、碼率和分辨率調(diào)整等。

2? 智能化普適多媒體服務(wù)支持技術(shù)分析

2.1? 多媒體處理技術(shù)

多媒體信息的載體主要有文本、圖形、圖像、音頻、視頻等。多媒體技術(shù)融合了對多種媒體、復(fù)雜的智能化處理和交互，具有多樣性、集成性、實時交互性、信息儲量大等特征。目前，多媒體技術(shù)已廣泛應(yīng)用于工業(yè)、農(nóng)業(yè)、國防、教育和娛樂等諸多領(lǐng)域。本文探討的重點并非已得到成熟應(yīng)用的編碼、傳輸、壓縮、解碼、同步以及數(shù)據(jù)庫等技術(shù);而在于跨媒體分析、集成化、嵌入化、智能化等方面，其應(yīng)用如：計算機視覺、智能監(jiān)測、醫(yī)學(xué)診斷、虛擬現(xiàn)實技術(shù)等。

對于智能化普適多媒體服務(wù)的研究，需要特別關(guān)注的兩個方向：一是跨媒體智能[2]，其主要目標(biāo)是面向不同的系統(tǒng)，使用不同的轉(zhuǎn)換規(guī)則，智能地進行數(shù)據(jù)轉(zhuǎn)換和集成。因此要求智能數(shù)據(jù)適配器必須具有通用性、智能性、穩(wěn)定性和可解釋性的特點。二是多媒體內(nèi)容理解[3]，如：對于文本、圖像、音頻和視頻，讓計算機能夠識別其中表達的主題思想。該技術(shù)在普適環(huán)境下，可用于目標(biāo)監(jiān)測、用戶行為、心理、健康狀態(tài)等的分析與識別，是實現(xiàn)普適環(huán)境下精準(zhǔn)化服務(wù)的前提條件。大數(shù)據(jù)和深度學(xué)習(xí)技術(shù)為實現(xiàn)該目標(biāo)提供了有力的支撐。

2.2? 大數(shù)據(jù)技術(shù)

普適多媒體服務(wù)的數(shù)據(jù)來源多樣：描述用戶靜態(tài)特征的上下文數(shù)據(jù)，動態(tài)心理、行為特征的上下文數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)、移動網(wǎng)絡(luò)數(shù)據(jù)、寬帶衛(wèi)星、GIS、GPS數(shù)據(jù)等。這些數(shù)據(jù)在規(guī)模、時間、類型等方面都有著不同的特性。如：種類繁多、數(shù)據(jù)量大、結(jié)構(gòu)異構(gòu)、變化速度快、價值密度低等。對這些數(shù)據(jù)進行處理和分析，采用傳統(tǒng)的基于模型的方法顯得力不從心。通過大數(shù)據(jù)分析和處理技術(shù)，構(gòu)建通過各種特征描述的用戶集之間、多媒體內(nèi)容集之間、情境集之間，及其三者之間的關(guān)聯(lián)關(guān)系，以此來支持普適多媒體服務(wù)的智能化。在服務(wù)提供的整個過程中，大數(shù)據(jù)技術(shù)的作用包括：海量異構(gòu)媒體數(shù)據(jù)的采集;數(shù)據(jù)的預(yù)處理;分布式文件系統(tǒng)管理及負載均衡;各類數(shù)據(jù)的關(guān)聯(lián)分析等[4]。

2.3? 深度學(xué)習(xí)技術(shù)

目前，普適服務(wù)領(lǐng)域的研究在描述用戶情境的上下文類型定義上比較全面，本文將上下文歸納為4個基本的類目：時空上下文、物理上下文、用戶上下文和計算上下文，如圖1所示。但是由于受到網(wǎng)絡(luò)及軟硬件條件和處理方法的局限，各種服務(wù)應(yīng)用所能使用的上下文種類非常有限，一般僅限于部分靜態(tài)上下文，如：性別、職業(yè)、終端描述等;動態(tài)上下文的情況則更加困難，能夠使用的僅限于如：時間、位置、溫度等。要提供更加精準(zhǔn)智能的服務(wù)，用戶活動、心理狀態(tài)、意圖的識別對于準(zhǔn)確理解用戶在普適環(huán)境中的內(nèi)容需求至關(guān)重要。

深度學(xué)習(xí)如今己成為人工智能領(lǐng)域一個熱門的研究方向，推動了整個人工智能領(lǐng)域的發(fā)展，在圖像處理、語音識別、情感識別、行為識別，目標(biāo)檢測、自然語言理解等領(lǐng)域的應(yīng)用中取得了令人滿意的效果。多智能深度強化學(xué)習(xí)將是深度學(xué)習(xí)進一步研究的方向，其應(yīng)用包括：一是社交行為學(xué)習(xí)，目的是挖掘出用戶的模式，從而預(yù)測用戶的行為;二是跨媒體學(xué)習(xí)，以逐層學(xué)習(xí)的方式提取海量跨媒體信息的特征，尋求不同模態(tài)信息的關(guān)聯(lián)，提高跨媒體檢索效率[5];三是構(gòu)建推薦算法和推薦系統(tǒng)，根據(jù)用戶模式，從海量大數(shù)據(jù)中挖掘出用戶最需要的內(nèi)容，大大節(jié)約用戶搜索數(shù)據(jù)的時間。然而，深度學(xué)習(xí)目前也存在較多問題：參數(shù)過多、計算代價大;應(yīng)用較多而理論研究滯后;用深度模型來表示語義信息還需要更多的研究等。

2.4? 云計算技術(shù)

云計算集合了虛擬化、并行計算、分布式處理、大數(shù)據(jù)的存儲與處理技術(shù)、資源管理與調(diào)度等多項技術(shù)。其理念是通過提高云的處理能力，減少用戶終端的處理負擔(dān)，使用戶能以即插即用的方式享受強大的計算處理能力[6]。特點：彈性服務(wù)、資源池化、按需服務(wù)、服務(wù)可計費、泛在接入。服務(wù)提供商和用戶均可不再受到本地服務(wù)器和設(shè)備資源的限制，用戶可在云服務(wù)器中存儲和訪問豐富的多媒體資源，并且還可延長用戶終端的續(xù)航時間和使用壽命。

普適計算雖經(jīng)過多年的發(fā)展，仍未進入規(guī)?；瘧?yīng)用。主要原因：一是網(wǎng)絡(luò)帶寬和接入能力不足;二是設(shè)備計算能力不足。云計算和普適寬帶網(wǎng)絡(luò)的出現(xiàn)，對普適計算所需的大容量帶寬和實時計算能力的要求提供了有力保障。云媒體具有非常廣闊的應(yīng)用前景，可用于娛樂、教育、安防等諸多領(lǐng)域。目前，云媒體在解決媒體任務(wù)時仍面臨著許多問題和挑戰(zhàn)，如：多媒體資源、網(wǎng)絡(luò)及設(shè)備的異構(gòu)性、任務(wù)合理調(diào)度問題、媒體服務(wù)器負載均衡問題等。

2.5? 社會物聯(lián)網(wǎng)技術(shù)

物聯(lián)網(wǎng)是通過RFID、紅外傳感、GPS等信息傳感設(shè)備，按約定的協(xié)議，通過各種網(wǎng)絡(luò)將各種終端設(shè)備聯(lián)接起來，進行信息交換和通訊，以實現(xiàn)智能控制和管理的網(wǎng)絡(luò)。物聯(lián)網(wǎng)主要考慮物體管理與物體連接的問題，忽略了傳感器設(shè)備和用戶終端所反映出來的人與人之間的關(guān)系，如：智慧旅游系統(tǒng)設(shè)計中，通過GPS系統(tǒng)獲取到多位用戶在某地景點旅游，通過PDA設(shè)備的物物關(guān)系，可以建立人與人之間的關(guān)系，相互分享心得，推薦具有特色風(fēng)土人情的景點、餐飲地點信息等。社會物聯(lián)網(wǎng)[7]將物聯(lián)網(wǎng)與社會網(wǎng)絡(luò)相結(jié)合，形成物與物、人與物、人與人之間范圍更大的全面感知的社會物聯(lián)網(wǎng)體系，可以高效地支持和構(gòu)建新的普適多媒體服務(wù)業(yè)務(wù)。

社會物聯(lián)網(wǎng)作為一個新興的領(lǐng)域，相關(guān)研究仍處于發(fā)展階段，除相關(guān)技術(shù)問題外，如何利用相關(guān)模型和方法構(gòu)建本研究所需的用戶群體、情境集合和多媒體資源集合之間的相互關(guān)系，在開放、動態(tài)和多變的普適環(huán)境中為用戶提供豐富多彩的服務(wù)是需要重點研究的問題。

3? 智能化普適多媒體服務(wù)集成框架的分析與設(shè)計

3.1? 需求分析

構(gòu)建智能普適多媒體服務(wù)集成框架是一個龐大復(fù)雜的系統(tǒng)工程，從對功能需求的分析來看，需要實現(xiàn)的集成包括4個方面的內(nèi)涵：

1）不同種類多媒體信息資源的集成。

2）學(xué)習(xí)機制和工作機制的集成。

3）內(nèi)容管理和內(nèi)容適配功能的集成。

4）不同種類多媒體業(yè)務(wù)的集成。

3.2? 設(shè)計方法和原則

1）為保證其可行性，框架設(shè)計從大處著眼，系統(tǒng)實施從小處著手。系統(tǒng)實施不必要也不可能一次實現(xiàn)一個包羅萬象的服務(wù)系統(tǒng)。首先展開用戶需求的調(diào)研工作，對于有較大需求的業(yè)務(wù)優(yōu)先安排設(shè)計和實施，提供的服務(wù)類型從少到多、功能由簡到繁，逐步展開。

2）多媒體資源和服務(wù)的統(tǒng)一規(guī)范的語義描述是集成的基礎(chǔ)，為實現(xiàn)上下文數(shù)據(jù)和多媒體內(nèi)容服務(wù)資源的共享和重用，提高系統(tǒng)的可擴展性，在多媒體資源管理層和業(yè)務(wù)應(yīng)用服務(wù)層之間加入知識管理層，實現(xiàn)多媒體服務(wù)資源和具體業(yè)務(wù)應(yīng)用的松耦合。

3）權(quán)衡各種優(yōu)勢和劣勢，充分利用上述智能化支持技術(shù)，傳統(tǒng)的普適服務(wù)方法一般只能實現(xiàn)一些簡單和具體領(lǐng)域的小規(guī)模應(yīng)用，智能化是規(guī)?；谋赜芍贰?/p>

4）充分考慮用戶體驗，將結(jié)構(gòu)復(fù)雜、需要大規(guī)模運算能力、存儲能力的任務(wù)交由云服務(wù)器端，對于節(jié)省用戶開支，保證良好的用戶滿意度具有重要意義。

3.3? 集成框架的體系結(jié)構(gòu)

集成框架是由互聯(lián)網(wǎng)、移動通訊網(wǎng)、GPS網(wǎng)絡(luò)等各種普適網(wǎng)絡(luò)所組成的復(fù)雜網(wǎng)絡(luò)體系。服務(wù)框架的4個層次和各個層次包含的主要服務(wù)器及其功能說明如下：

1）上下文數(shù)據(jù)管理層：通過各種渠道獲取和感知用戶的上下文數(shù)據(jù)，對其進行必要的處理。主要包括的服務(wù)器：實時通信服務(wù)器，用于連接知識管理層;上下文管理服務(wù)器負責(zé)上下文數(shù)據(jù)的獲取、規(guī)范描述和推理解釋任務(wù)。

2）多媒體資源管理層：主要承擔(dān)根據(jù)用戶偏好和網(wǎng)絡(luò)終端的限制對多媒體內(nèi)容的獲取，形式、格式等進行必要的轉(zhuǎn)換和存儲等任務(wù)。主要包括的服務(wù)器：實時通信服務(wù)器，連接知識管理層;內(nèi)容適配服務(wù)器負責(zé)管理用戶網(wǎng)絡(luò)和終端的參數(shù)信息，將用戶請求與網(wǎng)絡(luò)終端參數(shù)進行比較，做出內(nèi)容轉(zhuǎn)換和處理任務(wù)的決策。內(nèi)容管理服務(wù)器：負責(zé)獲取服務(wù)所需的多媒體資源，根據(jù)適配服務(wù)器的需求對多媒體資源進行處理和存儲任務(wù)。

3）知識管理層：對統(tǒng)一描述的用戶上下文數(shù)據(jù)和需求數(shù)據(jù)，分析其中蘊含的各種關(guān)系和規(guī)律，形成知識，存儲于普適多媒體服務(wù)知識庫中。主要包括的服務(wù)器：本體資源服務(wù)器負責(zé)提供不同層次和領(lǐng)域的本體資源，對各類異構(gòu)大數(shù)據(jù)提供統(tǒng)一描述。大數(shù)據(jù)分析服務(wù)器主要負責(zé)挖掘用戶、情境和多媒體內(nèi)容之間的關(guān)聯(lián)規(guī)則，存入知識庫;并以增量方式對知識庫進行更新。匹配服務(wù)器主要履行各類用戶、資源和情境的匹配任務(wù)，進行相似度計算和排序，做出是否推薦的決策。

4）業(yè)務(wù)應(yīng)用服務(wù)層：利用知識管理層中知識庫中的規(guī)律知識，用于構(gòu)建不同領(lǐng)域和各種方式的普適多媒體內(nèi)容服務(wù)。主要包括的服務(wù)器：查詢分析服務(wù)器，接收和處理用戶請求。用戶管理服務(wù)器：負責(zé)用戶和內(nèi)容提供商的注冊和管理工作。業(yè)務(wù)管理服務(wù)器，構(gòu)建業(yè)務(wù)與內(nèi)容資源的多對多關(guān)系，對不同的多媒體業(yè)務(wù)進行分類管理。

4? 總結(jié)

普適多媒體服務(wù)業(yè)務(wù)具有良好的發(fā)展?jié)摿Γ悄芑夹g(shù)是其規(guī)?；瘧?yīng)用的有效支撐。本文總結(jié)了普適多媒體服務(wù)的模式，將其服務(wù)過程分為系統(tǒng)學(xué)習(xí)、系統(tǒng)工作和內(nèi)容適配三個階段。分析了目前已經(jīng)廣泛展開研究的多媒體智能處理技術(shù)、大數(shù)據(jù)技術(shù)、深度學(xué)習(xí)技術(shù)等各種技術(shù)對于服務(wù)智能化的支持作用，并闡述了各種技術(shù)的優(yōu)劣勢。最后提出了智能化普適多媒體服務(wù)的集成框架，設(shè)計了其體系結(jié)構(gòu)和主要服務(wù)器的功能。

參考文獻

[1]張宇.個性化移動內(nèi)容服務(wù)的模型和支持技術(shù)研究[D].武漢：華中科技大學(xué)，2010.

[2]白亮，郭金林，老松楊.基于深度認知神經(jīng)網(wǎng)絡(luò)的跨媒體情報大數(shù)據(jù)智能處理技術(shù)[J]指揮與控制學(xué)報，2016，2（4）：345-349.

[3]彭宇新，綦金瑋，黃鑫.多媒體內(nèi)容理解的研究現(xiàn)狀與展望[J].計算機研究與發(fā)展，2019，56（1）：183-208.

[4]李學(xué)龍，龔海剛.大數(shù)據(jù)系統(tǒng)綜述[J].中國科學(xué)（信息科學(xué)），2015，45（1）：1-44.

[5]彭欣.基于深度學(xué)習(xí)的數(shù)字圖書館跨媒體語義檢索方法研究[J].情報探索，2018（2）：16-19.

[6]王家慶.多媒體云計算中的資源管理研究[D].南京：南京郵電大學(xué)，2018.

[7]趙明慧.基于智能算法的社會物聯(lián)網(wǎng)可信服務(wù)適配研究[D].南京：南京郵電大學(xué)，2018.