以用戶為中心的社會(huì)多媒體計(jì)算

桑基韜+查正軍+徐常勝

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1009-6868 （2014） 01-0026-005

User-Centric Social Multimedia Computing

摘要：從用戶的角度解讀社會(huì)多媒體計(jì)算框架，提出一種以用戶為中心的社會(huì)多媒體計(jì)算框架。在這個(gè)框架下，重新探討了以用戶為中心的社會(huì)多媒體計(jì)算3方面的任務(wù)：用戶感知的多媒體內(nèi)容理解、基于網(wǎng)絡(luò)行為的用戶建模、社會(huì)媒體網(wǎng)絡(luò)用戶關(guān)系分析。

關(guān)鍵詞： 社會(huì)多媒體計(jì)算；以用戶為中心；多媒體內(nèi)容分析；用戶建模；用戶關(guān)系分析

Abstract： A user-centric social multimedia computing framework is proposed in this paper. We look at three example works in order to propose three fundamental tasks in user-centric social multimedia computing： understanding user-aware social multimedia content， modeling online activity of users， and analyzing social relationships.

Key words： social multimedia computing； user-centric analysis； multimedia content analysis； user modeling； social relationship analysis

近10年的網(wǎng)絡(luò)發(fā)展見證了社會(huì)媒體（Social Media）信息的爆炸式增長。據(jù)統(tǒng)計(jì)，每分鐘有超過100 h的視頻被上傳到視頻分享網(wǎng)站YouTube，每個(gè)月觀看的視頻數(shù)量超過了60億小時(shí)。根據(jù)維基百科的定義，廣義的社會(huì)媒體涵蓋了時(shí)下幾乎所有流行的Web2.0網(wǎng)站和服務(wù)，其包括社交網(wǎng)站、圖片分享、視頻分享、簽到網(wǎng)站、微博、博客、實(shí)時(shí)通訊、社交游戲、虛擬世界、RSS訂閱等。

社會(huì)媒體具有典型的多媒體特性，大多社會(huì)媒體服務(wù)都與多媒體數(shù)據(jù)進(jìn)行深度交互，如圖像分享（Flickr、Picasa提供）、視頻共享（YouTube、Vimeo、優(yōu)酷提供）、音頻音樂共享（last.fm、ccMixter、FreeSound提供）。此外，一些新興的社會(huì)媒體應(yīng)用還包括虛擬世界（Second Life提供）、網(wǎng)絡(luò)游戲（World of Warcraft、WarHammer Online提供）等新模態(tài)數(shù)據(jù)。多媒體數(shù)據(jù)已經(jīng)成為社會(huì)媒體最主要的分享和交互媒介。GlobalWebIndex公布的2013年第一季度最活躍的15家社會(huì)媒體網(wǎng)站中，有4家專注于多媒體內(nèi)容分享，其他則為以多媒體內(nèi)容為重要交互媒介的社交網(wǎng)絡(luò)服務(wù)（SNS）和微博類網(wǎng)站。社會(huì)媒體呈現(xiàn)出明顯的多媒體化趨勢。如短文本服務(wù)Twitter增加了對圖片和視頻分享的支持，并在近日全力推出了短視頻分享服務(wù)Vine；其在Andorid平臺(tái)上線僅僅一周便排名免費(fèi)應(yīng)用（APP）榜第4位，上線一個(gè)月后外鏈分享數(shù)量就超過Instagram。而騰訊推出的語音聊天工具微信，兩年內(nèi)用戶突破3億，已經(jīng)超越中國第一聊天工具QQ，并有取代短信的趨勢。

Mor Naaman[1]第一次將社會(huì)多媒體定義為“支持個(gè)體參與、社區(qū)形成和社會(huì)交互的在線多媒體資源”。從這一定義看出，社會(huì)多媒體可簡單理解為社會(huì)媒體和多媒體的綜合體。社會(huì)多媒體由3個(gè)基本元素構(gòu)成：多媒體內(nèi)容、網(wǎng)絡(luò)用戶和社會(huì)交互。社會(huì)多媒體計(jì)算是社會(huì)學(xué)與多媒體技術(shù)深度融合后產(chǎn)生的跨學(xué)科研究[2]，其目的是通過分析和利用社會(huì)交互，將多媒體內(nèi)容與網(wǎng)絡(luò)用戶連接，以應(yīng)用于信息服務(wù)、網(wǎng)絡(luò)通信、多媒體娛樂、醫(yī)療健康、安全監(jiān)控等。對應(yīng)于社會(huì)多媒體的3要素，社會(huì)多媒體計(jì)算包含3個(gè)主要任務(wù)：社會(huì)多媒體內(nèi)容理解、網(wǎng)絡(luò)用戶建模和社會(huì)媒體網(wǎng)絡(luò)分析。

在社會(huì)多媒體的3要素中，網(wǎng)絡(luò)用戶尤為重要。與一般的網(wǎng)絡(luò)多媒體不同，社會(huì)多媒體包含了重要的用戶參與，更注重用戶間的交互，用戶從信息的被動(dòng)接受者轉(zhuǎn)變?yōu)樾畔⒌闹鲃?dòng)貢獻(xiàn)者。網(wǎng)絡(luò)用戶是社會(huì)媒體中基本的數(shù)據(jù)采集單元，一定程度上，是用戶的積極參與和社會(huì)交互-用戶貢獻(xiàn)內(nèi)容（UGC）促成了社會(huì)媒體的發(fā)展和社會(huì)多媒體內(nèi)容的繁榮。將網(wǎng)絡(luò)用戶理解為數(shù)據(jù)感知器，社會(huì)多媒體實(shí)際是由用戶所見、所聽、所說、所想組成的。據(jù)EMC公司統(tǒng)計(jì)，平均每個(gè)人貢獻(xiàn)的社會(huì)媒體數(shù)據(jù)已經(jīng)接近45 GB，而這其中主要是多媒體數(shù)據(jù)。將個(gè)體貢獻(xiàn)的社會(huì)多媒體數(shù)據(jù)進(jìn)行整合，可以挖掘出極具價(jià)值的群體智能。如經(jīng)典的ESP游戲?qū)⒂脩魠f(xié)作完成任務(wù)時(shí)的知識(shí)應(yīng)用于圖像標(biāo)注和圖像分割；最近被Google收購的導(dǎo)航應(yīng)用通過收集并分析用戶提交的出行時(shí)間和路線狀況生成實(shí)時(shí)路況信息。UGC不僅是社會(huì)多媒體的主要組成部分，還成為了人們獲取信息的主要渠道。雜志類社交應(yīng)用Flipboard將網(wǎng)絡(luò)用戶在各社交網(wǎng)站上貢獻(xiàn)的信息根據(jù)個(gè)體喜好加以定制，并以電子雜志形式輸出。其獲得了2013年全球移動(dòng)通信大會(huì)最佳整體移動(dòng)應(yīng)用程序獎(jiǎng)。據(jù)AccuStream統(tǒng)計(jì)，互聯(lián)網(wǎng)視頻瀏覽總量中有77.9%聚焦于用戶上傳視頻，專業(yè)視頻所擁有的瀏覽量只占22.1%；這一比例在最大的視頻分享和瀏覽網(wǎng)站YouTube上更是達(dá)到了懸殊的94%比6%。在教育領(lǐng)域，大規(guī)模在線開放課堂（MOOC）在2011—2013年經(jīng)歷了10倍的增長，作為遠(yuǎn)程教育的新形式，為大學(xué)開放教育資源提供了新的解決思路。人們在信息獲取時(shí)對UGC的偏好甚至還體現(xiàn)在醫(yī)療領(lǐng)域，一項(xiàng)來自O(shè)RCInternatinal的統(tǒng)計(jì)顯示，有67%的受調(diào)查者曾在網(wǎng)上搜索UGC評論，借此了解和比較所使用的藥品。

在社會(huì)多媒體背景下，網(wǎng)絡(luò)用戶既是信息的貢獻(xiàn)者，又是信息的服務(wù)對象。社會(huì)多媒體有顯著的消費(fèi)化趨勢。iUserTracker顯示，2013年1月份中國網(wǎng)絡(luò)用戶使用量前4位的網(wǎng)絡(luò)服務(wù)分別是搜索、視頻瀏覽、社交網(wǎng)絡(luò)和新聞?？梢钥闯?，信息服務(wù)已經(jīng)成為中國最主要的網(wǎng)絡(luò)服務(wù)應(yīng)用，內(nèi)容涵蓋日常生活、工作和娛樂。然而，社會(huì)媒體的發(fā)展為基于社會(huì)多媒體的信息服務(wù)帶來的不僅是機(jī)遇，同時(shí)還有挑戰(zhàn)。在信息爆炸面前，網(wǎng)絡(luò)用戶很容易迷失在豐富繁多的社會(huì)媒體內(nèi)容里。傳統(tǒng)的一對多式的信息服務(wù)已經(jīng)無法滿足用戶的需求，越來越多的信息服務(wù)應(yīng)用開始探索個(gè)性化的一對一式服務(wù)。例如，Google搜索利用用戶在Google+中的+1行為對搜索結(jié)果進(jìn)行個(gè)性化重排序，豆瓣電臺(tái)分析用戶的收聽歷史和喜好定制專屬電臺(tái)等。個(gè)性化信息服務(wù)的關(guān)鍵是準(zhǔn)確、及時(shí)的用戶建模，即通過分析用戶行為，理解用戶意圖和喜好，從而將最相關(guān)的內(nèi)容推送給最需要的用戶。

綜上所述可知，在社會(huì)多媒體背景下，用戶既是基本的數(shù)據(jù)采集單元，又是最終的信息服務(wù)對象。本文從用戶的角度重新解讀社會(huì)多媒體計(jì)算，結(jié)合我們最近的研究工作，提出以用戶為中心的社會(huì)多媒體計(jì)算框架。一般社會(huì)多媒體計(jì)算的3個(gè)任務(wù)，在以用戶為中心的社會(huì)多媒體計(jì)算框架下本文重新解讀為：用戶感知的社會(huì)多媒體內(nèi)容理解、基于網(wǎng)絡(luò)行為的用戶建模、社會(huì)媒體網(wǎng)絡(luò)用戶關(guān)系分析。

1 用戶感知的社會(huì)多媒體

內(nèi)容理解

網(wǎng)絡(luò)用戶積極參與到社會(huì)多媒體內(nèi)容的創(chuàng)建、共享、瀏覽、標(biāo)注、評論等交互活動(dòng)中。用戶與多媒體內(nèi)容的交互體現(xiàn)了用戶對內(nèi)容的理解，比如用戶對圖像的標(biāo)注反映了圖像的語義[3]，用戶瀏覽視頻過程中的暫停等行為提供了視頻的結(jié)構(gòu)信息[4]等。分析這些用戶-內(nèi)容交互為解決多媒體內(nèi)容理解中的語義鴻溝問題提供了新的思路，下面我們以基于用戶標(biāo)注的圖像標(biāo)注增強(qiáng)為例介紹用戶感知的社會(huì)多媒體內(nèi)容理解。

多媒體搜索大致經(jīng)歷了基于多媒體內(nèi)容、基于周圍文本信息、和基于標(biāo)注信息3個(gè)階段。相比基于內(nèi)容對視覺特征的依賴、基于周圍文本對噪聲的敏感，基于標(biāo)注的多媒體搜索被認(rèn)為是最接近語義搜索的。然而，大規(guī)模的原始用戶標(biāo)注存在著不準(zhǔn)確、不完整和主觀模糊等問題，限制了基于標(biāo)注的多媒體檢索的實(shí)際效果[5]。

現(xiàn)有的針對社會(huì)標(biāo)注的分析工作大致可分為自動(dòng)標(biāo)注、標(biāo)注增強(qiáng)、標(biāo)注到區(qū)域等，旨在對原始標(biāo)注進(jìn)行處理，去除噪音、補(bǔ)充缺失標(biāo)注、得到區(qū)域?qū)诱Z義等，使其更好地為多媒體內(nèi)容理解和多媒體檢索等任務(wù)服務(wù)。這些工作解決思路的核心都是利用和分析多媒體文檔與標(biāo)注之間的二元關(guān)系。實(shí)際上，多媒體分享網(wǎng)站中有3類基本元素：多媒體文檔、標(biāo)注和用戶。圖1以圖像分享網(wǎng)站Flickr為例，展示了圖片分享網(wǎng)站的典型生態(tài)結(jié)構(gòu)，其中用戶作為標(biāo)注行為的發(fā)起者，與圖像和標(biāo)注產(chǎn)生多種交互行為，挖掘用戶信息將有助于理解原始標(biāo)注數(shù)據(jù)，從而提高社會(huì)標(biāo)注分析的效果。

我們提出將用戶信息引入社會(huì)標(biāo)注分析[6]，利用三階張量對用戶、圖像和標(biāo)注3種因子同時(shí)建模，并提出基于排序的多關(guān)聯(lián)因子分析模型（RMTF）用于提取改善的因子表示。其中，為了充分利用標(biāo)注數(shù)據(jù)，有效減少用戶原始標(biāo)注不完整和噪聲的影響，我們提出一種基于排序的張量重構(gòu)優(yōu)化框架，同時(shí)利用標(biāo)注的上下文關(guān)系和語義關(guān)系來構(gòu)造訓(xùn)練正樣本集和負(fù)樣本集。另外，為了解決原始標(biāo)注張量嚴(yán)重稀疏的問題，用戶、圖片、標(biāo)注之間的二元相似性被作為平滑約束項(xiàng)加入到優(yōu)化方程中。張量重構(gòu)得到圖像、標(biāo)注和用戶3個(gè)因子矩陣，分別定義了對應(yīng)實(shí)體的隱含子空間。通過對因子矩陣進(jìn)行空間轉(zhuǎn)換，可以分別得到改善的二元和三元關(guān)系，應(yīng)用于不同的問題。實(shí)際上，所提出的RMTF模型將3種實(shí)體有機(jī)結(jié)合在一個(gè)框架下，考慮不同實(shí)體之間的異質(zhì)或同質(zhì)關(guān)系，可以應(yīng)用到如個(gè)性化圖片檢索（用戶-圖片）、用戶建模（用戶-標(biāo)注）、好友推薦（用戶-用戶）等問題中。另外，社會(huì)媒體網(wǎng)站中存在各種各樣的元數(shù)據(jù)，如描述、評論、評分等，沿著這一工作，另一個(gè)有意義的拓展方向是將各種元數(shù)據(jù)統(tǒng)一到一個(gè)新的框架中，可以更深刻地理解社會(huì)媒體不同實(shí)體的交互，更好地服務(wù)于協(xié)同搜索和推薦問題。

2 基于網(wǎng)絡(luò)行為的用戶建模

社會(huì)媒體上能直接得到的用戶信息非常有限，其準(zhǔn)確性和豐富程度不足以用來分析用戶興趣并進(jìn)行信息服務(wù)。一方面，大多數(shù)用戶沒有耐心在注冊時(shí)將個(gè)人信息主動(dòng)提供給在線服務(wù)，這導(dǎo)致了用戶注冊信息的稀疏性和噪聲；另一方面，目前的社會(huì)媒體對于用戶隱私的保護(hù)機(jī)制不夠健全，用戶不愿將個(gè)人信息在網(wǎng)絡(luò)上公開。基于Google+上最活躍的20萬用戶統(tǒng)計(jì)發(fā)現(xiàn)，只有22.5%的用戶提供了個(gè)人婚姻狀況，而提供年齡信息的用戶比例則只有12.4%。然而，優(yōu)質(zhì)的個(gè)性化信息服務(wù)需要準(zhǔn)確完整的用戶信息。用戶豐富的在線活動(dòng)，如搜索記錄、博客、推文、簽到記錄、評論等，反映了用戶的基本屬性信息和興趣偏向。因而，解決用戶信息稀疏和噪聲問題的主要思路是基于用戶的網(wǎng)絡(luò)行為進(jìn)行用戶建模[7]，下面我們介紹如何通過分析Google+用戶的網(wǎng)絡(luò)行為來推斷用戶的基本屬性信息。

用戶的基本屬性包括性別、年齡、婚姻狀況、職業(yè)、興趣等，它們之間不是獨(dú)立的。圖2顯示了基于1億Google+用戶統(tǒng)計(jì)的用戶基本屬性之間的關(guān)系。從圖2（1）可以看出，年齡小于24歲的用戶中多數(shù)為單身，且有更大比例為學(xué)生；從圖2（2）可以看出，男性用戶的職業(yè)多集中在工程師以及IT行業(yè)等，而女性用戶則有較大比例從事老師、護(hù)士等職業(yè)。由此可見，用戶的屬性之間存在正相關(guān)或負(fù)相關(guān)的關(guān)系。因而，本工作將利用用戶屬性之間的關(guān)聯(lián)性質(zhì)來進(jìn)行用戶屬性的協(xié)同推斷。

我們考慮了性別、年齡、婚姻狀況、職業(yè)、興趣、情感傾向等7種基本用戶屬性，并根據(jù)Google+用戶的實(shí)際屬性分布為每種屬性定義了若干類別，如性別包括男性和女性兩個(gè)類別，年齡包括青年（小于30歲）和中老年（大于30歲）兩個(gè)區(qū)間等。我們提出的基于關(guān)聯(lián)屬性推斷的用戶建?？蚣苋鐖D3所示。首先基于用戶在線行為內(nèi)容提取多模態(tài)的用戶特征，包括3種視覺特征：用戶上傳圖片中檢測到的人臉、Profile圖像、創(chuàng)建Post中的圖像，以及3種文本特征：一元文本特征、語法文本特征、主題語義特征。模型部分包括3步：支持向量機(jī)（SVM）分類器學(xué)習(xí)為每一種特征訓(xùn)練獨(dú)立的SVM分類器，然后通過堆SVM[8]將單個(gè)SVM分類器的輸出進(jìn)行融合。為了利用用戶屬性之間的關(guān)系，我們提出關(guān)聯(lián)隱SVM模型（RLSVM）[9]進(jìn)行最終的屬性推斷和關(guān)聯(lián)屬性挖掘?；舅悸肥牵寒?dāng)推斷一種用戶屬性（主屬性）時(shí)，將其他用戶屬性（輔助屬性）作為模型的隱變量，不同的勢能函數(shù)反映了用戶特征向量、主屬性和輔助屬性兩兩共生的概率。模型優(yōu)化的目標(biāo)是使各種勢能函數(shù)在觀測到的用戶數(shù)據(jù)集上最小（即概率最大）。模型求解采用最大化間隔框架，轉(zhuǎn)化為二次規(guī)劃問題，模型參數(shù)采用割平面方法獲得，進(jìn)而通過標(biāo)簽的信念傳播得到各隱變量的數(shù)值。

我們提出的關(guān)聯(lián)隱SVM模型在得到用戶屬性推斷結(jié)果的同時(shí)，獲得了用戶各類屬性之間的關(guān)聯(lián)強(qiáng)度。通過結(jié)合用戶屬性和屬性關(guān)聯(lián)強(qiáng)度，我們設(shè)計(jì)了基于結(jié)構(gòu)化屬性的用戶搜索應(yīng)用，例如可以查找屬性同時(shí)為“年齡：年輕”、“職業(yè)：IT”、“情感傾向：積極”的用戶。

3 社會(huì)媒體網(wǎng)絡(luò)用戶關(guān)系

分析

社會(huì)媒體中的用戶彼此連接構(gòu)成社會(huì)網(wǎng)絡(luò)，社會(huì)關(guān)系加速了多媒體信息在社會(huì)媒體網(wǎng)絡(luò)的交換和傳播。截至2012年10月，F(xiàn)acebook上單個(gè)用戶的平均好友數(shù)已經(jīng)達(dá)到190位，而根據(jù)Dunbar number統(tǒng)計(jì)，平均每個(gè)人在真實(shí)世界中的好友上限為150。這顯示了用戶社會(huì)關(guān)系在社會(huì)媒體網(wǎng)站中的重要作用，用戶關(guān)系分析對于社會(huì)多媒體分析和應(yīng)用至關(guān)重要。

社會(huì)網(wǎng)絡(luò)中的用戶關(guān)系包括雙向的鏈接如LinkedIn中的“Connect”、Facebook中的“Add Friend”，以及單向的鏈接如Twitter中的“Follow”、Flickr中的“Contact”和Youtube中的“Subscribe”。這些社會(huì)鏈接影響著用戶的行為和社會(huì)網(wǎng)絡(luò)的動(dòng)態(tài)發(fā)展。比如，LinkedIn上的同事會(huì)影響一個(gè)人在工作上的選擇，F(xiàn)acebook上的好友則會(huì)影響一個(gè)人在生活中的喜好。分析和理解這些社會(huì)鏈接可以促生很多重要的應(yīng)用，如病毒式營銷、協(xié)同信息檢索和推薦[10]。下面我們將以圖片分享網(wǎng)站Flickr中的單向社會(huì)鏈接，即影響力關(guān)系為例，介紹用戶關(guān)系分析在社會(huì)媒體應(yīng)用中的作用[11]。

社會(huì)影響力分析已經(jīng)吸引了很多研究者的興趣，如研究影響力是否存在、最大化影響力傳播、以及影響用戶演化等。基于社會(huì)影響力進(jìn)行信息檢索的基本思路是，通過分析對搜索者有影響的其他用戶的偏好，可以預(yù)測搜索者的偏好。影響用戶和搜索者之間的影響關(guān)系有兩個(gè)本質(zhì)特點(diǎn)：

（1）影響力是連續(xù)的

這一點(diǎn)很好理解，因?yàn)殡x散二值化的影響關(guān)系（即影響與否）不足以描述社會(huì)關(guān)系的強(qiáng)度。近年，已有工作對連續(xù)的影響關(guān)系進(jìn)行建模[12]。

（2）影響關(guān)系是主題敏感的

給定一個(gè)單向的影響關(guān)系網(wǎng)絡(luò)，真正的影響用戶隨任務(wù)變化而變化。我們用圖4中的示例來解釋這一點(diǎn)，Bob在Flickr上的聯(lián)系人（Contact）網(wǎng)絡(luò)包括3個(gè)影響用戶：Tom、Emily和Jason。每個(gè)影響用戶的右邊顯示了他們在Travel、Fashion和Technology 3個(gè)主題上的特長。假設(shè)Bob在為他的蜜月旅行搜索“Tahiti”的照片，很顯然Tom的偏好會(huì)對他影響最大；而當(dāng)Bob搜索“D&G Fashion Show”的圖片時(shí)，他應(yīng)該更多地借鑒Emily的意見。這說明在某些主題上，有些影響用戶更為值得信任，即影響力是主題敏感的。目前很少有相關(guān)工作對主題敏感的影響力關(guān)系進(jìn)行建模，尤其在社會(huì)多媒體領(lǐng)域。

在Flickr中，用戶可以添加其他用戶為聯(lián)系人，即潛在的影響用戶。除了用戶之間顯性的單向影響關(guān)系鏈接，還可以利用的資源，包括用戶上傳的圖片和添加的標(biāo)注信息。圖片分享網(wǎng)站上的多模態(tài)信息為主題敏感的影響用戶挖掘問題同時(shí)帶來了機(jī)會(huì)和挑戰(zhàn)。我們將多模態(tài)的主題敏感影響關(guān)系挖掘問題定義如下：輸入用戶的聯(lián)系人網(wǎng)絡(luò)、標(biāo)注集合和上傳圖片集合。通過本文提出的一種多模態(tài)概率生成式模型，將圖片內(nèi)容和標(biāo)注的生成過程反推來進(jìn)行推斷。以用戶為節(jié)點(diǎn)，用戶-影響用戶的社會(huì)鏈接為邊，模型的輸出包括主題空間、節(jié)點(diǎn)的主題分布、以及主題敏感的邊強(qiáng)度。邊的強(qiáng)度對應(yīng)了主題敏感的影響力數(shù)值，而節(jié)點(diǎn)的主題分布表示了對應(yīng)用戶的特長。通過挖掘聯(lián)系人網(wǎng)絡(luò)中的主題敏感影響用戶，可以將其應(yīng)用到個(gè)性化檢索問題中。借鑒基于風(fēng)險(xiǎn)最小化的信息檢索方法，我們提出了一種個(gè)性化檢索的通用框架。新提出的框架可以在建模時(shí)結(jié)合影響用戶的偏好和標(biāo)注的置信度信息。主題敏感的影響關(guān)系和用戶特長可以直接融合進(jìn)對查詢詞和圖像文檔語言模型（LM）的拓展中。

4 結(jié)束語

用戶既是基本的社會(huì)媒體數(shù)據(jù)采集單元，又是社會(huì)媒體信息服務(wù)的最終對象。對應(yīng)社會(huì)多媒體計(jì)算的3個(gè)基本任務(wù)，我們提出了以用戶為中心的社會(huì)多媒體計(jì)算框架，并結(jié)合具體研究工作介紹了用戶感知的社會(huì)多媒體內(nèi)容理解、基于網(wǎng)絡(luò)行為的用戶建模和社會(huì)媒體網(wǎng)絡(luò)用戶關(guān)系分析3方面的任務(wù)。

未來社會(huì)多媒體計(jì)算的一個(gè)重要研究方向是結(jié)合網(wǎng)絡(luò)空間信息的綜合性和便捷性和物理空間的本地性設(shè)計(jì)應(yīng)用。用戶在這一過程中擔(dān)任著連接二元空間的重要作用。如圖5所示，用戶相關(guān)交互構(gòu)成社會(huì)網(wǎng)絡(luò)，即社會(huì)空間；社會(huì)空間連接網(wǎng)絡(luò)和物理空間。網(wǎng)絡(luò)-社會(huì)-物理空間數(shù)據(jù)通過事件進(jìn)行組織，用戶是網(wǎng)絡(luò)-社會(huì)-物理計(jì)算的基本研究線索，事件則是網(wǎng)絡(luò)-社會(huì)-物理計(jì)算的主要研究對象。以用戶為中心的網(wǎng)絡(luò)-社會(huì)-物理計(jì)算有著廣泛的應(yīng)用潛力，以基于用戶的二元空間事件跟蹤為例，物理和網(wǎng)絡(luò)空間數(shù)據(jù)通過用戶連接，定義事件空間中的一個(gè)點(diǎn)；用戶彼此交互構(gòu)成社會(huì)網(wǎng)絡(luò)，將不同時(shí)空的社會(huì)網(wǎng)絡(luò)定義的事件團(tuán)進(jìn)行關(guān)聯(lián)，構(gòu)成在二元空間進(jìn)行的事件全貌。

參考文獻(xiàn)

[1] NAAMAN M. Social multimedia： highlighting opportunities for search and mining of multimedia data in social media applications [J]. Multimedia Tools and Applications， 2012，56（1）： 9-34. doi： 10.1007/s11042-010-0538-7.

[2] TIAN Y H， SRIVASTAVA J， HUANG T J， et al. Contractor： Social Multimedia Computing [J]. IEEE Computer， 2010，43（8）： 27-36. doi： 10.1109/MC.2010.188.

[3] ZHA Z J， YANG L J， MEI T， et al. Visual Query Suggestion [C] //Proceedings of the 17th ACM international conference on Multimedia， 2009， New York， NY， USA：ACM， 2009：25-24. doi： 10.1145/1631272.1631278.

[4] YAMAMOTO D， MASUDA T， OHIRA S， et al. Video Scene Annotation Based on Web Social Activities [J]. IEEE MultiMedia， 2008，15（3）： 22-32. doi： 10.1109/MMUL.2008.67.

[5] LIU D， HUA X S， YANG L J， et al. Tag ranking [C] //Proceedings of the 18th international conference on World wide web， 2009， New York， NY， USA：ACM， 2009：351-360. doi： 10.1145/1526709.1526757.

[6] SANG J T， XU C S， LIU J. User-Aware Image Tag Refinement via Ternary Semantic Analysis [J]. IEEE Transactions on Multimedia， 2012，14（3）： 883-895. doi： 10.1109/TMM.2012.2188782.

[7] BI B， SHOKOUHI M， KOSINSKI M， et al. Inferring the demographics of search users： social data meets search queries [C] //Proceedings of the 22nd international conference on World Wide Web， 2013， Republic and Canton of Geneva， Switzerland， 2013： 131-140.

[8] WOLPERT D H. Stacked generalization [J]. Neural Networks， 1992，5（2）：241-259.

[9] WANG Y， MORI G. A discriminative latent model of object classes and attributes [C] //Proceedings of the ECCV， September 5-11， 2010， Heraklion， Crete， Greece， 2010：155-168. doi： 10.1007/978-3-642-15555-0_12.

[10] KONSTAS I， STATHOPOULOS V， JOSE J M. On social networks and collaborative recommendation [C] //Proceedings of the 32nd international ACM SIGIR conference on Research and development in information， 2009， New York， NY， USA：ACM， 2009：195-202. doi： 10.1145/1571941.1571977.

[11] SANG J T， XU C S. Right buddy makes the difference： an early exploration of social relation analysis in multimedia applications [C] //Proceedings of the 20th ACM international conference on Multimedia， 2012， New York， NY， USA：ACM， 2012： 19-28. doi： 10.1145/2393347.2393358.

[12] XIANG R J， NEVILLE J， ROGATI M. Modeling relationship strength in online social networks [C] //Proceedings of the 19th international conference on World wide web， 2010， New York， NY， USA：ACM， 2010：981-990. doi： 10.1145/1772690.1772790.

作者簡介

?；w，中國科學(xué)院自動(dòng)化研究所助理研究員、博士；主要研究領(lǐng)域?yàn)樯鐣?huì)多媒體計(jì)算、網(wǎng)絡(luò)數(shù)據(jù)挖掘等；已發(fā)表論文30余篇。

查正軍，中國科學(xué)院合肥智能機(jī)械研究所研究員、博士；主要研究方向?yàn)槎嗝襟w分析、計(jì)算機(jī)視覺、模式識(shí)別等；已發(fā)表論文90余篇。

徐常勝，中國科學(xué)院自動(dòng)化研究所研究員、博士；主要研究領(lǐng)域?yàn)槎嗝襟w分析、計(jì)算機(jī)視覺、模式識(shí)別、圖像處理等；已主持基金項(xiàng)目3項(xiàng)；已發(fā)表論文200余篇。

[3] ZHA Z J， YANG L J， MEI T， et al. Visual Query Suggestion [C] //Proceedings of the 17th ACM international conference on Multimedia， 2009， New York， NY， USA：ACM， 2009：25-24. doi： 10.1145/1631272.1631278.

[4] YAMAMOTO D， MASUDA T， OHIRA S， et al. Video Scene Annotation Based on Web Social Activities [J]. IEEE MultiMedia， 2008，15（3）： 22-32. doi： 10.1109/MMUL.2008.67.

[5] LIU D， HUA X S， YANG L J， et al. Tag ranking [C] //Proceedings of the 18th international conference on World wide web， 2009， New York， NY， USA：ACM， 2009：351-360. doi： 10.1145/1526709.1526757.

[6] SANG J T， XU C S， LIU J. User-Aware Image Tag Refinement via Ternary Semantic Analysis [J]. IEEE Transactions on Multimedia， 2012，14（3）： 883-895. doi： 10.1109/TMM.2012.2188782.

[7] BI B， SHOKOUHI M， KOSINSKI M， et al. Inferring the demographics of search users： social data meets search queries [C] //Proceedings of the 22nd international conference on World Wide Web， 2013， Republic and Canton of Geneva， Switzerland， 2013： 131-140.

[8] WOLPERT D H. Stacked generalization [J]. Neural Networks， 1992，5（2）：241-259.

[9] WANG Y， MORI G. A discriminative latent model of object classes and attributes [C] //Proceedings of the ECCV， September 5-11， 2010， Heraklion， Crete， Greece， 2010：155-168. doi： 10.1007/978-3-642-15555-0_12.

[10] KONSTAS I， STATHOPOULOS V， JOSE J M. On social networks and collaborative recommendation [C] //Proceedings of the 32nd international ACM SIGIR conference on Research and development in information， 2009， New York， NY， USA：ACM， 2009：195-202. doi： 10.1145/1571941.1571977.

[11] SANG J T， XU C S. Right buddy makes the difference： an early exploration of social relation analysis in multimedia applications [C] //Proceedings of the 20th ACM international conference on Multimedia， 2012， New York， NY， USA：ACM， 2012： 19-28. doi： 10.1145/2393347.2393358.

[12] XIANG R J， NEVILLE J， ROGATI M. Modeling relationship strength in online social networks [C] //Proceedings of the 19th international conference on World wide web， 2010， New York， NY， USA：ACM， 2010：981-990. doi： 10.1145/1772690.1772790.

作者簡介

?；w，中國科學(xué)院自動(dòng)化研究所助理研究員、博士；主要研究領(lǐng)域?yàn)樯鐣?huì)多媒體計(jì)算、網(wǎng)絡(luò)數(shù)據(jù)挖掘等；已發(fā)表論文30余篇。

查正軍，中國科學(xué)院合肥智能機(jī)械研究所研究員、博士；主要研究方向?yàn)槎嗝襟w分析、計(jì)算機(jī)視覺、模式識(shí)別等；已發(fā)表論文90余篇。

徐常勝，中國科學(xué)院自動(dòng)化研究所研究員、博士；主要研究領(lǐng)域?yàn)槎嗝襟w分析、計(jì)算機(jī)視覺、模式識(shí)別、圖像處理等；已主持基金項(xiàng)目3項(xiàng)；已發(fā)表論文200余篇。

[3] ZHA Z J， YANG L J， MEI T， et al. Visual Query Suggestion [C] //Proceedings of the 17th ACM international conference on Multimedia， 2009， New York， NY， USA：ACM， 2009：25-24. doi： 10.1145/1631272.1631278.

[4] YAMAMOTO D， MASUDA T， OHIRA S， et al. Video Scene Annotation Based on Web Social Activities [J]. IEEE MultiMedia， 2008，15（3）： 22-32. doi： 10.1109/MMUL.2008.67.

[5] LIU D， HUA X S， YANG L J， et al. Tag ranking [C] //Proceedings of the 18th international conference on World wide web， 2009， New York， NY， USA：ACM， 2009：351-360. doi： 10.1145/1526709.1526757.

[6] SANG J T， XU C S， LIU J. User-Aware Image Tag Refinement via Ternary Semantic Analysis [J]. IEEE Transactions on Multimedia， 2012，14（3）： 883-895. doi： 10.1109/TMM.2012.2188782.

[7] BI B， SHOKOUHI M， KOSINSKI M， et al. Inferring the demographics of search users： social data meets search queries [C] //Proceedings of the 22nd international conference on World Wide Web， 2013， Republic and Canton of Geneva， Switzerland， 2013： 131-140.

[8] WOLPERT D H. Stacked generalization [J]. Neural Networks， 1992，5（2）：241-259.

[9] WANG Y， MORI G. A discriminative latent model of object classes and attributes [C] //Proceedings of the ECCV， September 5-11， 2010， Heraklion， Crete， Greece， 2010：155-168. doi： 10.1007/978-3-642-15555-0_12.

[10] KONSTAS I， STATHOPOULOS V， JOSE J M. On social networks and collaborative recommendation [C] //Proceedings of the 32nd international ACM SIGIR conference on Research and development in information， 2009， New York， NY， USA：ACM， 2009：195-202. doi： 10.1145/1571941.1571977.

[11] SANG J T， XU C S. Right buddy makes the difference： an early exploration of social relation analysis in multimedia applications [C] //Proceedings of the 20th ACM international conference on Multimedia， 2012， New York， NY， USA：ACM， 2012： 19-28. doi： 10.1145/2393347.2393358.

[12] XIANG R J， NEVILLE J， ROGATI M. Modeling relationship strength in online social networks [C] //Proceedings of the 19th international conference on World wide web， 2010， New York， NY， USA：ACM， 2010：981-990. doi： 10.1145/1772690.1772790.

作者簡介

桑基韜，中國科學(xué)院自動(dòng)化研究所助理研究員、博士；主要研究領(lǐng)域?yàn)樯鐣?huì)多媒體計(jì)算、網(wǎng)絡(luò)數(shù)據(jù)挖掘等；已發(fā)表論文30余篇。

查正軍，中國科學(xué)院合肥智能機(jī)械研究所研究員、博士；主要研究方向?yàn)槎嗝襟w分析、計(jì)算機(jī)視覺、模式識(shí)別等；已發(fā)表論文90余篇。

徐常勝，中國科學(xué)院自動(dòng)化研究所研究員、博士；主要研究領(lǐng)域?yàn)槎嗝襟w分析、計(jì)算機(jī)視覺、模式識(shí)別、圖像處理等；已主持基金項(xiàng)目3項(xiàng)；已發(fā)表論文200余篇。