多媒體數(shù)據(jù)的知識(shí)關(guān)聯(lián)與理解專題前言*

蔣樹強(qiáng),劉青山,孫立峰,李 波

1(中國科學(xué)院 計(jì)算技術(shù)研究所 智能信息處理重點(diǎn)實(shí)驗(yàn)室,北京 100190)

2(江蘇省大數(shù)據(jù)分析技術(shù)重點(diǎn)實(shí)驗(yàn)室(南京信息工程大學(xué) 自動(dòng)化學(xué)院),江蘇 南京 210044)

3(清華大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)系,北京 100084)

4(北京航空航天大學(xué) 計(jì)算機(jī)學(xué)院,北京 100191)

近年來,不同來源的多媒體數(shù)據(jù)產(chǎn)生量劇增,成為用戶信息獲取、信息交換與信息消費(fèi)的主要對(duì)象,多媒體數(shù)據(jù)具有廣泛的應(yīng)用需求和重大的應(yīng)用價(jià)值.相對(duì)于其他數(shù)據(jù)類型,圖像、視頻等多媒體數(shù)據(jù)具有關(guān)系繁雜、冗余性強(qiáng)、信息隱藏深、全面理解困難等特點(diǎn),因此,全面和準(zhǔn)確地分析和理解多媒體內(nèi)容是一個(gè)非常重要和具有挑戰(zhàn)性的問題.最近,基于知識(shí)關(guān)聯(lián)與理解的多媒體計(jì)算正逐漸得到研究者的關(guān)注,呈現(xiàn)出新的發(fā)展動(dòng)態(tài),這項(xiàng)研究可以使得多媒體內(nèi)容的分析與理解更加深入,建立從多媒體內(nèi)容感知到全面認(rèn)知理解的橋梁.

本專題公開征文,共收到投稿13篇,其中,12篇論文通過了形式審查,內(nèi)容涉及圖像/視頻等多媒體內(nèi)容的識(shí)別、理解和描述的各個(gè)方面.特約編輯先后邀請(qǐng)了30多位專家參與審稿工作,每篇投稿至少邀請(qǐng)3位專家進(jìn)行評(píng)審.稿件經(jīng)初審、復(fù)審、ChinaMM 2018論文交流和終審4個(gè)階段,歷時(shí)5個(gè)月,最終有7篇論文入選本專題.

《視覺場景描述及其效果評(píng)價(jià)》對(duì)現(xiàn)有視覺場景描述及相關(guān)技術(shù)進(jìn)行綜述,介紹主要方法、模型及研究進(jìn)展,梳理評(píng)價(jià)方法的各項(xiàng)指標(biāo),對(duì)視覺場景描述技術(shù)面臨的問題與挑戰(zhàn)進(jìn)行了分析,并討論了未來的應(yīng)用前景.

《跨媒體深層細(xì)粒度關(guān)聯(lián)學(xué)習(xí)方法》提出了跨媒體循環(huán)神經(jīng)網(wǎng)絡(luò)及聯(lián)合關(guān)聯(lián)損失函數(shù),用以挖掘媒體內(nèi)和媒體間的多層面關(guān)聯(lián),支持高效的跨媒體檢索.

《基于區(qū)域敏感生成對(duì)抗網(wǎng)絡(luò)的自動(dòng)上妝算法》提出了一種掩?？刂频淖詣?dòng)上妝生成對(duì)抗網(wǎng)絡(luò),能夠重點(diǎn)編輯上妝區(qū)域,保持主體信息,實(shí)現(xiàn)特定區(qū)域上妝.

《基于仿射不變離散哈希的遙感圖像多目標(biāo)分類》在監(jiān)督離散哈希(SDH)目標(biāo)函數(shù)中引入仿射不變因子約束,構(gòu)造仿射不變離散哈希,并應(yīng)用于遙感圖像的多目標(biāo)分類.

《基于條件隨機(jī)場的深度相關(guān)濾波目標(biāo)跟蹤算法》面向魯棒的目標(biāo)跟蹤,將基于深度學(xué)習(xí)的判別式相關(guān)濾波和條件隨機(jī)場模型結(jié)合,設(shè)計(jì)了一個(gè)端到端的深度卷積神經(jīng)網(wǎng)絡(luò).

《基于小波域的深度殘差網(wǎng)絡(luò)的圖像超分辨率算法》將小波變換的思想與深度殘差網(wǎng)絡(luò)相結(jié)合,并利用圖像空間損失和小波系數(shù)損失約束網(wǎng)絡(luò)訓(xùn)練,并將該方法用于圖像的超分辨率重構(gòu)問題.

《利用可分離卷積和多級(jí)特征的實(shí)例分割》在全卷積實(shí)例感知分割網(wǎng)絡(luò)的基礎(chǔ)上,面向圖像中的實(shí)例分割,設(shè)計(jì)了一個(gè)具有邊界細(xì)化模塊和多級(jí)特征的復(fù)雜分割分支.

本專題主要面向多媒體技術(shù)、圖像處理、人工智能等多領(lǐng)域的研究人員和工程人員,反映了我國學(xué)者在多媒體內(nèi)容分析與理解領(lǐng)域最新的研究進(jìn)展.感謝《軟件學(xué)報(bào)》編委會(huì)和中國計(jì)算機(jī)學(xué)會(huì)多媒體技術(shù)專委會(huì)對(duì)專題工作的指導(dǎo)和幫助,感謝專題全體評(píng)審專家及時(shí)、耐心、細(xì)致的評(píng)審工作,感謝踴躍投稿的所有作者.希望本專題能夠?qū)Χ嗝襟w及相關(guān)領(lǐng)域的研究工作有所促進(jìn).