計(jì)算機(jī)圖形學(xué)和視覺應(yīng)用在互聯(lián)網(wǎng)視頻媒體處理中的應(yīng)用

鄭文艷

摘 要：近年來，計(jì)算機(jī)圖形學(xué)和計(jì)算機(jī)視覺領(lǐng)域在基于互聯(lián)網(wǎng)的視頻媒體資源中提供了具有重大意義的幫助。直播因?yàn)椴皇軙r(shí)間、地域、場所的限制，越來越多人投身到直播行業(yè)，主播更是隨處可見，數(shù)以萬計(jì)的人上傳了巨大數(shù)量的圖片和視頻，刺激了各種各樣地對(duì)視頻媒體創(chuàng)建和編輯的應(yīng)用程序的問世，然而這也是對(duì)這些資源的取回、組織和利用的重大挑戰(zhàn)。文章討論了計(jì)算機(jī)圖形學(xué)和視覺應(yīng)用在互聯(lián)網(wǎng)視頻媒體處理應(yīng)用中所涉及的問題，并且給出了在這一新興研究領(lǐng)域的未來發(fā)展方向的建議。

關(guān)鍵詞：互聯(lián)網(wǎng)視頻媒體；大數(shù)據(jù)；圖像；視頻

1 互聯(lián)網(wǎng)視頻媒體處理中存在的問題

隨著在互聯(lián)網(wǎng)構(gòu)建的應(yīng)用程序和技術(shù)的迅速發(fā)展，越來越多的圖像和視頻都可以自由地在互聯(lián)網(wǎng)上使用。我們將這些圖像和視頻稱作互聯(lián)網(wǎng)視頻媒體，它們形成了一個(gè)很大的在線數(shù)據(jù)庫。這創(chuàng)造了一個(gè)創(chuàng)建各種新的數(shù)據(jù)驅(qū)動(dòng)應(yīng)用程序的機(jī)遇，使得非專業(yè)的用戶可以輕松地創(chuàng)建和編輯視覺媒體。然而，大多數(shù)互聯(lián)網(wǎng)視頻媒體的資源都是非結(jié)構(gòu)化的，并沒有考慮結(jié)構(gòu)就上傳了。此外，大多數(shù)資源都是簡單的（而且經(jīng)常是不準(zhǔn)確的）通過文字檢索[1]。以上情況對(duì)充分地利用這些資源構(gòu)成了嚴(yán)峻的挑戰(zhàn)。例如，如果用戶利用圖片搜索引擎搜索“狗跳”，最好的結(jié)果通常包含了一些不相關(guān)的用戶最初搜索的結(jié)果，有些可能包含一只狗以不同的姿勢來跳，有的可能會(huì)含有其他跳躍的動(dòng)物，有些可能包含卡通狗，有的甚至可能包含一個(gè)產(chǎn)品，其品牌名稱是“跳狗”。用戶須慎重選擇其中的許多檢索結(jié)果，這是一項(xiàng)繁瑣而耗時(shí)的任務(wù)，導(dǎo)致用戶的搜索效率非常低。此外，大多數(shù)用戶希望應(yīng)用程序提供交互功能。雖然這只是簡單地達(dá)到了小的圖片視頻數(shù)據(jù)庫的目的，但是對(duì)于大型的數(shù)據(jù)庫而言，將會(huì)成為一個(gè)很大的難題。但是解決這個(gè)難題會(huì)帶來巨大的應(yīng)用效益，目前用戶對(duì)于這個(gè)方面的需求日益增長，這個(gè)問題的解決迫在眉睫。

2 管道網(wǎng)絡(luò)視頻媒體處理

互聯(lián)網(wǎng)視覺媒體檢索的大門打開了各種視覺媒體應(yīng)用，產(chǎn)生許多必須以交互速率響應(yīng)的用戶。然而，檢索過程通常是耗時(shí)的，尤其是對(duì)于大規(guī)模的數(shù)據(jù)而言。一個(gè)典型的管道網(wǎng)絡(luò)視頻媒體處理由3個(gè)步驟組成：內(nèi)容檢索，數(shù)據(jù)組織和索引，數(shù)據(jù)驅(qū)動(dòng)的應(yīng)用程序。在第一步中，有意義的對(duì)象從選擇的互聯(lián)網(wǎng)視頻媒體資源中被檢索出來，例如對(duì)場景中的每個(gè)圖像或視頻進(jìn)行分類，并提取視覺顯著的對(duì)象的輪廓。這一步可以提供更好的可視媒體的標(biāo)簽內(nèi)容的感知應(yīng)用程序，并且可以彌補(bǔ)缺乏準(zhǔn)確的文字標(biāo)簽，以及識(shí)別顯著的內(nèi)容缺陷。在第二步中，在視覺媒體資源以及文字之間提取它們的相關(guān)關(guān)系和不同的尺度，例如找出局部特征的相似性，提供對(duì)象級(jí)別的分類，確定目標(biāo)水平的相似性和密集的文字等相似之處。這一信息允許對(duì)大型視覺媒體集合構(gòu)建一個(gè)高效的索引和查詢計(jì)劃。簡單起見，我們將其稱為數(shù)據(jù)庫結(jié)構(gòu)，它保證了所需的可視內(nèi)容并可以迅速地進(jìn)行檢索。在第三步中，互聯(lián)網(wǎng)視頻媒體應(yīng)用程序中可以使用這些數(shù)據(jù)。傳統(tǒng)的圖像和視頻處理方法必須進(jìn)行修改，以適應(yīng)這種類型的數(shù)據(jù)，并且還需要新的方法來支持新的應(yīng)用程序。該方法應(yīng)該是：（1）相似性，這是為了有效地處理因特網(wǎng)視覺媒體的豐富性。例如，一個(gè)計(jì)算的結(jié)果可以通過查找圖像相似的外觀來替代，以達(dá)到期望的結(jié)果。（2）魯棒性的變異，這是用以有效地應(yīng)對(duì)視覺媒體的變化。例如狗，可以有各種各樣的外觀，這些外觀之間的差異性可以很大。圖1表示了一個(gè)典型的管道網(wǎng)絡(luò)視頻媒體的處理結(jié)果。

3 計(jì)算機(jī)圖形學(xué)和視覺應(yīng)用存在的問題

總結(jié)了近期的研究，組織和利用大集合或圖像和視頻資料庫的目的是幫助視覺媒體進(jìn)行分析、處理、合成、重建和理解。我們認(rèn)為最終的應(yīng)用領(lǐng)域是對(duì)視覺媒體的理解。除了像合成、編輯和重建的具體應(yīng)用，許多因特網(wǎng)視覺媒體應(yīng)用的目標(biāo)是提供視覺媒體的使用或更好地理解視覺媒體的使用，無論是單一的產(chǎn)品，例如圖像，或者一大組相關(guān)的視覺媒體，這里的目標(biāo)確定可以是一個(gè)共同的屬性，或以某種方式匯總的媒體。

算法效率也限制了大量網(wǎng)絡(luò)視頻媒體的充分利用。目前的方法以數(shù)以萬計(jì)的因特網(wǎng)圖像來說，大多數(shù)工作僅代表一小部分。更多的圖像，可以使用更好預(yù)期的結(jié)果。雖然并行算法會(huì)有幫助，但是它只是解決方案的一部分，以及諸如分割、特征提取和分類等很多核心圖像處理技術(shù)仍然存在技術(shù)瓶頸。進(jìn)一步的工作是需要對(duì)這些話題進(jìn)行討論的。

有研究試圖利用各種在大規(guī)模數(shù)據(jù)集中的信息，不僅是視覺信息的數(shù)量不斷增加，而且還有元數(shù)據(jù)，例如文本標(biāo)記、地理標(biāo)記信息和時(shí)間信息。在社交網(wǎng)絡(luò)網(wǎng)址，圖像的事件標(biāo)簽是信息的另一個(gè)有用的潛在信息來源，并在較長時(shí)期內(nèi)，它可能從此類網(wǎng)站提取有用的信息，例如以照片的內(nèi)容提供的上下文信息，其中根據(jù)用戶居住可以為度假提供線索。

最后，我們注意到，利用視頻大集合的工作仍然是稀缺的。雖然這很自然地想到大多數(shù)圖像應(yīng)用程序應(yīng)該擴(kuò)展到視頻（參見最近的工作，探索著名的場景視頻[2]），但是有幾個(gè)原因限制做到這一點(diǎn)的能力。除了處理時(shí)間具有明顯的局限性，在應(yīng)用到許多視頻圖像處理和視覺算法上給出的結(jié)果不穩(wěn)定，或至少產(chǎn)生較差的時(shí)間相干性的結(jié)果。時(shí)間相干性，可以實(shí)施在優(yōu)化框架中，但是這比處理一幀的數(shù)據(jù)更消耗計(jì)算內(nèi)存。即使是國家最先進(jìn)的視頻對(duì)象提取方法可以很好地工作以及具有最少的用戶交互的一些例子，但是如果應(yīng)用到一個(gè)大集合的視頻數(shù)據(jù)中可能會(huì)失敗。此外，迫切需要高效的專門用于互聯(lián)網(wǎng)上大規(guī)模視頻集合的算法，其實(shí)在2017年發(fā)表的一篇文章[3]上體現(xiàn)了有效的視頻合成。使用“算法友好”計(jì)劃修剪視頻不能自動(dòng)處理視頻，目前這想法還沒有被應(yīng)用。

4 結(jié)語

近年興起的直播事業(yè)，促使用戶對(duì)于視頻媒體的處理速度、方式等提出更高、更苛刻的要求，這些要求會(huì)隨著技術(shù)的發(fā)展不斷更新，使得越來越多的人關(guān)注這個(gè)領(lǐng)域的研究，也有一批優(yōu)秀的一線程序員投身到這個(gè)領(lǐng)域當(dāng)中來，相關(guān)的研究、算法都以更快的速度在發(fā)展、更新，互聯(lián)網(wǎng)的發(fā)展速度決定了視頻媒體的發(fā)展速度。在相關(guān)的研究中我們不難發(fā)現(xiàn)，目前計(jì)算機(jī)圖形學(xué)和視覺應(yīng)用對(duì)于處理互聯(lián)網(wǎng)視頻媒體已經(jīng)產(chǎn)生不可替代的作用。然而，目前計(jì)算機(jī)圖形學(xué)和視覺應(yīng)用的發(fā)展相對(duì)不夠成熟，在互聯(lián)網(wǎng)視頻媒體處理中的應(yīng)用依然存在很多問題需要解決克服，甚至在這個(gè)過程中還會(huì)出現(xiàn)新的問題，但是從目前的發(fā)展態(tài)勢來看，計(jì)算機(jī)圖形學(xué)和視覺應(yīng)用與互聯(lián)網(wǎng)視頻媒體的結(jié)合會(huì)是一個(gè)潮流。隨著圖形學(xué)和視覺應(yīng)用的不斷發(fā)展，技術(shù)的不斷成熟，互聯(lián)網(wǎng)視頻媒體在處理方式上、在算法邏輯上、在運(yùn)行結(jié)果上可以有更多的可能性，可以突破更多現(xiàn)在暫時(shí)還無法克服的限制，屆時(shí)，互聯(lián)網(wǎng)視頻媒體對(duì)于我們的生活、工作來說，將會(huì)是一種全新的存在，它可能帶給我們一種現(xiàn)在還無法想象的全新的生活體驗(yàn)，無論如何，這都是一個(gè)值得期待的未來，并且是一個(gè)終究會(huì)來到我們身邊的未來。

[參考文獻(xiàn)]

[1]胡珍珍.關(guān)于互聯(lián)網(wǎng)視覺媒體若干問題的研究和應(yīng)用[D].合肥：合肥工業(yè)大學(xué)，2014.

[2]TOMPKIN J，KIM K I，KAUTZ J，et al.Videoscapes： exploring sparse， unstructured video collections[J].ACM Transactions on Graphics，2012（4）：1-12.

[3]XIE Z F，SHEN Y，MA L Z，et al.Seamless video composition using optimized mean-value cloning[J].The Visual Computer，2010（6/7/8）：1123-1134.