立體視頻編碼技術(shù)的專利申請(qǐng)分析

蘇玉磊

（國(guó)家知識(shí)產(chǎn)權(quán)局 專利局通信部，北京 100088）

（上接第8期第40頁(yè)）

2.5 科研院所的專利分析

表5為中國(guó)專利申請(qǐng)中主要科研院所的申請(qǐng)數(shù)量分布；表6為國(guó)際范圍中主要科研院所的申請(qǐng)數(shù)量分布（注：由于VEN數(shù)據(jù)庫(kù)需對(duì)中文申請(qǐng)的數(shù)據(jù)進(jìn)行后期加工，有些申請(qǐng)尚未入庫(kù)，或者有些申請(qǐng)摘要索引缺失，導(dǎo)致VEN中的同族數(shù)量減少；國(guó)外科研院所的許多技術(shù)未進(jìn)入中國(guó)申請(qǐng)，因此同一申請(qǐng)人在VEN數(shù)據(jù)庫(kù)和CPRS?ABS數(shù)據(jù)庫(kù)中的專利申請(qǐng)數(shù)量有偏差）。

從表5和6可以看出，中國(guó)專利申請(qǐng)中，申請(qǐng)的高校數(shù)量多，其中寧波大學(xué)和清華大學(xué)排名靠前；在VEN數(shù)據(jù)庫(kù)中，韓國(guó)的科研院所的申請(qǐng)?jiān)谒锌蒲性核械纳暾?qǐng)數(shù)量領(lǐng)先。總的來看，中國(guó)和韓國(guó)的科研院所在3D視頻編碼技術(shù)的研發(fā)方面走在前列；中國(guó)的科研院所在中國(guó)申請(qǐng)的數(shù)量較多，但是在國(guó)際范圍內(nèi)，其申請(qǐng)數(shù)量落后于韓國(guó)的科研院所。

下面本文對(duì)科研院所中代表性的申請(qǐng)人進(jìn)行分析。

2.5.1 韓國(guó)電子通信研究院

韓國(guó)電子通信研究院從2002年開始申請(qǐng)3D視頻編碼領(lǐng)域的專利。其在中國(guó)的申請(qǐng)集中在2002—2006年。2006—2010年，韓國(guó)電子通信研究院申請(qǐng)了11件網(wǎng)格編碼技術(shù)的專利。

韓國(guó)電子通信研究院的研究方向集中在多視點(diǎn)編碼和網(wǎng)格編碼領(lǐng)域。韓國(guó)電子通信研究院與三星公司、慶熙大學(xué)、世宗大學(xué)、漢陽(yáng)大學(xué)等學(xué)校間的關(guān)系合作非常緊密，例如在網(wǎng)格編碼技術(shù)方面，韓國(guó)電子通信研究院和主攻網(wǎng)格編碼技術(shù)的漢陽(yáng)大學(xué)合作緊密。韓國(guó)電子通信研究院的專利申請(qǐng)多數(shù)通過PCT國(guó)際申請(qǐng)進(jìn)入多個(gè)國(guó)家。

其專利申請(qǐng)的特點(diǎn)在于：

雙目編碼技術(shù)：例如，CN03826007A以及CN200480043102A申請(qǐng)使用傳統(tǒng)的MPEG-4 MAC（多重輔助分量，即3D立體視頻附加數(shù)據(jù)）進(jìn)行立體視頻編碼；KR20010072603A申請(qǐng)使用MPEG-4對(duì)立體或多視點(diǎn)視頻進(jìn)行編碼。

多視點(diǎn)視頻編碼包括：

1）利用視點(diǎn)間相關(guān)性進(jìn)行編碼。例如，CN200580034894A申請(qǐng)公開了一種基于圖像拼接利用不同視點(diǎn)之間的相關(guān)信息進(jìn)行編碼的方法；KR20080056457A申請(qǐng)涉及保存視差向量以搜索對(duì)應(yīng)的宏塊的預(yù)測(cè)方法；CN200580047997A申請(qǐng)利用照相機(jī)信息進(jìn)行參考圖像預(yù)測(cè)編碼。

2）高級(jí)語(yǔ)法層次。例如，KR20070002637A申請(qǐng)?jiān)贜AL單元類型中表示冗余的編碼圖像，使用錯(cuò)誤彈性編碼方法進(jìn)行編碼；KR20070106876A申請(qǐng)生成場(chǎng)景二進(jìn)制格式流以及初始對(duì)象描述符IOD。

3）用戶需求方面的立體圖像控制。例如，KR20110033007、KR20100050419A申請(qǐng)控制立體圖像的變化值，自動(dòng)控制立體圖像的失真，降低用戶不便和模糊；KR20020060987A申請(qǐng)使用解碼緩沖器，縮小左右眼圖像的同步時(shí)間，降低解碼復(fù)雜度。

近年來，韓國(guó)電子通信研究院的研發(fā)更集中于立體視頻傳輸系統(tǒng)和網(wǎng)格編碼技術(shù)領(lǐng)域。

表5 中國(guó)專利申請(qǐng)中科研院所申請(qǐng)分布

表6 國(guó)際范圍內(nèi)科研院所申請(qǐng)分布

有17篇專利申請(qǐng)涉及立體視頻的傳輸，包括2D、3D視頻的兼容傳輸，提供3D附加服務(wù)的手段等。例如，CN200480015863A申請(qǐng)基于MPEG-4在因特網(wǎng)上廣播立體視頻數(shù)據(jù)；CN200480043775A申請(qǐng)公開了一種三維數(shù)字多媒體廣播（3DDMB）系統(tǒng)，保持與傳統(tǒng)的DMB系統(tǒng)的兼容；KR2010000085917申請(qǐng)涉及3DTV系統(tǒng)中的附加服務(wù)傳輸；CN200780049500A申請(qǐng)支持2D和3D的同時(shí)廣播。

網(wǎng)格編碼技術(shù)多涉及3D網(wǎng)格數(shù)據(jù)的量化，例如，KR20100034199A申請(qǐng)通過針對(duì)3D網(wǎng)格數(shù)據(jù)的歸一化向量值進(jìn)行量化，并進(jìn)行異或操作，從而進(jìn)行熵編碼，來實(shí)現(xiàn)對(duì)3D內(nèi)容的編碼；KR20080125520A申請(qǐng)?jiān)诹炕B接信息中使用差分脈沖編碼調(diào)制DPCM技術(shù)進(jìn)行編碼。此外，還涉及預(yù)測(cè)編碼的修復(fù)，例如，KR20070119316A申請(qǐng)根據(jù)標(biāo)記值可選擇地對(duì)預(yù)測(cè)編碼錯(cuò)誤進(jìn)行編碼。

綜合來看，韓國(guó)電子通信院的專利申請(qǐng)覆蓋面寬，涉及多視點(diǎn)編碼、立體視頻廣播的傳輸以及網(wǎng)格編碼技術(shù)均較多。在多視點(diǎn)編碼技術(shù)中，其涉及預(yù)測(cè)結(jié)構(gòu)以及視點(diǎn)間差異補(bǔ)償技術(shù)的優(yōu)化的專利申請(qǐng)較少。

2.5.2 慶熙大學(xué)校產(chǎn)學(xué)協(xié)力團(tuán) （UNIV KYUNGHEE IND COOP）

該院所從2006年開始進(jìn)入立體編碼領(lǐng)域申請(qǐng)專利，多數(shù)專利申請(qǐng)通過國(guó)際申請(qǐng)PCT進(jìn)入其他國(guó)家。且該學(xué)校有半數(shù)的專利申請(qǐng)和三星株式會(huì)社以及韓國(guó)電子通信研究院共同申請(qǐng)。其編碼技術(shù)集中在多視點(diǎn)編碼領(lǐng)域，包括：

1）利用視點(diǎn)間相關(guān)性進(jìn)行編碼。例如，KR20060043338A申請(qǐng)通過預(yù)測(cè)圖像信息視差來進(jìn)行多視點(diǎn)視頻編碼；KR20080026315A申請(qǐng)中，如果當(dāng)前圖像為錨圖像，不對(duì)塊應(yīng)用塊跳過模式編碼當(dāng)前圖像塊。

2）補(bǔ)償視點(diǎn)間差異進(jìn)行編碼。例如，KR20080087437A申請(qǐng)基于塊類型和圖像類型對(duì)當(dāng)前塊進(jìn)行色差補(bǔ)償；KR20060087176A申請(qǐng)公開了一種通過對(duì)比修正來補(bǔ)償圖像信息視差的方法；CN200710187021A申請(qǐng)通過去塊濾波方法消除由光照補(bǔ)償和/或色度補(bǔ)償造成的塊效應(yīng)；KR20080087435A申請(qǐng)用當(dāng)前圖像上的附加信息對(duì)當(dāng)前塊當(dāng)前圖像進(jìn)行修復(fù)。

3）多視點(diǎn)編碼和可伸縮編碼的結(jié)合。例如，KR20070021299A申請(qǐng)涉及多視點(diǎn)編碼和可伸縮編碼的混合。

該院所的專利申請(qǐng)不涉及高層語(yǔ)法和預(yù)測(cè)結(jié)構(gòu)的改進(jìn)，也不涉及網(wǎng)格編碼技術(shù)。

2.5.3 寧波大學(xué)

寧波大學(xué)以蔣剛毅和郁梅為學(xué)術(shù)帶頭人，研究3DTV、自由視點(diǎn)視頻系統(tǒng)編碼與傳輸。該學(xué)校在3D編碼領(lǐng)域的專利申請(qǐng)始于2005年，其主要涉及多視點(diǎn)編碼。

其專利申請(qǐng)的發(fā)明點(diǎn)分布包括：

1）利用視點(diǎn)間相關(guān)性進(jìn)行編碼。例如CN201010217600A申請(qǐng)用當(dāng)前宏塊的已編碼相鄰宏塊的視差矢量或運(yùn)動(dòng)矢量來預(yù)測(cè)當(dāng)前宏塊的視差矢量或運(yùn)動(dòng)矢量；CN200510061144申請(qǐng)也提供了一種視差估計(jì)方法。

2）補(bǔ)償視點(diǎn)間差異。例如，CN200710067708A申請(qǐng)公開了一種多視點(diǎn)視頻顏色校正方法；CN200710164498申請(qǐng)中，在多視點(diǎn)圖像的預(yù)處理過程中，提高顏色校正的魯棒性和顏色映射的精度；CN200810059283A申請(qǐng)利用背景信息進(jìn)行顏色校正。

3）去除立體視頻的視覺冗余。例如CN201010184200A和CN201110069318A申請(qǐng)，在人眼比較感興趣的區(qū)域采用較小的編碼量化參數(shù)，在人眼不太感興趣的區(qū)域采用較大的編碼量化參數(shù)，從而提高編碼效率。

4）針對(duì)深度視頻處理。例如，CN200810063741A申請(qǐng)根據(jù)深度圖宏塊的紋理特征將宏塊劃分到邊緣片層或非邊緣片層，分別采用不同的量化參數(shù)進(jìn)行量化；CN200910154138申請(qǐng)根據(jù)偏離因子將B幀分為深度連續(xù)區(qū)域和深度不連續(xù)區(qū)域，對(duì)于連續(xù)區(qū)域的各個(gè)宏塊，編碼器遍歷較少的宏塊編碼模式；CN200910154336A申請(qǐng)?jiān)O(shè)計(jì)了宏塊編碼模式搜索的提前終止方法。

5）碼率控制。例如，CN200810163801A申請(qǐng)通過改變量化參數(shù)來改變圖像的編碼質(zhì)量，以適應(yīng)網(wǎng)絡(luò)帶寬的變化；CN201110000937A申請(qǐng)通過建立彩色視頻與深度視頻的碼率分配模型對(duì)目標(biāo)碼率進(jìn)行分配。

立體視頻的視覺冗余以及碼率控制為寧波大學(xué)獨(dú)特的研究方向，除此之外，在MVD數(shù)據(jù)中的深度數(shù)據(jù)的處理方面寧波大學(xué)也申請(qǐng)了較多數(shù)量的專利，這些專利申請(qǐng)也反映了該學(xué)校在3D視頻編碼領(lǐng)域橫向方面發(fā)展的一個(gè)科研成果。寧波大學(xué)沒有涉及預(yù)測(cè)結(jié)構(gòu)和高層語(yǔ)法結(jié)構(gòu)的改進(jìn)，也沒有涉及網(wǎng)格編碼技術(shù)。

2.5.4 清華大學(xué)

清華大學(xué)的孫立峰、戴瓊海、何蕓、丁貴廣作為學(xué)術(shù)帶頭人，從事立體視頻方面的研究。

具體地，其專利申請(qǐng)涉及：

1）預(yù)測(cè)結(jié)構(gòu)的改進(jìn)。例如，CN200710065190A申請(qǐng)?zhí)岢隽艘环N基于分布式信源編碼的多視點(diǎn)視頻編碼方法，其中將每個(gè)視點(diǎn)的視頻序列編碼分為I，P和SW幀3種，I和P用H.264編碼，SW幀作為視點(diǎn)切換幀。

2）利用視點(diǎn)間相關(guān)性進(jìn)行編碼。例如，CN200610070971A申請(qǐng)利用空間物體深度信息和各個(gè)攝像頭之間的位置關(guān)系精確的計(jì)算各個(gè)視點(diǎn)之間的視差矢量；CN200710101528A申請(qǐng)限制同一時(shí)刻參考圖像的選擇，使得在多視點(diǎn)編碼中實(shí)現(xiàn)低延時(shí)和并行處理，同時(shí)利用不同視點(diǎn)之間的參考；CN201010571683申請(qǐng)基于視間預(yù)測(cè)對(duì)雙目立體視頻進(jìn)行編碼或者解碼。

3）多視點(diǎn)視頻編碼傳輸。例如，CN201010133712A申請(qǐng)涉及基于P2P的多視點(diǎn)視頻傳輸編碼；CN201010227362A申請(qǐng)涉及基于網(wǎng)絡(luò)擁塞程度的視頻傳輸；CN201010227359A申請(qǐng)公開了一種基于圖像視覺質(zhì)量的視頻傳輸方法；以及CN200910076119A申請(qǐng)涉及一種基于對(duì)等覆蓋網(wǎng)絡(luò)協(xié)作的多視點(diǎn)編碼的傳輸方法。

4）深度視頻處理。例如，CN201010531029申請(qǐng)基于彩色視頻對(duì)深度視頻進(jìn)行上采樣；CN201010222351A申請(qǐng)根據(jù)多視點(diǎn)深度圖獲得編碼率失真模型，為編碼參數(shù)選擇和碼率分配提供指導(dǎo)。

5）利用H.264解碼器對(duì)多視點(diǎn)視頻解碼。CN201010531046、CN201010531043、CN201110027858A申請(qǐng)均涉及了一種符合多視點(diǎn)視頻標(biāo)準(zhǔn)的視頻編碼方法，分別利用H.264編碼器實(shí)現(xiàn)多視點(diǎn)視頻的編碼或解碼。

清華大學(xué)申請(qǐng)了較多數(shù)量的多視點(diǎn)視頻網(wǎng)絡(luò)傳輸方面的專利申請(qǐng)，可見多視點(diǎn)視頻網(wǎng)絡(luò)傳輸方向?yàn)槠洫?dú)特的研究方向；同寧波大學(xué)相仿，也涉及了一些對(duì)MVD數(shù)據(jù)中的深度視頻進(jìn)行處理的改進(jìn)；清華大學(xué)的專利申請(qǐng)沒有涉及高層語(yǔ)法和網(wǎng)格編碼技術(shù)。

2.5.5 小結(jié)

從數(shù)量上看，2006年以后，韓國(guó)和中國(guó)的科研院所表現(xiàn)活躍，韓國(guó)以韓國(guó)電子通信研究院和慶熙大學(xué)校產(chǎn)學(xué)協(xié)力團(tuán)為代表，中國(guó)以寧波大學(xué)和清華大學(xué)表現(xiàn)最為活躍。

從技術(shù)角度看，申請(qǐng)的熱點(diǎn)集中于多視點(diǎn)編碼技術(shù)。其中，慶熙大學(xué)校產(chǎn)學(xué)協(xié)力團(tuán)、寧波大學(xué)和清華大學(xué)的絕大部分專利申請(qǐng)涉及到多視點(diǎn)編碼技術(shù)，這代表著目前國(guó)內(nèi)和國(guó)際上3D編碼研究的主要方向。此外，韓國(guó)電子通信研究院涉及不少3D視頻廣播的專利申請(qǐng)，也涉及不少網(wǎng)格編碼技術(shù)的專利申請(qǐng)，而漢陽(yáng)大學(xué)與韓國(guó)電子通信研究院合作緊密，主攻網(wǎng)格編碼技術(shù)。與國(guó)外的科研院所相比，我國(guó)的清華大學(xué)、寧波大學(xué)的專利申請(qǐng)也各具特色：清華大學(xué)偏重于基于多種網(wǎng)絡(luò)體系和網(wǎng)絡(luò)參數(shù)的多視點(diǎn)視頻的網(wǎng)絡(luò)傳輸，而寧波大學(xué)的創(chuàng)新在于立體視頻的視覺冗余去除以及碼率控制。此外，清華大學(xué)和寧波大學(xué)均針對(duì)MVD數(shù)據(jù)中的深度視頻的處理提出了若干申請(qǐng)。

分析我國(guó)的科研院所在多視點(diǎn)編碼方面專利申請(qǐng)活躍的態(tài)勢(shì)，其原因在于：2005年ITU-T開展了MVC技術(shù)的提案征集工作；這些學(xué)校具有長(zhǎng)期涉足該領(lǐng)域的科研團(tuán)隊(duì)，并且得到了多項(xiàng)科研基金的支持，在項(xiàng)目上有所傳承；此外，表5中我國(guó)的主要科研院所的專利申請(qǐng)數(shù)量及內(nèi)容在一定程度上反映了其課題進(jìn)展以及研發(fā)實(shí)力。

另外，韓國(guó)之間的公司與高校、高校之間的專利申請(qǐng)合作緊密，表明其研發(fā)串聯(lián)程度緊密；相比而言，我國(guó)的高等院校之間、公司和高校之間聯(lián)系不夠緊密。

3 結(jié)束語(yǔ)

本文關(guān)注立體視頻編碼技術(shù)的專利申請(qǐng)。首先，簡(jiǎn)單介紹了常用的3D視頻編碼技術(shù)。而后，在CPRSABS和VEN專利數(shù)據(jù)庫(kù)中合理地選取涉及3D編碼技術(shù)的專利申請(qǐng)樣本，從年度申請(qǐng)數(shù)量、申請(qǐng)人總體分析、公司方面專利分析、科研院所專利分析等角度對(duì)樣本庫(kù)進(jìn)行多方位分析。

從2000—2010年的年度申請(qǐng)數(shù)量看，在中國(guó)的專利申請(qǐng)和國(guó)際范圍內(nèi)的專利申請(qǐng)都呈現(xiàn)總體快速穩(wěn)定增長(zhǎng)的態(tài)勢(shì)，反映出這一領(lǐng)域被關(guān)注的熱度。

從申請(qǐng)人總體來看，在中國(guó)科研院所和公司為申請(qǐng)主體，而在國(guó)際范圍內(nèi)公司為申請(qǐng)主體；我國(guó)申請(qǐng)專利保護(hù)的申請(qǐng)人以國(guó)內(nèi)申請(qǐng)人為主，占全部專利的55%；國(guó)際范圍內(nèi)申請(qǐng)人以日本和美國(guó)申請(qǐng)最多，其次為歐洲、韓國(guó)和中國(guó)。

在公司申請(qǐng)中，日本和韓國(guó)公司以及湯姆森特許公司申請(qǐng)量居多，中國(guó)僅有華為一家在3D編碼技術(shù)領(lǐng)域排在前列。在科研院所中，韓國(guó)的科研院所的申請(qǐng)量居多，中國(guó)的寧波大學(xué)和清華大學(xué)申請(qǐng)活躍。各家公司、科研院所的專利申請(qǐng)均反映出其前期研發(fā)過程中不同于其他公司的策略和特色。

從技術(shù)上看，2006年之前申請(qǐng)的專利主要針對(duì)雙視點(diǎn)編碼，2006年及以后的專利申請(qǐng)主要面向多視點(diǎn)編碼技術(shù)這一目前申請(qǐng)的熱點(diǎn)。此外，3D網(wǎng)格編碼技術(shù)的申請(qǐng)量相對(duì)要小，三星公司、韓國(guó)電子通信研究院和湯姆森特許公司、漢陽(yáng)大學(xué)、IBM、SUN、微軟公司在網(wǎng)格技術(shù)領(lǐng)域申請(qǐng)較多。

此外，撰寫本文過程中，參考了大量的涉及各種3D編碼技術(shù)的非專利文獻(xiàn)。相對(duì)于非專利文獻(xiàn)的百花齊放，專利的增長(zhǎng)有限。本文認(rèn)為，這可能是因?yàn)椋涸趹?yīng)用層面，受限于視頻源以及傳輸、顯示的發(fā)展制約，立體編碼技術(shù)的應(yīng)用規(guī)模還非常有限，加之立體編碼技術(shù)理論已較為成熟，更多的為在壓縮率以及編碼效率上的改進(jìn)，專利申請(qǐng)動(dòng)力尚有不足；而學(xué)術(shù)界的研究人員相對(duì)更關(guān)心學(xué)術(shù)層次的問題，其成果多以學(xué)術(shù)文章或草案形式呈現(xiàn)。

[1]駱凱.三維電視系統(tǒng)編碼、視點(diǎn)變換算法研究及運(yùn)動(dòng)補(bǔ)償硬件設(shè)計(jì)[D].杭州：浙江大學(xué)，2009.

[2]ISO/IEC 13818-2 Amendment 3（Multi-View Profile）,MPEG96 N1366[S].1996.

[3]ATTEST.European IST-2001-34396 project[EB/OL].[2011-10-11].http://www.hitech-projects.com/euprojects/attest/index.html

[4]FEHN C.Depth-image-based rendering（DIBR）,compression,and transmission for a new approach on 3D-TV[C]//Stereoscopic displays and virtual Reality Systems XI，2004，SPIE 5201.[S.l.]：SPIE Press，2004：93-104.

[5]安平，張倩，鞠芹，等.用于3DTV的圖像繪制技術(shù)[J].電視技術(shù)，2010，34（1）：49-51.

[6]MERKLE P，SMOLIC A，MULLER K，et al.Efficient prediction struc?tures for multiview video coding[J].IEEE Trans.Circuits and Systems for Video Technology，2007，17（11）：1461-1473.

[7]霍俊彥，常義林，李明，等.多視點(diǎn)視頻編碼的研究現(xiàn)狀及其展望[J].通信學(xué)報(bào)，2010，31（5）：113-121.

[8]畢厚杰.新一代視頻壓縮編碼標(biāo)準(zhǔn)——H.264/AVC[M].2版.北京：人民郵電出版社，2009：140-177.

[9]PENG J，KIM C S，KUO C C J.Technologies for 3-D mesh compres?sion:a survey[J].Journal of Visual Communication and Image Repre?sentation，2005，16（6）：688-733.