全景圖像采集專利技術(shù)數(shù)據(jù)分析

熊艷 歐先鋒

摘要：基于專利數(shù)據(jù)庫，通過檢索、篩選、統(tǒng)計(jì)和分析國內(nèi)外有關(guān)全景圖像采集技術(shù)的專利申請，梳理全景圖像采集技術(shù)的技術(shù)發(fā)展脈絡(luò)和各主要技術(shù)分支，并對申請量年度分布、申請地域分布和重要申請人進(jìn)行統(tǒng)計(jì)和分析，為該領(lǐng)域發(fā)展提供參考。

關(guān)鍵詞：全景圖像采集；技術(shù)分支；重要申請人；專利技術(shù)

中圖分類號：TN94文獻(xiàn)標(biāo)志碼：A文章編號：2095-5383（2018）01-0031-06

2016年里約奧運(yùn)會，全景圖像采集技術(shù)已應(yīng)用于游泳、體操等各大比賽項(xiàng)目以采集寬視野、高清晰度的賽場圖像，可以預(yù)見，全景采集技術(shù)將越來越受到人們追捧。全景圖像的形成過程主要包括：圖像采集、圖像投影、圖像拼接和圖像顯示。首先采集得到彼此之間有重疊區(qū)域的圖像，然后基于每幅圖像具有的不同坐標(biāo)建立統(tǒng)一的投影模型，進(jìn)而通過拼接融合處理形成全景圖像，再選擇合適的顯示模型進(jìn)行展示。由此可見，如果全景圖像采集技術(shù)實(shí)現(xiàn)較高質(zhì)量的圖像采集，后續(xù)全景圖像的形成將會事半功倍，因此，對全景圖像采集技術(shù)進(jìn)行分析，能夠?yàn)槿俺上耦I(lǐng)域的研究提供助力。

1 全景圖像采集技術(shù)概況

1.1 全景圖像采集技術(shù)分支

本文基于中國專利檢索系統(tǒng)文摘（CPRSABS）數(shù)據(jù)庫和德溫特世界專利索引（DWPI）數(shù)據(jù)庫，通過對檢索所獲得的該領(lǐng)域的專利申請進(jìn)行統(tǒng)計(jì)與分析研究，對全景圖像采集所涉及的技術(shù)進(jìn)行分解，如表1所示。

1.1.1 全景圖像采集相機(jī)

全景圖像采集系統(tǒng)最核心的組成部分即相機(jī)，它用于對采集的對象進(jìn)行成像。全景圖像采集系統(tǒng)按使用的相機(jī)類型可以分為3種：普通相機(jī)采集、特殊相機(jī)采集和全景相機(jī)采集。

普通相機(jī)是指普通數(shù)碼相機(jī)或者單反相機(jī)；普通相機(jī)采集是指采用旋轉(zhuǎn)和（或）平移普通相機(jī)的方式獲取多張具有空間關(guān)聯(lián)的圖像，再通過對該多張圖像進(jìn)行拼接融合以形成全景圖像，具有無需投入額外硬件成本、采集系統(tǒng)攜帶方便的優(yōu)點(diǎn)，但同時(shí)具有對相機(jī)各次拍攝姿態(tài)要求高、后期拼接融合算法復(fù)雜的缺點(diǎn)。特殊相機(jī)是指加裝有魚眼鏡頭、廣角鏡頭、超廣角鏡頭等特殊鏡頭的相機(jī)，上述特殊鏡頭具有焦距較短、視角較大的特性；特殊相機(jī)采集是指利用特殊相機(jī)直接獲取視角較大卻具有透視變形的圖像，后期經(jīng)過畸變校正處理形成全景圖像，具有無需進(jìn)行復(fù)雜的拼接融合的優(yōu)點(diǎn)，同時(shí)具有拍攝圖像分辨率低、透視變形嚴(yán)重的缺點(diǎn)。全景相機(jī)是指包括多個(gè)鏡頭的專業(yè)相機(jī)，每兩個(gè)相鄰鏡頭的拍攝視角在空間上相重疊。全景相機(jī)采集是指利用全景相機(jī)的多個(gè)鏡頭同時(shí)拍攝多幅圖像，并對上述多幅圖像進(jìn)行實(shí)時(shí)拼接融合以快速形成全景圖像，具有操作簡便、無需復(fù)雜建模的優(yōu)點(diǎn)，同時(shí)具有價(jià)格昂貴、不易普及的缺點(diǎn)。

1.1.2 全景圖像采集位置

采集全景圖像的各種位置由于其環(huán)境的不同，對采集技術(shù)提出了不同的要求，因而全景圖像采集系統(tǒng)按采集位置可以分為三類：地面全景采集、空中全景采集、水下全景采集。此三種全景采集系統(tǒng)均可任意選擇上述相機(jī)類型。地面全景采集是最原始也是研究最久最廣最深的采集方式，但受制于地形地貌的遮擋和拍攝視野的限制，對被攝物頂部信息和大視野的場景始終難以獲其全貌。空中全景采集正好彌補(bǔ)了地面全景采集的缺點(diǎn)，將拍攝環(huán)境由地面轉(zhuǎn)到空中，可以從更高更廣的視角有效采集圖像。水下全景采集則需要考慮水下環(huán)境的光照及折射，對采集設(shè)備的防水性及采集時(shí)機(jī)提出較高要求，但海底的未知世界仍吸引著大量研究目光，展示出水下全景采集的廣闊發(fā)展前景。

1.2 全景圖像采集技術(shù)發(fā)展演進(jìn)

通過對全景圖像采集技術(shù)各個(gè)時(shí)期的專利文獻(xiàn)進(jìn)行梳理和分析，可以得到該領(lǐng)域的專利技術(shù)演進(jìn)路線，如圖1所示。可以看出，全景圖像采集技術(shù)專利申請的發(fā)展大致經(jīng)歷了3個(gè)主要發(fā)展階段。

1.2.1 第一階段（1973—1996年）

該階段屬于全景圖像采集技術(shù)的起步階段，早期使用普通相機(jī)在輔助設(shè)備的支持下拍攝多張圖像，進(jìn)行后期拼接融合形成全景圖像，較有代表性的是將拍攝設(shè)備安裝在三腳架上，在全景拍攝過程中根據(jù)圖像來旋轉(zhuǎn)安裝的拍攝設(shè)備來采集全景圖像[1]，或?qū)⑾鄳?yīng)的拍攝設(shè)備安裝在平行于地面的滑軌上，通過電機(jī)驅(qū)動拍攝設(shè)備在滑軌上平移以拍攝全景圖像[2]。后來開始出現(xiàn)使用特殊相機(jī)采集全景圖像，如使用特殊光學(xué)鏡頭產(chǎn)生全景尺寸的圖像[3]，以及車載6個(gè)魚眼鏡頭從不同位置進(jìn)行拍攝以形成建筑物的全景圖像[4]，可算作是地面街景采集的首次嘗試。此后，全景采集技術(shù)成為一個(gè)熱點(diǎn)，越來越受到研究者的關(guān)注。

1.2.2 第二階段（1997—2006年）

該階段屬于全景圖像采集技術(shù)的快速發(fā)展階段，使用不同類型相機(jī)的全景采集技術(shù)不斷涌現(xiàn)。普通相機(jī)開始不再依賴于輔助設(shè)備進(jìn)行全景采集，而是向手持式方向發(fā)展，由用戶旋轉(zhuǎn)和（或）平移手持拍攝設(shè)備來進(jìn)行采集[5-7]。魚眼鏡頭由于價(jià)格便宜和視角范圍大，開始廣泛應(yīng)用于全景采集領(lǐng)域[8-9]。具有多個(gè)鏡頭的專業(yè)全景相機(jī)也開始出現(xiàn)，能夠直接輸出全景圖像[10-11]。

以下對該階段中一種具有代表性的手持式全景圖像采集技術(shù)[5]進(jìn)行具體介紹。如圖2（a）所示，當(dāng)使用移動終端拍攝組成全景圖像的各個(gè)圖像時(shí)，控制器實(shí)時(shí)比較輸入的當(dāng)前圖像和前一圖像，以獲得相應(yīng)拍攝設(shè)備的移動信息。通過獲得的移動信息識別相應(yīng)拍攝設(shè)備的移動角度和移動方向，當(dāng)識別的移動角度滿足預(yù)設(shè)的參考移動距離時(shí)，通過手動輸入拍攝相應(yīng)圖像或者自動拍攝相應(yīng)圖像；同時(shí)，如圖2（b）所示，顯示單元輸出用戶界面用于指導(dǎo)相應(yīng)拍攝設(shè)備從識別的移動角度和移動方向到用于全景圖像拍攝的預(yù)設(shè)方向的移動；另外，顯示單元輸出用于通知用戶拍攝圖像的當(dāng)前位置的另一用戶界面。該系統(tǒng)有助于用戶在沒有安裝附加設(shè)備和硬件的情況下，更加容易和精確地拍攝全景圖像。

在這一階段，地面全景采集技術(shù)逐步應(yīng)用到安防領(lǐng)域，出現(xiàn)了使用特殊相機(jī)拍攝寬角度區(qū)域并檢測該區(qū)域是否存在運(yùn)動的監(jiān)控系統(tǒng)[12-13]。同時(shí)開始出現(xiàn)空中全景采集技術(shù)，以彌補(bǔ)在地面采集時(shí)存在的視線遮擋等缺陷，通常由熱氣球[14]、飛行器[15]等裝置作為載體攜帶相機(jī)上天進(jìn)行采集，如由用戶發(fā)射的飛行器沿飛行航線在空中采集全景圖像。

1.2.3 第三階段（2007年至今）

該階段屬于全景圖像采集技術(shù)的全面發(fā)展階段，各類全景采集系統(tǒng)均在提升自身使用便利性的同時(shí)，尋求更高質(zhì)量的全景圖像輸出。對于使用普通相機(jī)的全景采集系統(tǒng)而言，手持采集方式已是主流，為提高用戶體驗(yàn)涌現(xiàn)出許多以人為本的設(shè)計(jì)。例如，在全景采集過程中，向用戶提示拍攝設(shè)備的當(dāng)前位置和下一移動方向（角度）[16]、在移動方向（角度）錯(cuò)誤時(shí)及時(shí)向用戶發(fā)出告警[17]、在用戶搖攝過程中拍攝設(shè)備自動采集多個(gè)圖像[18]等。對于使用特殊相機(jī)的全景采集系統(tǒng)而言，魚眼鏡頭和（或）廣角鏡頭構(gòu)成的光學(xué)系統(tǒng)，提高畫面的真實(shí)性，獲取更高畫質(zhì)和更大視角范圍。對于使用全景相機(jī)的全景采集系統(tǒng)而言，為了減小鏡頭間的視差并提升采集速度，涌現(xiàn)了大量不同的鏡頭排列方式，如球形[19]、柱形[20]、環(huán)形[21]等。

在這一階段，各種類型的相機(jī)廣泛應(yīng)用于地面、空中全景采集，水下全景采集技術(shù)也逐步出現(xiàn)。根據(jù)不同應(yīng)用場景的需求，地面全景采集技術(shù)應(yīng)用至街景地圖領(lǐng)域[22]，還應(yīng)用至泊車輔助、城市安防、虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)等領(lǐng)域[23]?？罩腥安杉^程的載體擴(kuò)展為無人機(jī)（UAV）、可拋擲球體等[24]。首次出現(xiàn)水下全景采集，和空中采集類似，水下采集也需要載體提供支持，如潛水艇、船只、水下輔助設(shè)備等，并且水下環(huán)境對采集設(shè)備的防水性和穩(wěn)定性也提出了較高要求[25]。

首先，對該階段中具有代表性的一種地面全景采集技術(shù)[22]進(jìn)行具體介紹。如圖3所示，街景采集系統(tǒng)的呈現(xiàn)形式為有全景相機(jī)（104）安裝于其頂上的車輛（102）。其中，全景相機(jī)（104）可以包括4至8個(gè)相機(jī)（106）。另外，車輛（102）還可以耦合其他傳感器以用于采集數(shù)據(jù)，例如，全球定位系統(tǒng)（GPS）傳感器、慣性測量裝置（IMU）傳感器等。圖像（110）呈現(xiàn)了全景相機(jī)（104）所采集的例圖，每部分圖像（由虛線分隔）分別由全景相機(jī)（104）的4個(gè)相機(jī)中的一個(gè)采集而來?？紤]到全景相機(jī)（104）可能安裝傾斜、車輛（102）可能傾斜行駛或者其他因素影響，圖像（110）可能是向不同方向偏斜的，這將導(dǎo)致形成歪斜的全景圖像。因此，通過GPS傳感器、IMU傳感器等預(yù)知街景車中相機(jī)的姿態(tài)，以對其采集的圖像進(jìn)行一致性處理。同時(shí)，GPS傳感器、IMU傳感器等還可以確定車輛（102）的姿態(tài)，例如，GPS傳感器根據(jù)衛(wèi)星數(shù)據(jù)確定車輛（102）的位置、速度、方向和采集時(shí)間，為全景圖像的合成提供支持。谷歌街景車已進(jìn)行了幾次更新?lián)Q代，車輛包括三輪車、雪地車、手推車等，目前最新的車輛已配備15個(gè)鏡頭，可拍攝360°的圖像，車中還配備了存儲數(shù)據(jù)的硬盤、運(yùn)行系統(tǒng)的小型計(jì)算機(jī)以及捕獲三維數(shù)據(jù)以確定街景視圖圖像中距離遠(yuǎn)近的激光器。

其次，對該階段中具有代表性的一種空中全景采集技術(shù)[24]進(jìn)行具體介紹。如圖4所示，創(chuàng)新性的球形可拋擲全景相機(jī)具有球形彈性外殼，內(nèi)置1個(gè)相機(jī)。該球被拋擲起來，在空中的弧形運(yùn)動軌跡上旋轉(zhuǎn)著依次經(jīng)過位置（610—620—630—640—650—660），并對遠(yuǎn)處房屋（600）分別拍攝得到序列（700）中的6個(gè)原始圖像（701、702、703、704、705、706）。各位置處的箭頭表示該球的旋轉(zhuǎn)方向，可知在位置（610）和（650）處，相機(jī)（611）沒有面向房屋（600），因而其采集的圖像（701）和（705）中沒有包括可用內(nèi)容。該球還內(nèi)置位置傳感器和處理器，位置傳感器用于確定相機(jī)（611）在各位置的透視系數(shù)，處理器用于根據(jù)透視系數(shù)歸一化采集的各圖像至同一平面，例如序列（750）中所示的圖像（751、752、753、754），然后拼接各圖像以形成全景圖像和平滑連續(xù)的空中視頻。Steven J. Hollinger不斷對此球形可拋擲全景相機(jī)進(jìn)行改進(jìn)并后續(xù)提交了多份專利申請，通過增加內(nèi)置相機(jī)的數(shù)目、使用無線網(wǎng)絡(luò)傳輸各相機(jī)在各位置處采集的圖像等技術(shù)手段，使得在空中采集全景圖像更加的便利和穩(wěn)定。

再次，對該階段中具有代表性的一種水下全景采集技術(shù)[25]進(jìn)行具體介紹。如圖5所示，在水環(huán)境（110）中的船只（112）上安裝有控制模塊（150）、全景相機(jī)系統(tǒng)（100）、照明系統(tǒng)（108）、穩(wěn)定器（120）、機(jī)械臂（124）。全景相機(jī)系統(tǒng)（100）包括4個(gè)鏡頭（102）在全景視野中采集一個(gè)或多個(gè)圖像，還包括在不同水深情況下均能夠防水的外殼（106），全景相機(jī)系統(tǒng)（100）可以內(nèi)置于外殼（106）中，以使得裝置更緊湊、輕便、不易失真。全景相機(jī)系統(tǒng)（100）與控制模塊（150）通信以采集圖像并傳輸圖像以存儲。照明系統(tǒng)（108）用于在水下夜間環(huán)境或者光線微弱環(huán)境等情況下提供光線，其可以包含兩組相互以90°排列的4個(gè)強(qiáng)光燈，照明系統(tǒng)（108）可以集成至全景相機(jī)系統(tǒng)中。穩(wěn)定器（120）和可延長機(jī)械臂（124）可以將全景相機(jī)系統(tǒng)（100）和照明系統(tǒng)（108）送入水下。穩(wěn)定器（120）可以補(bǔ)償安裝有全景相機(jī)系統(tǒng)（100）的支撐件（128）的運(yùn)動，該運(yùn)動包括水環(huán)境（110）的波動、船只（112）的航線調(diào)整等，保證船只（112）在水中航行時(shí)也能采集到高分辨率的水下全景圖像。

2 全景圖像采集技術(shù)專利分析

2.1 全球?qū)＠暾埩糠治?/p>

圖6顯示了全景圖像采集技術(shù)申請量的年度分布。從圖6可以看出，在全球范圍內(nèi)，全景圖像采集技術(shù)專利申請量起始于上世紀(jì)70年代初，但一直處于申請量較低的狀態(tài)，直至上世紀(jì)90年代申請量才有較大幅度的上升，在1997—2006年間全球申請量經(jīng)過迅猛增長后進(jìn)入了平穩(wěn)期；2007年之后，專利申請量再次飛速上升，雖然2013年之后有所回落，但仍保持在較高量。而在中國國內(nèi)，由于相關(guān)研究起步較晚，2001年以前幾乎沒有相關(guān)專利申請，但2001年后中國國內(nèi)申請數(shù)量迅速增長，反映出近年來中國迅猛提高的經(jīng)濟(jì)水平帶來了巨大市場需求。

2.2 全球?qū)＠赜蚍治?/p>

企業(yè)的產(chǎn)品市場重心能夠通過其專利申請的地域分布反映出來。對全景圖像采集技術(shù)專利首次申請的所在國家和地區(qū)產(chǎn)權(quán)組織分布進(jìn)行統(tǒng)計(jì)，得到圖7的數(shù)據(jù)，日本、美國、中國和韓國排名在前，其占據(jù)了所有專利申請的87%，是全景圖像采集技術(shù)最主要的技術(shù)市場。隨著中國的專利制度不斷完善，在中國進(jìn)行首次申請的專利數(shù)量逐步增多，各國企業(yè)積極地在中國進(jìn)行專利技術(shù)保護(hù)，試圖占領(lǐng)中國的技術(shù)市場。

2.3 重要申請人分析

通過對申請人的申請量進(jìn)行分析，得到全球在全景圖像采集技術(shù)領(lǐng)域的前10位申請人的申請量排名情況，如圖8所示。從圖中可以看出，日本在前10位申請人中占5席、在前5位申請人中占4席，我國占2席。排名相對靠前的申請人幾乎都是相機(jī)行業(yè)的傳統(tǒng)巨頭，排名相對靠后的申請人大多是移動互聯(lián)產(chǎn)業(yè)的科技集團(tuán)，隨著移動互聯(lián)技術(shù)的迅猛發(fā)展和覆蓋，全景圖像采集技術(shù)預(yù)計(jì)將迎來更多發(fā)展機(jī)遇。

3 結(jié)語

本文詳細(xì)梳理了全景圖像采集技術(shù)的分支、技術(shù)演進(jìn)、全球?qū)＠暾埩磕甓确植己偷赜蚍植?、重要申請人等，并通過對核心專利的技術(shù)方案的詳細(xì)分析展示了全景采集技術(shù)各個(gè)發(fā)展階段的關(guān)鍵技術(shù)?？傮w看來，索尼、佳能、三星等傳統(tǒng)成像領(lǐng)域巨頭，由于發(fā)展起步較早，核心技術(shù)上有較多的積累，在全景圖像采集領(lǐng)域同樣處于領(lǐng)先地位；從專利數(shù)據(jù)上看，我國跟美日韓等還存在較大的差距，近年來移動互聯(lián)網(wǎng)的迅猛發(fā)展正在促進(jìn)差距的逐步減小，我國還需要對全景圖像采集的基礎(chǔ)硬件設(shè)備和軟件算法加大研究投入，力爭在核心技術(shù)上實(shí)現(xiàn)追趕和超越。

參考文獻(xiàn)：

[1]TOSHIBA KK. Imaging system generating panoramic display：JPS6429064A[P]. 1989-01-31.

[2]GELPHMAN J L. Topological panoramic camera： US4943821A[P]. 1990-07-24.

[3]MINOLTA CO LTD. Photo lens system： JP3082385B2[P].2000-08-28.

[4]GEERIS HOLDINGNEDERLAND B.V. A method and device for producing panoramic images， and a method and device consulting panoramic images： WO9413100A2[P]. 1994-06-09.

[5] SAMSUNG ELECTRONICS CO LTD. Method for photographing panoramic image： KR100800804B1[P].2008-02-04.

[6]SONY CORP. Controller for photographing apparatus and photographing system： US2001019355A1[P]. 2001-09-06.

[7]SAMSUNG ELECTRONICS CO LTD. Apparatus and method for taking panoramic photograph：KR100758632B1[P]. 2007-09-14.

[8]IMMERVISION INT PTE LTD. Method for capturing a panoramic image using a rectangular image sensor： WO03010599A1[P]. 2003-02-06.

[9]TEMPEST MICROSYSTEMS. Panoramic imaging and display system with canonical magnifier：WO03056516A1[P]. 2003-07-10.

[10]SONY CORP. IMAGE PICK UP DEVICE： JP2002229139A[P]. 2002-08-14.

[11]MICROSOFT CORP.Foveated panoramic camera system：US2005117015A1 [P]. 2005-06-02.

[12]SONY CORP. Photographing apparatus and method， supervising system， program and recording medium： JP2005184776A[P]. 2005-07-07.

[13]SONY CORP. Imaging device and method， computer program product on computer-readable medium， and imaging system： JP2006333132A[P]. 2006-12-07.

[14] OKAZAKI S. 360°photographic system： JP2003274397A[P]. 2003-09-26.

[15]HEAFITZ A. Panoramic aerial imaging device： WO02073129A1[P]. 2002-09-19.

[16]LG ELECTRONICS INC. Mobile terminal having a panorama photographing function and method for controlling operation thereof： KR20100031263A[P]. 2010-03-22.

[17]SONY CORP. Imaging apparatus， imaging method， and program： JP2010136302A[P]. 2010-06-17.

[18]SONY CORP. In-camera generation of high quality composite panoramic images： JP2010252312A[P]. 2010-11-04.

[19]SAMSUNG ELECTRONICS CO LTD. Camera system for three-dimensional video： WO2016048013A1[P]. 2016-03-31.

[20]深圳市速騰聚創(chuàng)科技有限公司.一種快速360度全景相機(jī)： CN204883157U[P]. 2015-12-16.

[21]GOOGLE INC. Mapping a two-dimensional image to a cylindrical surface using a tuned distortion curve： US8542289B1[P]. 2013-09-24.

[22]GOOGLE INC. Estimation of panoramic camera orientation relative to a vehicle coordinate frame： WO2010096670A1[P]. 2010-08-26.

[23]GOOGLE INC. Imaging device with a plurality of pixel arrays： WO2014047216A1[P]. 2014-03-27.

[24]HOLLINGER S J. Ball with camera and trajectory control for reconnaisance or recreation： US2012262541A1[P]. 2012-10-18.

[25] GOOGLE INC. Underwater acquisiton of imagery for 3D mapping environments： WO2011143622A2[P]. 2011-11-17.