膠囊內窺鏡成像技術專利分析

彭韻

(國家知識產(chǎn)權局專利局專利審查協(xié)作四川中心光電部，成都610200)

膠囊內窺鏡成像技術專利分析

彭韻

(國家知識產(chǎn)權局專利局專利審查協(xié)作四川中心光電部，成都610200)

本文對膠囊內窺鏡的成像技術所涉及的三個方面，即圖像采集、無線通信和圖像處理的主要申請人和申請兩趨勢進行了分析，并分析了奧林巴斯和基文兩家公司在圖像處理技術上不同的研發(fā)脈絡，總結了膠囊內窺鏡圖像處理技術中研發(fā)方向。

膠囊;內窺鏡;成像;專利分析

0 引言

隨著生活水平的不斷提高，人們的飲食結構發(fā)生改變，工作壓力驟增，消化道疾病也越來越多，已成為最常見最多發(fā)的疾病之一。醫(yī)生通常使用傳統(tǒng)的插入式內窺鏡進入人體消化道，探測消化道內圖像信息和/或進行手術操作，然而這種傳統(tǒng)的內窺鏡尺寸較大、帶有外部操作裝置，插入人體腸道深處時很容易對腸壁組長造成損傷，給患者帶來巨大的不適和痛苦，隨著MEMS技術的快速發(fā)展，外形如吞服膠囊大小的體腔內膠囊內窺鏡應運而生。膠囊內窺鏡在消化道中的一個重要應用是對消化道進行拍攝成像，為醫(yī)生對消化道疾病的診斷提供直觀的依據(jù)，膠囊內窺鏡的成像技術包括了體腔內圖像的采集、通信和處理三個主要部分。

1 圖像采集

膠囊內窺鏡的圖像采集系統(tǒng)主要包括照明系統(tǒng)、光學系統(tǒng)和圖像傳感器等三部分。由于微型機器人的體積限制，照明系統(tǒng)一般采用高亮度的白光貼片式發(fā)光二極管，由于電源的限制，其發(fā)光強度一般比較弱，光的照射無法及遠，因此如何提高照明系統(tǒng)的發(fā)光強度以及照射范圍和距離是照明系統(tǒng)的研究重點;消化道內微型機器人的圖像傳感器主要采用CCD(電荷耦合器件)和CMOS(互補金屬氧化物半導體)兩種，由于微型機器人的體積和電源的限制，尺寸更小、功耗更低的CMOS圖像傳感器被采用的更為普遍。而采用可旋轉的或多個圖像采集系統(tǒng)從而提高微型機器人的圖像采集效率，降低漏檢率，是本技術分支的發(fā)展趨勢。

從圖2所示的圖像采集主要申請人分布情況來看，奧林巴斯、基文、富士、廣州寶膽和富士能五家公司排名前5，其中又以奧林巴斯和基文公司的申請量占據(jù)壟斷地位，這與奧林巴斯和基文在整個膠囊內窺鏡領域所占的統(tǒng)治地位也是相符合的。

圖1 圖像采集主要申請人

圖2 無線通信主要申請人

2 無線通信

膠囊內窺鏡的無線通信模塊包括圖像信號的無線發(fā)射和控制信號的無線接收。圖像信號的無線發(fā)射在膠囊內窺鏡系統(tǒng)中占有重要的地位，圖像的無線通信可以克服引線在體內牽引造成的痛苦和不便，同時微型機器人的運動靈活性也大大增加。圖像無線通信的關鍵是圖像通信的質量、圖像發(fā)射電路的尺寸和功耗。微型機器人工作在人體的消化道中，由于空間位置狹小，它的圖像發(fā)射電路應當盡可能的小，應由最少的元件構成。膠囊內窺鏡的控制信號的無線接一般采用低頻信號接收模塊，其可以把便攜裝置的指令傳送給微型機器人的控制模塊，從而完成參數(shù)設定等控制工作，低頻信號接收模塊的芯片選擇也應考慮到抗干擾、低功耗和微型化等因素。

從圖4所示的無線通信主要申請人分布情況來看，奧林巴斯、基文、富士、賓得和卡普索五家公司排名前5，其中以奧林巴斯的申請量占據(jù)壟斷地位，表明奧林巴斯在圖像的無線通信技術上展開了大量的研發(fā)和布局，遠遠超過其他公司。

3 圖像處理

膠囊內窺鏡在檢查過程中需要由檢查者吞咽后，隨著胃腸道蠕動拍攝整個消化道的檢查圖像，并通過病人隨身攜帶的接收器接受所拍攝的圖像數(shù)據(jù)，最后在終端工作站由閱片醫(yī)生觀察而做出診斷。膠囊內窺鏡在病人消化道內存在的時間在8小時以上，檢查過程中需要拍攝數(shù)萬張彩色圖像，其拍攝的圖像本身具有大量的信息冗余，對其進行壓縮和存儲是圖像處理中的關鍵技術，并且醫(yī)生在閱讀上萬張圖像時由于過長的工作時間所導致的漏診率較高效率較低也是影響膠囊內窺鏡發(fā)展與普及的重要問題，如何通過圖像處理算法對冗余圖像進行計算機輔助的篩選，序列圖像之間的配準與融合、三維重建等，以及通過計算機圖像處理技術輔助醫(yī)生進行診斷，例如自動識別并標記所拍攝圖像中的病灶，均是本技術分支內研究的熱點。

圖3 圖像處理主要申請人

從圖6所示的圖像處理主要申請人分布情況來看，奧林巴斯、基文、富士、intromedic和卡普索五家公司排名前5，其中以奧林巴斯的申請量占據(jù)壟斷地位，表明奧林巴斯在圖像處理技術上展開了大量的研發(fā)和布局，而基文公司在圖像處理技術上的申請量也比較突出，表明了基文公司對圖像處理技術的重視程度。

4 圖象處理技術重要專利分析

最終呈現(xiàn)給用戶的是膠囊內窺鏡所拍攝的圖像，圖像質量的好壞直接決定了用戶的第一感覺，只有高質量的圖像質量才能首先打動用戶使用其產(chǎn)品，在基文公司最新的產(chǎn)品中，膠囊內窺鏡能夠以高達40幀/秒的速度采集圖像，最終可獲得超過30萬張圖像，因此如何通過計算機輔助的手段來降低醫(yī)生的閱片時間，是各大公司的研發(fā)重點，本節(jié)中將深入分析奧林巴斯和基文兩家公司在圖像處理技術中最終呈現(xiàn)給用戶的圖像顯示技術上的技術研發(fā)脈絡，從而展現(xiàn)兩家公司在技術研發(fā)和布局上的思路，總結技術發(fā)展的方向。

4.1 奧林巴斯

奧林巴斯在2004年申請了一系列關于圖像瀏覽界面的專利。CN1777391A中公開了在圖像顯示裝置上顯示表示由膠囊內窺鏡按時間序列拍攝的圖像的整個攝像期間的平均顏色條。將全部攝像圖像中被檢驗的圖像，一覽顯示在檢驗圖像顯示欄中，算出各檢驗圖像對應于攝像期間中的哪個時間，用平均顏色條的刻度，在該平均顏色條上以與各檢驗圖像對應的編號進行標記顯示。由此，提高拍攝體內所得的圖像的檢索性，并且，可容易地識別顯示圖像是哪個臟器的圖像。

CN1777390A在圖像瀏覽界面上設置滑塊S，該滑塊S能在平均顏色條上移動，隨著滑塊S的移動將與滑塊位置對應的攝像時刻的圖像顯示在圖像顯示欄中，并將基于攝像圖像數(shù)據(jù)的平均顏色顯示在平均顏色條上的時間對應的位置上。

到2007～2008年，奧林巴斯基于上述圖像瀏覽界面作出改進，提供簡單的圖像識別手段，根據(jù)圖像的顏色信息檢測圖像中的病變部位(例如出血部位)，并附加病變標記，在標記顯示部中以對應的病變顏色來顯示病變標記，滑塊不只是起到快速瀏覽的作用，而且滑塊本身的顏色也將根據(jù)病變標記發(fā)生變化，從而更利于快速的對病變圖像進行瀏覽。

奧林巴斯在2009年申請的三件專利中，均采用了計算機圖像識別技術來輔助醫(yī)生快速的定位病變圖像。其中US2010124365A1通過直方圖聚類來自動識別膠囊內窺鏡所采集的消化道圖像中的粘膜區(qū)域，其對圖像中對顏色特征量的數(shù)據(jù)分布進行聚類，然后根據(jù)圖像數(shù)據(jù)在顏色特征空間中的直方圖的雙峰性，判斷構成一系列消化道內圖像的各圖像內的粘膜區(qū)域。CN101739659A也提供了一種根據(jù)直方圖來識別粘膜區(qū)域的裝置，而CN102056530A則提供了一種根據(jù)圖像中的光流場來檢測圖像中異常區(qū)域的手段。

2010年，奧林巴斯利用顏色空間轉換進行圖像中粘膜區(qū)域識別，其將圖像的RGB值轉換為色差信號即UV值，然后將UV值轉換為由色調H和飽和度S構成的顏色平面(HS顏色平面)，通過在HS顏色平面上的數(shù)據(jù)聚類來判斷采集的圖像是否為粘膜區(qū)域。2011年奧林巴斯進一步利用圖像之中的紋理信息(CN102567988A)和形狀信息(CN102525381A)進行圖像識別以輔助醫(yī)生進行快速閱片。

從奧林巴斯公司在計算機輔助閱片技術上技術研發(fā)的脈絡來看，早期其主要利用圖像的多樣顯示和控件技術來方便醫(yī)生的瀏覽;其后又采用了簡單的圖像識別技術，例如通過顏色信息來識別出血部位，來輔助醫(yī)生快速的定位病變圖像;隨后，花樣繁多的圖像識別技術，如顏色空間、紋理、形狀等越來越多的信息被用于圖像的識別，從而為醫(yī)生提供更加準確和多樣的瀏覽手段，進一步提高醫(yī)生閱片的效率。

4.2 基文公司

基文最早在2001年就提交了一份關于圖像流顯示控制的專利申請，其提供了通過鼠標滾輪或者操縱桿來控制動態(tài)圖像顯示的技術，通過鼠標滾輪的前后滾動，控制動態(tài)圖像的前進、后退以及顯示速度的加速、減速等，從而為閱片醫(yī)生提供了一種便捷的圖像瀏覽方式。

隨后，基文在2003年提出了雙圖像流的顯示技術，圖像流被切分為兩部分，分別在兩個獨立的窗口中進行顯示，兩個窗口中可顯示多種不同的內容。隨后在US2004027500A1中提供了更為豐富的圖像流顯示方案，其中一個窗口顯示原圖像流，另一個窗口能夠顯示經(jīng)過平滑、線性或非線性變換、亮度標準化等預處理的圖像流，從而為閱片醫(yī)生提供更加豐富的顯示內容以提高閱片效率。

2004年，基文提交了三份關于圖像流顯示的申請。在WO2005031650A1中，圖像流的顯示界面中加入了與奧林巴斯的平均顏色條和滑塊技術相類似的顏色條技術，顏色條位于圖像流顯示窗口的側面，與奧林巴斯不同的是，基文還進一步在顏色條中加入了解剖位置的標記，或者溫度、pH水平的標記，從而為閱片醫(yī)生提供更為豐富的概覽信息。在WO2005062715A2中，基文提供了多達16個或更多圖像流同時顯示的技術，原始圖像流根據(jù)時間被切分為16個子圖像流，從而為閱片醫(yī)生一次性提供大量的圖像信息，從而盡可能的減少醫(yī)生的閱片時間，但是與此同時，醫(yī)生的單位時間內工作強度也將大大增加。

同年，基文在豐富圖像流的內容編輯上也開始發(fā)力，在US2006074275A1中，圖像顯示界面提供了編輯按鈕，用戶可以選擇一些特定的編輯方法來編輯所觀看的圖像流，例如選擇每第n個圖像來供顯示，其中n是根據(jù)生成所述圖像的身體區(qū)域而確定的、選擇與癥狀相關的圖像來供顯示、選擇與預先存在的圖像相似的圖像來供顯示、以及選擇具有最佳質量的圖像來供顯示。

2007年基文公司在圖像識別技術上進行了比較深入的研究，WO2007105213A2中，模式識別技術、圖像幀的紋理(例如褶皺)提取技術被用于識別腸道中的收縮，從而輔助醫(yī)生識別病變圖像，在估計圖像中腸道的中心位置時，其中采用了邊緣檢測、圖像二值化以及形態(tài)學骨骼化的技術。

時隔4年后，基文在2011－2012年重新發(fā)力，繼續(xù)在圖像流的顯示和編輯技術上展開布局。在WO2011135573A1中，用戶可自由選擇圖像流顯示的布局陣列，并且利用其功能強大的編輯濾波器，對圖像流進行預先識別和分類，預先確定的標準可以包括，病理檢測或解剖標志檢測的度量或得分，膠囊的估算位置或區(qū)域，膠囊在優(yōu)選部位的可能性，次要傳感器信息，膠囊運動或可動性，膠囊方位，幀獲取或傳送速率等等。

基于布局陣列和編輯濾波器的結合，基文可以說是將圖像流顯示和編輯技術發(fā)揮到了極致，與此同時，也對閱片醫(yī)生的操作熟練程度提出了更高的要求，其實際使用的體驗究竟如何，還有待市場的檢驗。

5 結論

膠囊內窺鏡的一個最主要應用就是進行消化道內成像，因此各公司的研發(fā)重點也是在成像技術上。從成像技術的三個子分支技術來看，奧林巴斯和基文兩家公司在圖像采集、無線通信和圖像處理技術上的申請量均占據(jù)前兩位，值得一提的是，國內的廣州寶膽公司進入了圖像采集技術申請量的前5位，并且其在2010年后的申請量與奧林巴斯基本持平，展現(xiàn)了國內企業(yè)在圖像采集技術上與國外巨頭相抗衡的實力。

在圖像處理技術的研發(fā)上，奧林巴斯和基文兩家公司各自展現(xiàn)了不同的思路，奧林巴斯在圖像顯示技術、圖像瀏覽控件以及圖像識別上均有所涉獵，而基文公司則專注于其圖像流的顯示和編輯技術，但殊途同歸，兩家公司最終均選擇了圖像識別技術作為其在計算機輔助閱片技術上的研發(fā)方向，由此可見，更加智能化的病灶部位計算機自動識別是未來輔助閱片醫(yī)生快速準確的瀏覽圖像的首選手段。

TH776+.1

A

1002－2376(2015)07－0035－03

2015－03－15