數(shù)字式膠囊內(nèi)窺鏡系統(tǒng)改進(jìn)及圖像插值

【作 者】趙少鵬，顏國正，劉剛，鄺帥

上海交通大學(xué)儀器科學(xué)與工程系，上海市，200240

數(shù)字式膠囊內(nèi)窺鏡系統(tǒng)改進(jìn)及圖像插值

【作 者】趙少鵬，顏國正，劉剛，鄺帥

上海交通大學(xué)儀器科學(xué)與工程系，上海市，200240

傳統(tǒng)的膠囊內(nèi)窺鏡采集并傳輸模擬式圖像，抗干擾能力弱，幀率低，分辨率低，該文提出了一種新型的數(shù)字式膠囊內(nèi)窺鏡，該膠囊采集傳輸數(shù)字式圖像，幀率達(dá)到30幀/秒，分辨率為400×400像素。圖像在膠囊內(nèi)部壓縮，在上位機(jī)上實(shí)現(xiàn)圖像的解壓縮和插值。根據(jù)胃腸道圖像特點(diǎn)，該文提出了一種新型的插值算法，利用圖像平面之間的關(guān)系，得到較高質(zhì)量的彩色圖像。

膠囊內(nèi)窺鏡；數(shù)字式圖像；SCCB協(xié)議；圖像插值

0 引言

胃腸道疾病成為人類健康的一個(gè)嚴(yán)重威脅。傳統(tǒng)檢測手段，如腸鏡或者胃鏡，需要由體外通過口腔或者肛門進(jìn)入人體，會(huì)給患者帶來很大的痛苦，而且只能檢測胃腸道很少的一部分，不能檢測全消化道。膠囊內(nèi)窺鏡的出現(xiàn)改變了這一局面，使患者在無痛的條件下檢測全部的胃腸道，得到大量的胃腸道真實(shí)信息，為診斷治療提供了便利[1-3]。

以色列 Given Imaging 公司于2001年首先生產(chǎn)出了第一套檢查胃腸道的內(nèi)窺鏡系統(tǒng)， 即M2A內(nèi)窺鏡系統(tǒng)，其尺寸為 Φ11 mm × 30 mm，重約3.7 g，可以工作 6～ 8 h，能夠拍攝小腸內(nèi)壁的圖像．日本的RF System Lab 研發(fā)了“Norika3”，該系統(tǒng)不用電池，由體外微波提供能量。國內(nèi)的重慶金山公司在2004年研制了OMOM內(nèi)窺鏡系統(tǒng)，每秒鐘可以獲取2幀圖像。傳統(tǒng)的膠囊內(nèi)窺鏡存在一些不足：幀率低，不能得到流暢的視頻；分辨率低，采集的圖像中包含的診療信息不夠豐富；采集的圖像為模擬式圖像，傳輸?shù)襟w外的過程中容易被干擾，出現(xiàn)雪花或者條紋，同時(shí)模擬式圖像不利于后續(xù)在上位機(jī)上的自動(dòng)化處理，如模式識別等[5]；為了解決這些問題，本文對傳統(tǒng)膠囊內(nèi)窺鏡進(jìn)行了改進(jìn)，與傳統(tǒng)的膠囊內(nèi)窺鏡相比，本文對膠囊的改進(jìn)如下：

(1) 提高了圖像采集幀率，達(dá)到每秒鐘30幀，分辨率為400×400像素；

(2) 膠囊傳出的圖像為數(shù)字式圖像，方便后續(xù)的模式判別等自動(dòng)化處理；

(3) 提出新的插值算法，在較短時(shí)間內(nèi)得到高質(zhì)量的彩色圖像。

1 膠囊內(nèi)窺鏡系統(tǒng)

本文所設(shè)計(jì)的膠囊內(nèi)窺鏡系統(tǒng)由以下幾個(gè)模塊構(gòu)成，如圖1所示。膠囊內(nèi)窺鏡系統(tǒng)由體外無線供能發(fā)射系統(tǒng)、體內(nèi)圖像膠囊和體外接收處理系統(tǒng)三個(gè)部分構(gòu)成。體外無線供能系統(tǒng)激發(fā)產(chǎn)生恒強(qiáng)磁場，膠囊內(nèi)的線圈通過電磁感性產(chǎn)生電流，為體內(nèi)圖像膠囊無線供能。體內(nèi)圖像膠囊實(shí)現(xiàn)圖像的采集和傳輸。體內(nèi)圖像膠囊由光源模塊、圖像采集模塊、無線供能接收模塊、微控制(Micro Control Unit, MCU)模塊和射頻電路模塊等組成。體外接收處理系統(tǒng)實(shí)現(xiàn)圖像的接收、處理、存儲(chǔ)和顯示等功能。

本文所設(shè)計(jì)的體內(nèi)圖像膠囊外形為圓柱形，兩端過渡為半球形。膠囊的尺寸為Φ12.0 mm×26.0 mm。膠囊總體結(jié)構(gòu)如圖1所示，從左到右依次為光源模塊、圖像采集模塊、MCU模塊、無線供能接收模塊和射頻電路模塊。光源模塊包括白光LED和紫外光LED。一個(gè)白光LED和紫外光LED組成一個(gè)光源組，放置在同一個(gè)位置，每個(gè)光源組同一時(shí)刻只有一個(gè)LED開啟。光源模塊包括四組并行均勻放置的光源組。MCU模塊通過一個(gè)簡單的控制電路控制光源組內(nèi)LED的開啟和關(guān)閉。一般情況下，白光LED處于開啟狀態(tài)，膠囊使用白光作為光源檢測消化道，在觀測到消化道異常的時(shí)候，膠囊關(guān)閉白光LED，開啟紫外光LED，通過觀察基于消化道組織激發(fā)的熒光所成的圖像判斷病變種類和程度。

圖1 膠囊內(nèi)窺鏡系統(tǒng)結(jié)構(gòu)圖Fig.1 Capsule endoscopy system structure chart

2 圖像采集模塊

圖像采集模塊是體內(nèi)圖像膠囊非常重要的一個(gè)模塊。本文中的圖像采集模塊由一個(gè)CMOS圖像采集芯片和圖像處理芯片構(gòu)成，分別采用Omni Vision公司的OV6930和OV420。OV6930是一個(gè)微型圖像傳感器，芯片尺寸為1.815 mm×1.815 mm，感光面尺寸為1.224 mm×1.224 mm。OV420是模數(shù)轉(zhuǎn)換器，尺寸為3.21 mm×3.21 mm。OV420通過SCCB協(xié)議配置圖像采集芯片OV6930，把OV6930輸出的模擬信號轉(zhuǎn)換為10 bit高頻數(shù)字信號，并配置輸出圖像參數(shù)，如白平衡、曝光度、色度等。圖像采集模塊中，OV6930只和OV420連接，OV420通過SCCB協(xié)議來配置OV6930。MCU通過OV420間接配置OV6930，OV420是圖像采集模塊的控制和傳輸核心。

MCU配置OV420并通過OV420間接配置OV6930，這些都通過SCCB協(xié)議來完成。SCCB協(xié)議是Omni Vision公司所生產(chǎn)芯片專用的串行通信控制協(xié)議，類似于I2C協(xié)議，協(xié)議由兩根數(shù)據(jù)線SCL和SDA組成。SCL是時(shí)鐘信號數(shù)據(jù)線，SDA是數(shù)據(jù)傳輸數(shù)據(jù)線。SCCB協(xié)議時(shí)序圖如圖2所示。

圖2 SSCB協(xié)議時(shí)序圖Fig.2 SCCB Protocol sequence diagram

當(dāng)SCL=1時(shí)，驅(qū)動(dòng)SDA從0變?yōu)?并保持1.25 μs，之后SDA=0，SCCB協(xié)議啟動(dòng)，開始傳輸數(shù)據(jù)。當(dāng)SCL=1時(shí)，驅(qū)動(dòng)SDA從0變?yōu)?并保持納米級的時(shí)間，SCCB協(xié)議終止，停止傳輸數(shù)據(jù)。SCCB協(xié)議中最小的操作單位為一個(gè)phase，每一個(gè)phase由9個(gè)數(shù)據(jù)位(bit)組成，前8個(gè)數(shù)據(jù)位為傳輸?shù)臄?shù)據(jù)，最后一位為從機(jī)返回的確認(rèn)位，該確認(rèn)位可以忽略。SCCB協(xié)議的寫操作由三個(gè)phase組成，第一個(gè)phase寫入操作的從器件ID，第二個(gè)phase寫入器件寄存器地址（如果寄存器地址為16位，需要兩個(gè)phase先后寫入高地址和低地址），第三個(gè)phase寫入具體的數(shù)據(jù)。SCCB協(xié)議的讀操作由兩個(gè)phase組成，第一個(gè)phase寫入操作的從器件ID，第二個(gè)phase從器件返回具體的數(shù)值。單獨(dú)的讀操作不包含寄存器地址，所以實(shí)際的讀操作之前包括一個(gè)沒有具體數(shù)據(jù)的兩phase的寫操作，缺少具體數(shù)據(jù)的寫操作告知從器件具體的寄存器地址。

圖像采集模塊的電路圖如圖1中圖像模塊所示：OV420作為圖像采集模塊的傳輸和控制中心，接收MCU傳來的配置程序，同時(shí)配置OV6930。OV6930輸出的模擬圖像信號為Vout，OV420作為模數(shù)轉(zhuǎn)換器，把模擬信號轉(zhuǎn)換為數(shù)字信號。OV420的輸出信號如圖3所示：VSYNC為幀同步信號，VSYNC由0變?yōu)?并保持一段時(shí)間表示輸出新的一幀圖像，圖像傳輸時(shí)VSYNC保持為0。HREF為行同步信號，當(dāng)新的一幀圖像開始傳輸后，每次HREF為0表示傳輸圖像中一行的數(shù)據(jù)，HREF為0表示上一行傳輸結(jié)束，等待下一行傳輸。D0～D9是圖像數(shù)據(jù)信號，在幀信號有效并且行信號也有效時(shí)，數(shù)據(jù)信號有效，高電平表示1，低電平表示0。數(shù)據(jù)信號的頻率為8 MHz。當(dāng)VSYNC再次從0變?yōu)?時(shí)，傳輸下一幀圖像。

圖3 OV420輸出時(shí)序圖Fig.3 OV420 output sequence diagram

3 RAW圖像插值

圖像插值并不能產(chǎn)生新的圖像信息，所以為了提高圖像壓縮率，降低對傳輸速度的要求，本文中膠囊采集的圖像傳輸?shù)襟w外后需插值處理。只有得到高質(zhì)量的圖像，后續(xù)的疾病檢測工作才能順利進(jìn)行。上位機(jī)可對圖像進(jìn)行解壓縮和插值等操作[4]。

如圖4所示：在原始RAW圖片中，在每一個(gè)像素上，只有紅、綠、藍(lán)三種顏色中的一個(gè)。用一個(gè)顏色平面減去另外一個(gè)顏色平面得到色差平面，差值理論取值范圍為[-255, 255]，但實(shí)際差值絕大部分均分布在[-10, 10]內(nèi)。該像素上的差值往往不大于周圍八個(gè)像素上最大的差值，也不小于周圍8個(gè)像素上最小的差值，而且每一個(gè)像素上的差值和周圍8個(gè)像素上的差值有加權(quán)平均關(guān)系。根據(jù)這些特點(diǎn)，在傳統(tǒng)的相鄰像素權(quán)值算法的基礎(chǔ)上，本文提出一種基于顏色平面誤差修正的加權(quán)插值算法。

具體的插值算法步驟如下：

(1) 計(jì)算加權(quán)系數(shù) 計(jì)算raw平面每個(gè)像素點(diǎn)周圍8個(gè)方向上的加權(quán)系數(shù)。在raw平面中，每一個(gè)像素點(diǎn)上只有一個(gè)顏色的信息，另外兩個(gè)顏色信息缺失，所以在每一個(gè)像素點(diǎn)上只有一個(gè)顏色平面內(nèi)的加權(quán)系數(shù)。由于不同顏色平面相近，認(rèn)為WB(i, j)= WR(i, j)= WG(i, j)=W(i, j)。加權(quán)系數(shù)的計(jì)算見公式(1)。

圖4 RAW平面圖片F(xiàn)ig.4 RAW plane

在本文中，使用下標(biāo)k表示像素點(diǎn)周圍8個(gè)像素的權(quán)值或其他信息。W1(i, j)表示在像素點(diǎn)(i, j)左邊的權(quán)值系數(shù)，表達(dá)式見公式(1)。逆時(shí)針旋轉(zhuǎn)，W2(i, j)表示左下方向的權(quán)值，以此類推，W8(i, j)表示在像素點(diǎn)(i, j)左上方向上權(quán)值系數(shù)。

(2) 插值 分別在紅綠藍(lán)三個(gè)平面采用相鄰像素加權(quán)系數(shù)方法進(jìn)行單色平面插值。MarkB表征像素點(diǎn)是否有原始圖像信息，MarkB1(i, j)表示藍(lán)色平面內(nèi)像素點(diǎn)(i, j)左方像素點(diǎn)是否擁有原始數(shù)據(jù)，有則為1，否則為0。藍(lán)色平面像素點(diǎn)(i, j)缺失的藍(lán)色像素值具體計(jì)算方法見公式(2)和(3)，紅色和綠色平面的插值類似。

(3) 修正 計(jì)算顏色平面差，見公式(4)。由于綠色平面有一半的原始圖片信息，所以以綠色平面為起始平面開始修正。首先使用綠色平面去修正藍(lán)色平面，之后使用藍(lán)色平面去修正紅色平面，然后使用紅色平面去修正綠色平面。設(shè)定閾值T，如果B(i, j)不在區(qū)間

[Corr-T, Corr+T ]內(nèi)，認(rèn)為B(i, j)插值結(jié)果存在較大的誤差，用CorrB(i, j)代替B(i, j)，完成該像素點(diǎn)的一次修正。見公式(5)和(6)。其余修正同上所述。

4 實(shí)驗(yàn)結(jié)果

本文采用試驗(yàn)中采集的胃腸道圖像驗(yàn)證插值算法，采用MSE作為判斷標(biāo)準(zhǔn)。實(shí)驗(yàn)結(jié)果顯示，圖像原始插值后的MSE均值為26.23，一次修正后減少到15.37，降低41.4%，二次修正后減少到13.2，再次降低14.1%。實(shí)驗(yàn)結(jié)果表明本文提出的插值修正方法可以有效地提高圖片質(zhì)量。

5 結(jié)論與展望

針對傳統(tǒng)模擬式膠囊內(nèi)窺鏡的不足，本文提出了一種改進(jìn)型的數(shù)字式膠囊內(nèi)窺鏡，使用新型的高分辨率圖像傳感器OV6930，得到幀率為30幀/秒、分辨率為400×400像素的數(shù)字式圖像，抗干擾能力好，方便后續(xù)的圖像處理，如模式識別、智能檢測等。本文中設(shè)計(jì)的膠囊內(nèi)窺鏡系統(tǒng)，圖像在膠囊內(nèi)部壓縮，在上位機(jī)解壓縮并插值。針對胃腸道圖像的特點(diǎn)，本文提出了新的圖像插值方法，通過利用原圖像不同顏色平面間的相關(guān)關(guān)系，對經(jīng)加權(quán)均值方法得到的插值圖像進(jìn)行修正，使用較少的計(jì)算量，得到了較高質(zhì)量的彩色圖像。

[1] 許飛, 顏國正, 朱柄全, 等. 視頻膠囊內(nèi)窺鏡的改進(jìn)設(shè)計(jì)與實(shí)驗(yàn)[J]. 電子學(xué)報(bào), 2014, 43(3): 605-610.

[2] 王微微, 劉華. 膠囊內(nèi)窺鏡圖像采集系統(tǒng)設(shè)計(jì)[J]. 測控技術(shù), 2013, 32(8): 25-28.

[3] 劉剛, 顏國正, 劉華, 等. 間歇工作圖像膠囊內(nèi)窺鏡的設(shè)計(jì)與實(shí)驗(yàn)[J]. 光學(xué)精密工程, 2012, 20(10): 2192-2199.

[4] 邱祥玲, 顏國正, 潘國兵. 基于 JPEG 的數(shù)字式無線膠囊內(nèi)窺鏡的設(shè)計(jì)[J]. 測控技術(shù), 2010 (1): 7-9.

[5] 高鵬, 顏國正. 胃腸道無線內(nèi)窺鏡機(jī)器人系統(tǒng)[J]. 上海交通大學(xué)學(xué)報(bào), 2012, 9: 013.

[6] 程磊, 劉波, 徐建省, 等. 基于 OV2640 的微型膠囊內(nèi)窺鏡系統(tǒng)設(shè)計(jì)[J]. 傳感器與微系統(tǒng), 2014, 33(2): 73-76.

[7] 劉剛, 顏國正, 姜萍萍, 等. 無線供能圖像膠囊內(nèi)窺鏡的設(shè)計(jì)與實(shí)驗(yàn)分析[J]. 電子學(xué)報(bào), 2013, 41(10): 1983-1987.

[8] 潘國兵, 顏國正, 宋昕帥. 膠囊內(nèi)窺鏡數(shù)字無線通信模塊的設(shè)計(jì)[J]. 上海交通大學(xué)學(xué)報(bào), 2009 (6): 894-897.

lmprovement of Digital Capsule Endoscopy System and Image Interpolation

【 Writers 】ZHAO Shaopeng, YAN Guozheng, LIU Gang, KUANG Shuai
Department of Instrument Science and Engineering, Shanghai Jiao Tong University, Shanghai, 200240

capsule endoscopy, digital image, SCCB protocol, image interpolation

TP391.41；R318.6

A

10.3969/j.issn.1671-7104.2016.01.007

1671-7104(2016)01-0027-03

2015-10-08

國家自然科學(xué)基金(31170968)；上海市科委基金(14441902800, 15441903100)

趙少鵬，E-mail: zghnzsp@163.com

【 Abstract 】Traditional capsule image collects and transmits analog image, with weak anti-interference ability, low frame rate, low resolution. This paper presents a new digital image capsule, which collects and transmits digital image, with frame rate up to 30 frames / sec and pixels resolution of 400×400. The image is compressed in the capsule, and is transmitted to the outside of the capsule for decompression and interpolation. A new type of interpolation algorithm is proposed, which is based on the relationship between the image planes, to obtain higher quality colour images.