電子熒光內(nèi)窺鏡實(shí)時圖像處理系統(tǒng)

邱鵬 葉兵 馬靜云

摘? 要： 文中根據(jù)內(nèi)窺鏡腫瘤手術(shù)的發(fā)展趨勢，設(shè)計(jì)一套電子熒光內(nèi)窺鏡實(shí)時圖像處理系統(tǒng)。該系統(tǒng)采用OV5640圖像傳感器采集病灶圖像，光纖導(dǎo)光的LED作為其功率可控的光源。根據(jù)光源開關(guān)狀態(tài)區(qū)分暗亮場，開關(guān)頻率與攝像頭的幀率一致。通過計(jì)算攝像頭與拍攝物體距離，迭代其曝光時間及焦距，從而使圖像獲得合適的亮度及清晰度。FPGA將接收的圖像存儲在DDR2中。通過緩存控制及合成算法得到病變與正常組織差異性較高的圖像，將其以一定的幀數(shù)組合，使用VGA線纜輸出至顯示器。與傳統(tǒng)的內(nèi)窺鏡系統(tǒng)相比，其主要側(cè)重于圖像采集與光源的同步，自動調(diào)節(jié)曝光時間，使得手術(shù)醫(yī)生能夠方便地提取出不同光照度下圖像的差異信息。

關(guān)鍵詞： 內(nèi)窺鏡; 圖像處理; 圖像采集; 圖像輸出; 光源控制; 自動調(diào)節(jié)

中圖分類號： TN911.73?34; TP273? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識碼： A? ? ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2020）04?0038?05

Real?time image processing system for electronic fluorescence endoscope

QIU Peng， YE Bing， MA Jingyun

（School of Electronic Science and Applied Physics， Hefei University of Technology， Hefei 230009， China）

Abstract： As the development trend of endoscopic tumor operation， a real?time image processing system for electronic fluorescence endoscope is designed. In this system， the OV5640 image sensor is adopted to collect the nidus images， and the LED with the optical fiber light transmitting is used as its light source with controlled power. The dark and light? fields are distinguished according to the switch state of the light source. The switch frequency is consistent with the frame rate of the camera. The exposure time and focal length of the camera are iterated by calculating the distance between the camera and the object， so as to obtain the appropriate brightness and clarity of the image. The received images are stored in the DDR2 by the FPGA， the highly difference images with the diseased tissue and normal tissue around it are got by means of the cache control and the synthesis algorithm， which are combined at a certain number of frames and output to the display through VGA cable. In comparison with the traditional endoscopy system， this system mainly focuses on the synchronization of image acquisition and light source， and can automatically adjust the exposure time， which makes the surgeons conveniently extract the difference information of the image under different illumination.

Keywords： endoscope; image processing; image capture; image output; light source control; automatic adjustment

0? 引? 言

隨著科學(xué)技術(shù)的發(fā)展進(jìn)步，“微創(chuàng)”這一概念已深入到外科手術(shù)的各種領(lǐng)域。在微創(chuàng)腫瘤切除手術(shù)中，醫(yī)生僅僅依賴于內(nèi)窺鏡所提供的視覺信息來判斷腫瘤，這導(dǎo)致對于顏色和形態(tài)都與正常組織相似的微小腫瘤病灶被遺漏[1]。

利用熒光分子成像是一種新的成像方法，其原理是通過熒光劑標(biāo)記腫瘤細(xì)胞來增加病變組織與正常組織的對比[2]。由于熒光劑在可見光照射下觀察效果不明顯，在無光照條件下標(biāo)記效果顯著，因此在臨床上，醫(yī)生通過手動開關(guān)照明光源，通過電子內(nèi)窺鏡來觀察正常組織與腫瘤組織的圖像差異信息。而手術(shù)現(xiàn)場環(huán)境復(fù)雜、儀器眾多，在長時間手術(shù)的過程中頻繁開關(guān)光源給手術(shù)醫(yī)生帶來一定負(fù)擔(dān);并且在暗場下熒光劑的邊界不清晰，容易干擾醫(yī)生對手術(shù)的判斷。

為了解決在臨床手術(shù)中所面臨的以上幾個問題，本文提出一套電子熒光內(nèi)窺鏡實(shí)時圖像處理系統(tǒng)。該系統(tǒng)能夠自動開關(guān)光源，對1 920×1 080分辨率的視頻流實(shí)時處理，自適應(yīng)改變屏幕亮度，清晰顯示熒光邊界，減少了手術(shù)時間，完善了這一新型成像方法在實(shí)際手術(shù)中的應(yīng)用。

1? 系統(tǒng)的設(shè)計(jì)原理

本系統(tǒng)由光源模塊、圖像采集模塊、處理模塊和液晶顯示器4個部分組成。光源模塊驅(qū)動光纖導(dǎo)光的LED對成像區(qū)域照明。圖像采集模塊采用OV5640攝像頭進(jìn)行圖像采集。處理模塊是整個系統(tǒng)的核心，由cyclone系列的EP4C75芯片及2片DDR2組成，負(fù)責(zé)搭載圖像合成算法、存取未處理和處理后的圖像以及改寫攝像頭寄存器等操作。處理模塊使用VGA線纜連接1080P液晶顯示器。為了便于調(diào)節(jié)攝像頭參數(shù)，本系統(tǒng)加入矩陣鍵盤作為參數(shù)調(diào)節(jié)端，計(jì)算機(jī)通過USB Blaster線纜對FPGA燒寫，利用SignalTap對本系統(tǒng)進(jìn)行在線調(diào)試。本系統(tǒng)所設(shè)計(jì)的系統(tǒng)結(jié)構(gòu)框圖如圖1所示。

2? 系統(tǒng)的硬件設(shè)計(jì)

2.1? 光源模塊

通常內(nèi)窺鏡所采用的LED光源具有功率較大、發(fā)散角大于攝像頭視場角、光強(qiáng)可調(diào)等特性。針對LED的光學(xué)特性所設(shè)計(jì)的光學(xué)結(jié)構(gòu)由本課題所在的其他小組負(fù)責(zé)。本文設(shè)計(jì)了光源模塊的LED驅(qū)動電路見圖2。220 V交流電經(jīng)變壓器、整流濾波電路后作為CW7812的輸入電壓。CW7812為12 V穩(wěn)壓芯片最大輸出電流可達(dá)1.5 A，滿足三列LED的最大驅(qū)動電流0.6 A。FPGA通過引腳strobe高低電平控制光源開關(guān)。當(dāng)Strobe為3.3 V時，Q2，Q1導(dǎo)通，D1～D9發(fā)光。利用可變電阻R1調(diào)節(jié)D1～D9的工作電流，從而改變其照度。Strobe為0 V時，Q2與Q1截止，D1～D9無電流經(jīng)過，不發(fā)光。

2.2? 圖像采集模塊

本模塊采用CMOS圖像傳感器OV5640，其曝光時間和增益每幀可控，內(nèi)部集成ISP（Image Signal Processor），可將上一級A/D轉(zhuǎn)換器的輸出數(shù)字信號經(jīng)白平衡、伽馬校正、顏色插值轉(zhuǎn)換為YUV格式數(shù)據(jù)輸出[3]。FPGA使用SCCB協(xié)議初始化OV5640，使其輸出1 920×1 080分辨率的圖像數(shù)據(jù)。VSYNC為高電平有效的幀同步信號，在每幀圖像數(shù)據(jù)傳輸完成后觸發(fā)。HREF為行同步信號。D0～D7為數(shù)據(jù)總線，每個PCLK上升沿輸出8位圖像數(shù)據(jù)。

2.3? 處理模塊

由于圖像數(shù)據(jù)量較大，調(diào)試時需要占用FPGA內(nèi)部RAM較多。本設(shè)計(jì)所采用的FPGA芯片擁有多達(dá)2 745個M9K，滿足了通過SignalTap采集大量FPGA內(nèi)部信號，從而達(dá)到調(diào)試本系統(tǒng)的目的。由于EP4CE系列沒有自帶內(nèi)部FLASH，因此外接一個64 Mbit FLASH，采用SPI與其通信。Cyclone IV E系列EP4CE75F23C8 FPGA，M25P64 SPI FLASH以及兩片鎂光MT47H64M16 DDR2組成了處理模塊的硬件結(jié)構(gòu)，分別負(fù)責(zé)本系統(tǒng)的邏輯控制、邏輯代碼存儲以及圖像緩存。由于芯片管腳眾多，地址數(shù)據(jù)總線較寬，本文給出處理模塊的設(shè)計(jì)框圖如圖3所示。

兩片DDR2共用13位地址總線（ADR）、時鐘線（CLK）、控制總線（CMD）以及塊選擇線（BA）。兩片DDR2的16位DQ并聯(lián)，數(shù)據(jù)位寬由16位擴(kuò)展成32位。DDR2的數(shù)據(jù)吞吐率等于接口時鐘×接口位寬[4]，即300 M×32 bit=9.6 Gb/s。VGA接口輸出每幀圖像前，圖像緩存控制需要從DDR2中寫入兩幀和讀取兩幀數(shù)據(jù)，在DDR2讀取速率與寫入速率一致的條件下，則DDR2吞吐率的[14]（2.4 Gb/s）需要大于攝像頭數(shù)據(jù)輸入速率和VGA接口輸出速率。對比OV5640數(shù)據(jù)輸入速率84 M×8 bit=0.67 Gb/s以及VGA接口輸出速率148 M×16 bit=2.368 Gb/s，該型號的DDR2滿足此次設(shè)計(jì)的需求。

3? 系統(tǒng)的邏輯設(shè)計(jì)

處理模塊中的邏輯控制作為本系統(tǒng)設(shè)計(jì)的核心，采用Verilog硬件描述語言編寫，通過USB Blaster下載及調(diào)試。系統(tǒng)的邏輯結(jié)構(gòu)如圖4所示。攝像頭的8位并行數(shù)據(jù)經(jīng)帶寬加倍后輸入到DDR2中。DDR2中劃定4幀的緩存空間，圖像緩存控制模塊按照設(shè)計(jì)的順序分次存取。圖像合成前，經(jīng)過自動曝光算法，計(jì)算出下一幀最適曝光值。圖像合成后，數(shù)據(jù)由緩存塊經(jīng)YUV轉(zhuǎn)RGB[5]，VGA時序控制[6]輸出至液晶顯示屏。本節(jié)主要就關(guān)鍵性問題進(jìn)行詳細(xì)描述。

3.1? 亮暗場切換

亮暗場切換屬于處理模塊對圖像采集模塊與光源模塊的控制。當(dāng)每幀數(shù)據(jù)發(fā)送完畢時，攝像頭在固定的PCLK時鐘周期內(nèi)將VSYNC置高。亮暗場切換的同步信號采用攝像頭的幀同步信號VSYNC，F(xiàn)PGA采集到VSYNC的上升沿，即確定該幀數(shù)據(jù)發(fā)送完畢。控制器分奇偶幀對本系統(tǒng)做出以下配置。

奇幀（亮場）：將光源開關(guān)引腳（strope）置高，LED亮。通過SCCB總線減小攝像頭的曝光時間和增益，將圖像輸入地址在DDR2中切換至亮幀存儲位置（0X100000～0X1FD1FF）。偶幀（暗場）：將光源開關(guān)引腳（strope）置低，LED滅。通過SCCB總線增大攝像頭的曝光時間和增益，將圖像輸入地址在DDR2中切換至暗幀存儲位置（0X000000～0X0FD1FF）。

由于攝像頭工作在不同照度下，因此攝像頭需要來回切換亮、暗場的曝光時間及增益，其中亮場的曝光時間由自動曝光算法得出。對拍攝圖片在DDR2中存儲位置的切換簡化了圖像緩存控制的設(shè)計(jì)。

3.2? 自動曝光及焦距調(diào)節(jié)

圖像質(zhì)量與清晰程度以及像素亮度有很強(qiáng)的相關(guān)性。合成圖像中正常區(qū)域的清晰程度取決于CMOS相機(jī)的焦距，而其像素亮度取決于亮場的像素亮度。在手術(shù)中，醫(yī)生需要調(diào)節(jié)內(nèi)窺鏡鏡頭與成像組織的距離來獲得可變視野。由現(xiàn)有的內(nèi)窺鏡結(jié)構(gòu)可知[7]，內(nèi)窺鏡鏡頭是由光纖頭和與其在同一垂直平面的CMOS感光芯片所組成。因此，調(diào)節(jié)內(nèi)窺鏡鏡頭與成像組織的距離d，會造成圖像清晰程度與像素亮度的變化。本設(shè)計(jì)在不改變LED發(fā)光強(qiáng)度的條件下通過調(diào)節(jié)曝光時間T，使得像素亮度能夠穩(wěn)定在目標(biāo)范圍內(nèi)，不隨d變化。使用實(shí)驗(yàn)參數(shù)計(jì)算出d的大小，通過距離范圍查找表（Look?Up Table，LUT）[8]獲得該d值所需的工作參數(shù)T以及攝像頭音圈馬達(dá)VCM的工作電流A（改變焦距）[8]。通過反復(fù)迭代，從而使得圖像具有穩(wěn)定的亮度和清晰度。

[Cy=Ay+By·f]

[Cuv=Auv·d+Buv·|1-d|] （7）

[f=0，? ? ? ? By

圖7為合成算法流程圖。考慮到乘加運(yùn)算所實(shí)現(xiàn)的功能，結(jié)合FPGA處理數(shù)據(jù)的流水線特性，合成算法以一個像素作為基本運(yùn)算單元，在乘法運(yùn)算和加法運(yùn)算之后各加一個寄存器，形成兩級流水線結(jié)構(gòu)。暗場亮度數(shù)據(jù)（[By]）經(jīng)比較器后作為數(shù)據(jù)選擇器的選擇端口。若[By]值小于t，則兩個數(shù)據(jù)選擇器分別選擇通道0及通道[Auv]，否則，則選擇通道M及通道[Buv]。

實(shí)驗(yàn)過程中，參數(shù)經(jīng)多次調(diào)整設(shè)定為M=1，t=0x0F。圖像合成效果見圖8，對比亮場圖像9與暗場圖像10，該合成算法較為清晰地顯示了正常組織，并且顯著增強(qiáng)了熒光區(qū)域的邊界，實(shí)現(xiàn)了本系統(tǒng)中正常組織與熒光區(qū)域的區(qū)分功能。

4? 結(jié)? 論

本系統(tǒng)采用FPGA進(jìn)行控制與運(yùn)算，使用像素合成的方法來處理圖像。通過訪問查找表，多次迭代計(jì)算，維持圖像亮度穩(wěn)定，清晰度合適。實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)實(shí)時性好、操作便捷、分辨率高，可以顯著地增強(qiáng)標(biāo)記區(qū)域與正常組織的區(qū)分度，為縮短手術(shù)時間，減少識別難度提供了一種有效的治療手段。

參考文獻(xiàn)

[1] GLYNNE?JONES R， NILSSON P J， ASCHELE C， et al. Anal cancer： ESMO?ESSO?ESTRO clinical practice guidelines for diagnosis， treatment and follow?up [J]. European journal of surgical oncology， 2014， 40（10）： 1165?1176.

[2] 劉長旭，劉昶，紀(jì)艷超.量子點(diǎn)熒光腹腔鏡在胃癌治療中的研究進(jìn)展及前景[J].中國微創(chuàng)外科雜志，2018，18（3）：271?273.

[3] 葛正中.基于Cortex?A9的高清攝像系統(tǒng)設(shè)計(jì)[D].北京：北方工業(yè)大學(xué)，2016.

[4] 韓剛.用于高速圖像處理的DDR2 SDRAM控制器[J].西安郵電大學(xué)學(xué)報(bào)，2015，20（4）：58?61.

[5] 陳云，楊娜，黃江偉.基于嵌入式系統(tǒng)的攝像頭圖像采集[J].信息通信，2017（11）：77?78.

[6] 杜宗展，王振河，馮迎春.基于FPGA的VGA圖像顯示系統(tǒng)的設(shè)計(jì)[J].現(xiàn)代電子技術(shù)，2015，38（16）：95?99.

[7] 寧偉，王永琳，王恩運(yùn)，等.醫(yī)用內(nèi)窺鏡系統(tǒng)的組成與常見故障維修[J].醫(yī)療裝備，2015（6）：105?106.

[8] 李翁衡，盧琴芬.微型音圈電機(jī)在手機(jī)攝像模組中的應(yīng)用[J].微電機(jī)，2018（7）：8?11.

[9] 何燕強(qiáng).距離平方反比定律的應(yīng)用與探討[J].計(jì)量與測試技術(shù)，2018（6）：14?17.

[10] 劉杰，賽景波.基于DDR2SDRAM乒乓雙緩沖的高速數(shù)據(jù)收發(fā)系統(tǒng)設(shè)計(jì)[J].電子器件，2015（3）：650?654.