基于Android智能手機的WIFI電子內(nèi)窺鏡

呂偉通 樊翔 鐘穎珊 黃志強 朱鵬志廣東省醫(yī)療器械質(zhì)量監(jiān)督檢驗所 （廣東 廣州 510663）

基于Android智能手機的WIFI電子內(nèi)窺鏡

呂偉通 樊翔 鐘穎珊 黃志強 朱鵬志＊廣東省醫(yī)療器械質(zhì)量監(jiān)督檢驗所 （廣東 廣州 510663）

針對移動醫(yī)療需求的發(fā)展，提出一種采用WiFi通信并基于Android手機平臺的便攜式電子內(nèi)窺鏡設(shè)計方案，可代替?zhèn)鹘y(tǒng)的內(nèi)窺鏡設(shè)備，應(yīng)用于網(wǎng)絡(luò)化或遠程醫(yī)療環(huán)境中。本方案在基于RT5350的EasyMIPS硬件上搭建了openwrt軟件系統(tǒng)和MJPG－streamer服務(wù)器，并通過USB接口實時讀入電子內(nèi)窺鏡的視頻數(shù)據(jù)，轉(zhuǎn)換為MJPEG視頻流后，通過WiFi接口傳入Android智能手機，然后在Android手機上編寫相應(yīng)的客戶端用戶程序，實現(xiàn)了對電子內(nèi)窺鏡的視頻采集、圖像增強、保存回放、遠程傳輸?shù)裙δ堋嶒灲Y(jié)果表明內(nèi)窺鏡封裝尺寸可小于5mm，圖像分辨率640×480，視場角120?，本方案可廣泛應(yīng)用于資源受限的偏遠環(huán)境及家庭健康領(lǐng)域，實現(xiàn)耳鼻喉等人體器官的內(nèi)窺成像及醫(yī)學(xué)診斷。

電子內(nèi)窺鏡 智能手機 Android WiFi 遠程醫(yī)療

耳鼻喉電子內(nèi)窺鏡在基層醫(yī)療中比較匱乏，現(xiàn)有的電子內(nèi)窺鏡體積大，成本高且需要專業(yè)人士進行操作診斷；隨著人們健康理念的更新，對耳鼻咽喉等部位疾病的早期診斷和自我保健的要求日益增長。因此，低成本、便攜化、網(wǎng)絡(luò)化的醫(yī)用電子內(nèi)窺鏡內(nèi)窺鏡是近年來醫(yī)療器械的一個研究方向。Wu等[1]設(shè)計了一個適配器與便攜的內(nèi)窺鏡鏡頭，與智能手機攝像頭連接即可共享成像視頻；Sohn等[2]設(shè)計了一個智能手機與內(nèi)窺鏡的耦合系統(tǒng)，Ian Joseph Alexander設(shè)計了一個基于無線傳輸模塊的便攜式鼻腔內(nèi)窺鏡[3]。而在內(nèi)地市場上，網(wǎng)絡(luò)電子內(nèi)窺鏡大多用于工業(yè)領(lǐng)域，在分辨率、成像清晰度、圖像增強方面的技術(shù)水平不高[4-7]。

基于此，本文設(shè)計一種新型的基于智能手機平臺的WiFi電子內(nèi)窺鏡，在本地搭建了MJPG-Streamer服務(wù)器，通過Android客戶端APP獲取內(nèi)窺鏡采集的圖像并實時處理，充分利用了智能手機的軟硬件功能，從而降低了醫(yī)用電子內(nèi)窺鏡的成本，方便了對電子內(nèi)鏡圖像的分析處理和遠程共享。

1.WiFi內(nèi)窺鏡總體設(shè)計

硬件系統(tǒng)由電子內(nèi)窺鏡系統(tǒng)和網(wǎng)絡(luò)傳輸系統(tǒng)構(gòu)成，由電子內(nèi)窺鏡系統(tǒng)采集醫(yī)學(xué)圖像后將視頻數(shù)據(jù)通過USB接口送入網(wǎng)絡(luò)傳輸系統(tǒng)，經(jīng)編碼后傳輸給手機終端或者瀏覽器，用戶在終端App或者瀏覽器內(nèi)輸入IP地址和端口就可以在多個顯示屏上看到電子內(nèi)窺鏡采集的畫面，整體結(jié)構(gòu)如圖1（a）所示，圖1（b）為實物照片。

圖1. 內(nèi)窺鏡系統(tǒng)整體結(jié)構(gòu)圖與實物圖

1.1 內(nèi)窺鏡系統(tǒng)

內(nèi)窺鏡部分包括照明LED，微型鏡頭，CMOS圖像傳感器，視頻處理模塊四個主要部件。LED光源照亮體內(nèi)器官，反射的光信號通過微型鏡頭成像到CMOS傳感器，視頻處理模塊完成圖像采集并直接輸出標(biāo)準(zhǔn)的NTSC/PAL視頻，接入標(biāo)準(zhǔn)監(jiān)視器中即可觀看到內(nèi)窺鏡采集的視頻。

1.2 網(wǎng)絡(luò)傳輸系統(tǒng)

系統(tǒng)的傳輸部分采用了USB視頻采集卡以及WiFi信號處理板，內(nèi)窺鏡系統(tǒng)將NTSC/PAL信號輸出后傳入視頻采集卡，輸出的MJPG格式視頻通過usb接口接入WiFi信號處理板，最后視頻數(shù)據(jù)通過WiFi接口傳輸至Android智能手機，用戶通過APP軟件可以對電子內(nèi)窺鏡進行控制、視頻處理、存儲等操作。

圖2. wifi信號處理板硬件結(jié)構(gòu)圖

WiFi信號處理板移植了嵌入式openwrt系統(tǒng)并搭建了mjpeg-streamer視頻流服務(wù)器，可實現(xiàn)對本地USB視頻設(shè)備進行數(shù)據(jù)采集，并將所采集的視頻數(shù)據(jù)通過MJPEG方式壓縮編碼，通過http/rtsp傳輸協(xié)議向客戶端進行傳輸。當(dāng)客戶端向服務(wù)器端口發(fā)送連接請求，服務(wù)器接收到后創(chuàng)建起數(shù)據(jù)連接，連接建立之后，服務(wù)器端將壓縮編碼后的采集圖像通過無線網(wǎng)絡(luò)發(fā)送到客戶端。整個系統(tǒng)的硬件結(jié)構(gòu)如圖2所示。

2.Android客戶端設(shè)計

Android客戶端中包含了四大主要功能模塊：網(wǎng)絡(luò)傳輸模塊，視頻監(jiān)控顯示模塊以及視頻功能模塊?？蛻舳嗽谶B接WIFI的條件下接收圖像數(shù)據(jù)后還原成單幀視頻流，實現(xiàn)內(nèi)窺鏡預(yù)覽。通過改變獲位圖的顏色參數(shù)值可以改變實時預(yù)覽幀效果，對單幀數(shù)據(jù)流的壓縮保存即可實現(xiàn)視頻抓圖。

2.1 網(wǎng)絡(luò)傳輸模塊

網(wǎng)絡(luò)傳輸模塊實現(xiàn)的是獲取WiFi開發(fā)板傳送的視頻流數(shù)據(jù)的功能。在Android sdk中附帶了兩種HTTP客戶端，HttpURLConnection和Apache HttpClient，它們都支持HTTPS，能上傳和下載文件[8]。由于Apache HttpClient的功能更為強大，所以此處作者采用了Apache HttpClient來實現(xiàn)網(wǎng)絡(luò)傳輸。

在登陸界面輸入相應(yīng)的IP地址建立網(wǎng)絡(luò)連接后即可接受來自WIFI開發(fā)板的視頻流數(shù)據(jù)。對于接收到的視頻流數(shù)據(jù)，按照JPG標(biāo)準(zhǔn)文件頭進行分段處理。通過標(biāo)記碼SOI和EOI計算出數(shù)據(jù)的長度，該長度的數(shù)據(jù)即為一幀圖像。將分段后的數(shù)據(jù)存入緩沖區(qū)，設(shè)置線程不斷對緩沖區(qū)刷新，即可得到一幀一幀的圖像數(shù)據(jù)，對這些圖像數(shù)據(jù)處理后送入顯示即可得到視頻。對于緩存數(shù)據(jù)的處理，Android中提供了BitmapFactory類來獲取資源中的位圖，BitmapFactory的所有函數(shù)都是static，這個輔助類可以通過資源ID、路徑、文件、數(shù)據(jù)流等方式來獲取位圖[8]。利用BitmapFactory的DecodeStream（InputStream is）解碼位圖資源，即可獲取當(dāng)位圖。該部分流程如圖3所示。

圖3. 數(shù)據(jù)轉(zhuǎn)化位圖流程圖

2.2 視頻監(jiān)控顯示模塊

上述位圖形成后，即可通過線程繪制到界面上進行顯示。但是由于環(huán)境的變化以及醫(yī)療需要，作者對位圖提供了圖像增強功能，將得到的位圖預(yù)先進行圖像處理。

在Android可通過顏色矩陣（ColorMatrix）對圖像顏色進行處理，實現(xiàn)圖像的黑白顯示，彩色增強等等[9]。colormatrix為一個一維方式存儲的5×4顏色矩陣，可修改位圖的RGBA顏色通量實現(xiàn)對圖片中色彩的增強：

圖5 視頻功能模塊實現(xiàn)流程圖

圖4. surfaceView更新界面機制流程圖

其中M表示顏色矩陣，C表示原位圖的RGBA分量，相乘后得到新的R’G’B’A’分量。且通過運算可知，第一行參數(shù)決定了圖像的紅色成分，第二行參數(shù)決定了圖像的綠色成分，第三行參數(shù)決定了圖像的藍色成分，最后一行參數(shù)決定了圖像的透明度，第五列參數(shù)是顏色的偏移量。將修改后的位圖送入線程中，繪制在界面上即可實現(xiàn)顯示功能。

Android的繪圖與Swing類似，通過繼承View組件并重寫它的OnDraw（Canvas canvas）方法來進行繪圖[10]。但當(dāng)需要快速更新View的UI，或者當(dāng)前渲染代碼阻塞GUI線程過長的時候，Android提供了Surface View來代替View。

SurfaceView一般會與SurfaceHolder結(jié)合使用，SurfaceHolder用于向之前關(guān)聯(lián)的Surface上畫圖，調(diào)用SurfaceView的getHolder()方法可以獲取SurfaceView關(guān)聯(lián)的SurfaceHolder。surfaceView更新界面的機制如圖4所示。

在本視頻顯示模塊中定義了MjpegView控件，用來顯示視頻圖像的一個SurfaceView，通過lockCanvas方法得到canvas對象，復(fù)寫線程中的run()方法，在線程中調(diào)用canvas，按照網(wǎng)絡(luò)傳輸模塊中變化的位圖圖像對界面進行更新。

2.3 視頻功能模塊

該模塊是在完成視頻顯示的基礎(chǔ)上增加了拍照保存、畫面暫停以及圖片瀏覽等功能。該功能是在主界面中通過點擊按鈕實現(xiàn)，我們首先為指定按鈕綁定相應(yīng)的監(jiān)聽器OnChecked-ChangeListener，當(dāng)按鈕被按下的時候觸發(fā)相應(yīng)的方法。其中拍照保存，圖片瀏覽以及畫面暫停的實現(xiàn)方式如圖5所示。

3.實驗結(jié)果

圖6 程序界面及功能圖

將應(yīng)用程序的apk安裝至手機，開啟WiFi電路板且手機連上該WiFi，可以觀察到如下圖6（a）（b）的程序界面，界面中顯示的是人耳內(nèi)的場景。界面最下面有一組功能按鈕。點擊下列按鈕，可以對畫面進行增強，暫停，抓拍圖片等等。如圖6（c）則為在程序中瀏覽已拍圖片。且當(dāng)電腦或其他設(shè)備只要在瀏覽器中輸入該IP地址，也能同時訪問內(nèi)窺鏡攝像頭。如圖7所示。

從上述結(jié)論中可以看出，不論是在什么環(huán)境，只要有一部Android手機，知道要訪問的內(nèi)窺鏡攝像頭的IP地址，就可以對耳鼻喉等器官進行自身檢查。這比傳統(tǒng)的內(nèi)窺鏡設(shè)備更加體現(xiàn)除了便攜性，大眾性，模塊獨立性。

圖7. 多臺設(shè)備同時訪問內(nèi)窺鏡攝像頭

4.小結(jié)

智能化發(fā)展促使手機平臺成為移動醫(yī)療的主流，引領(lǐng)著醫(yī)療設(shè)備朝著便攜化網(wǎng)絡(luò)化的方向發(fā)展。對于移動醫(yī)療，其最關(guān)鍵最主要的技術(shù)就是如何將傳統(tǒng)的設(shè)備與智能手機結(jié)合并充分的利用手機的硬件系統(tǒng)，從而降低設(shè)備體積成本，推廣大眾。Android手機端實現(xiàn)內(nèi)窺鏡圖像顯示比傳統(tǒng)的標(biāo)準(zhǔn)監(jiān)視器更注重其基層的推廣性，除了具有普通的觀看，畫面暫停，圖像增強等功能之外，若有治療需要，還可多臺顯示器共同觀看并實現(xiàn)遠程傳輸。至此，手機端的內(nèi)窺鏡醫(yī)療系統(tǒng)前景將會更加光明。

[1] Wu CJ, Wu SY, Chen PC, et al. An Innovative Smartphone-Based Otorhinoendoscope and Its Application in Mobile Health and Teleotola[J]. J Med Internet Res, 2014,16(3):e71.

[2] Sohn W1, Shreim S, Yoon R, et al. Endockscope:Using Mobile Technology to Create Global Point of Service Endoscopy[J]. J Endourol , 2013,27(4):1154-1160.

[3] Ian Joseph Alexander, Brian Dean Owens. Portable Endoscope and Method of Use Thereof. US, US20130096374(A1)[P]. 2013-04-18[2017-03-10]. http://www3.drugfuture.com/uspat/download/US20130096374.pdf.

[4] 深圳市永恒豐智能設(shè)備有限公司. 一種可與移動設(shè)備連接的內(nèi)窺鏡. 中國, CN103984086(A)[P]. 2014-08-13[2017-03-10]. http://www.soopat.com/Patent/201410169851.

[5] 合肥德銘電子有限公司. 一種無線內(nèi)窺鏡. 中國, CN203311093(U)[P]. 2013-11-27[2017-03-10]. http://www.soopat.com/Patent/201320068660.

[6] 江蘇金視光電科技有限公司. 無線耳鼻喉電子內(nèi)窺檢查鏡. 中國, CN203280358(U)[P]. 2013-11-13[2017-03-10]. http://www.soopat.com/Patent/201320304015.

[7] 陳旭全. 一種便攜式口腔內(nèi)窺裝置. 中國, CN103070662(A)[P]. 2013-05-01[2017-03-10]. http://www.soopat.com/Patent/201310042297.

[8] 周鵬飛, 潘地林. 基于Android視頻監(jiān)控系統(tǒng)的數(shù)據(jù)處理及實現(xiàn)[J]. 計算機技術(shù)與發(fā)展, 2013,23(5):150-153.

[9] http://blog.sina.com.cn/s/blog_629b701e0100spsn.html.

[10] http://developer.android.com/reference/android/graphics/ColorMatrix.html.

WIFI Electronic Endoscope Based on Android Smartphone

LV Wei-tong FAN Xiang ZHONG Ying-shan HUANG Zhi-qiang ZHU Peng-zhi＊Guangdong Medical Device Quality Surveillance and Test Institute (Guangdong Guangzhou 510663)

To satisfy the needs of the development of mobile health, designing a portable electronic endoscope is proposed, which uses WIFI to transmit video data to Android smartphone platform, and that can replace traditional endoscope equipment in the network or remote medical environment. This scheme builds the Openwrt system and the open source video sever MJPG-streamer on EasyMIPS hardware based on chip RT5350. The video data which were read through the USB interface in real time convert into MJPEG video stream, and then transmitted into the Android mobile phone via WIFI interface. The corresponding client/user application software is developed too, which performs the function of video capture, image enhancement, teletransmission, save and recall etc. Experimental results show that the package dimensions of our endoscope can be less than 5 millimeter, with the image resolution up to 640×480 and the feld of view up to 120?. The endoscope can be applied to the remote environment which the source is limited and family health, realize the endoscopic imaging and medical diagnosis of ENT and other human organs.

electronic endoscope, smart-phone, android, WIFI, telemedicine

1006-6586(2017)11-0042-04

TP391

A

2017-03-10

朱鵬志，通訊作者。