基于HUD 技術(shù)的多功能內(nèi)窺鏡防護(hù)面屏設(shè)計(jì)研究

卓海，唐健豪，何麗君，林家榮

（佛山市第一人民醫(yī)院設(shè)備科，廣東 佛山 528000）

1 前言

電子內(nèi)窺鏡是一種通過深入人體自然腔道或經(jīng)外科手術(shù)打開的人工孔道進(jìn)行醫(yī)學(xué)檢查、診斷或治療的高科技醫(yī)療儀器。主要用于檢查人體的空腔器官，比如外耳道、鼻腔、咽喉等，臨床比較常用的主要有耳內(nèi)窺鏡、鼻內(nèi)鏡、纖維鼻咽鏡、電子食管鏡、電子胃鏡、直腸鏡等，可以明確這些空腔器官具體的病變。而目前使用的內(nèi)窺鏡系統(tǒng)一般由內(nèi)窺鏡、光纖、內(nèi)窺鏡主機(jī)、冷光源、監(jiān)視器、工作站組成，由內(nèi)窺鏡獲取前端圖像，傳輸至主機(jī)進(jìn)行圖像后處理，再把圖像信息傳輸給監(jiān)視器和工作站。這種內(nèi)窺鏡系統(tǒng)需要醫(yī)務(wù)人員在操作內(nèi)鏡的同時觀察顯示器，兩者的視線并不在同一平面上，容易忽略被檢查者的狀態(tài)，不能快速應(yīng)對緊急情況。尤其在疫情期間，醫(yī)務(wù)人員在進(jìn)行口腔、鼻腔、喉嚨內(nèi)鏡檢查時，需要佩戴護(hù)目鏡或防護(hù)面罩以防止飛沫或分泌物噴濺?，F(xiàn)院內(nèi)使用的一次性防護(hù)面屏功能單一，只能起到遮擋的作用，這無疑給醫(yī)務(wù)人員視覺診斷和操作治療帶來了更多阻礙，降低了工作效率。本文提出一種基于HUD 技術(shù)的多功能防護(hù)面屏，旨在提高醫(yī)務(wù)人員內(nèi)窺鏡檢查的效率。該防護(hù)面屏具有影像投屏和攝像錄制功能，可幫助醫(yī)務(wù)人員更好地觀察患者的狀態(tài)和空腔內(nèi)部情況，提高反應(yīng)速度和診斷準(zhǔn)確性。同時，該多功能防護(hù)面屏還可以拆卸遮擋件單獨(dú)消毒，可重復(fù)使用。當(dāng)疫情已常態(tài)化，五官科內(nèi)窺鏡檢查的醫(yī)務(wù)人員工作時按防護(hù)要求是必須佩戴防護(hù)用具，這對于傳統(tǒng)的內(nèi)窺鏡檢查方式是增加操作難度，降低工作效率。通過使用基于HUD 技術(shù)的多功能防護(hù)面屏，能夠減少由于查看信息時的視線轉(zhuǎn)移造成的注意力分散和眼部疲勞等問題，讓醫(yī)務(wù)人員的操作更加舒適，同時也提高了操作的準(zhǔn)確性和效率。在滿足防護(hù)要求下，還能提高檢查的效率，提升醫(yī)療質(zhì)量。這樣的防護(hù)面屏具有廣泛的應(yīng)用前景，并值得進(jìn)一步的研發(fā)和推廣。

2 系統(tǒng)架構(gòu)設(shè)計(jì)

本系統(tǒng)的主要功能是將防護(hù)面屏與內(nèi)窺鏡影像投屏一體化。系統(tǒng)采用了HUD（平視顯示器）技術(shù)，利用光學(xué)反射原理，將內(nèi)窺鏡圖像等信息投射到透明的防護(hù)面屏上，佩戴防護(hù)面屏后可以實(shí)時查看內(nèi)窺鏡信息。與傳統(tǒng)內(nèi)窺鏡檢查相比，本系統(tǒng)有著更加先進(jìn)和高效的技術(shù)應(yīng)用，在滿足防護(hù)要求，減少監(jiān)視器的成本，又能實(shí)時觀察高質(zhì)量動態(tài)內(nèi)窺鏡影像，能夠大大提高醫(yī)務(wù)人員的工作效率和檢查質(zhì)量，從而更好地保障醫(yī)療安全。

系統(tǒng)架構(gòu)：本系統(tǒng)主要由防護(hù)面屏模塊、內(nèi)窺鏡影像傳輸模塊、樹莓派4 模塊、攝像頭模塊和服務(wù)器端模塊5 個模塊構(gòu)成。

（1）防護(hù)面屏模塊。該模塊采用透明材料，并集成了投屏、光學(xué)反射和通風(fēng)等功能。光學(xué)反射技術(shù)將內(nèi)窺鏡圖像反射到透明面屏上，佩戴防護(hù)面屏后可實(shí)時查看內(nèi)窺鏡圖像。同時，防護(hù)面屏還配備了通風(fēng)和潤濕裝置，以保證醫(yī)務(wù)人員的舒適度和安全性。

（2）內(nèi)窺鏡影像傳輸模塊（如圖1）。該模塊采用HDMI 視頻編碼器，可從內(nèi)窺鏡主機(jī)中獲取高清輸出。通過RTSP 實(shí)時流傳輸協(xié)議，將高清視頻信號轉(zhuǎn)換為WEB視頻，在局域網(wǎng)中共享。這樣，樹莓派4 可以連接與HDMI 視頻編碼器的同一個局域網(wǎng)，從而讀取WEB 視頻并實(shí)時播放。

圖1 多功能防護(hù)屏視頻信號傳輸過程

（3）樹莓派4 模塊。樹莓派4 連接了TFT 顯示屏，并且開啟后啟動瀏覽器并實(shí)時播放WEB 視頻。視頻信號傳送至TFT 顯示屏上顯示，顯示圖像通過投屏模塊光路結(jié)構(gòu)到達(dá)投屏玻璃，從而到達(dá)醫(yī)務(wù)人員的眼睛。樹莓派4 還可以將攝像頭模塊錄制的視頻通過局域網(wǎng)上傳至服務(wù)器端。

（4）攝像頭模塊。該模塊用于記錄醫(yī)務(wù)人員內(nèi)窺鏡檢查的操作過程，并提供有用的信息。錄制的視頻通過樹莓派4 經(jīng)局域網(wǎng)上傳至服務(wù)器端，供醫(yī)務(wù)人員查看和分析。

（5）服務(wù)器端模塊。該模塊用于存儲錄制的視頻和相關(guān)信息，以便醫(yī)務(wù)人員隨時查閱。醫(yī)務(wù)人員可以通過該模塊查看錄制的過程視頻，并進(jìn)行分析和總結(jié)。

3 硬件設(shè)計(jì)

3.1 面屏結(jié)構(gòu)（如圖2）

圖2 面屏硬件結(jié)構(gòu)

硬件設(shè)計(jì)對于系統(tǒng)的實(shí)現(xiàn)起到了至關(guān)重要的作用。本系統(tǒng)采用了透明防護(hù)面屏為主要的硬件結(jié)構(gòu)，該面屏采用了多種功能模塊，能夠?yàn)獒t(yī)務(wù)人員提供更加舒適、安全和高效的內(nèi)窺鏡檢查系統(tǒng)。系統(tǒng)硬件結(jié)構(gòu)設(shè)計(jì)，主要包含以下幾個重要的功能模塊。

（1）電池模塊。該模塊主要為面屏的主機(jī)、攝像頭模塊和高亮LED 照明提供電源，采用了高容量的鋰電池，能夠滿足長時間的使用需求。

（2）主機(jī)模塊。該模塊包括樹莓派4 和HDMI 視頻編碼器等組成，主要控制視頻信號的輸入和輸出。樹莓派4 是運(yùn)行內(nèi)存1.5Ghz 的64 位四核處理器，可支持4K分辨率的雙屏顯示，提高了投屏質(zhì)量，同時其小巧輕便的特點(diǎn)也方便了佩戴和攜帶。

（3）透明防護(hù)面屏模塊。該模塊采用了透明材料，對交叉感染具有很好的預(yù)防作用，為醫(yī)務(wù)人員提供了更加清晰的視野。此外，防護(hù)面屏模塊還包括緊敷帶、舒適墊等部分，在保障舒適度和抗感染的同時，也能夠提高工作效率和安全性。

（4）投屏模塊。該模塊主要用于將內(nèi)窺鏡圖像投射到防護(hù)面屏上，采用了光學(xué)反射技術(shù)，能夠提供更加清晰和高清的圖像效果。在進(jìn)行內(nèi)窺鏡檢查時，深入檢查需要補(bǔ)光，該模塊上的高亮LED 能提供足夠的亮度完成檢查需達(dá)到的光照要求。

（5）攝像頭模塊。該模塊用于記錄醫(yī)務(wù)人員內(nèi)窺鏡檢查過程中的操作和信息，采用了高清攝像機(jī)，能夠?yàn)榻虒W(xué)視頻或醫(yī)療記錄提供良好的攝影條件。

（6）服務(wù)器端模塊。該模塊用于存儲錄制的視頻和相關(guān)信息，以便醫(yī)務(wù)人員隨時查閱。

3.2 系統(tǒng)光路技術(shù)

本系統(tǒng)采用了HUD 技術(shù)，其通過將內(nèi)鏡圖像投射到防護(hù)面屏上的功能，實(shí)現(xiàn)了平面顯視器的效果，同時也有效地避免了使用OLED 顯示屏置于眼前時所遇到的問題。HUD 技術(shù)最早應(yīng)用在航空領(lǐng)域，可以將重要信息投射到風(fēng)擋玻璃上，讓使用者可以同時觀察內(nèi)窺鏡實(shí)時圖像和患者情況，從而提高使用者的操作效率。其光路結(jié)構(gòu)如圖3 所示，采用光學(xué)反射技術(shù)，可以將內(nèi)窺鏡圖像直接投射到防護(hù)面屏上。由于操作者的核心視點(diǎn)可以直接穿透面屏和投屏棱鏡，醫(yī)務(wù)人員可以直接觀察到患者情況，同時還可以觀察到棱鏡顯示的內(nèi)窺鏡實(shí)時圖像。在實(shí)際操作中，這種光學(xué)反射技術(shù)的應(yīng)用能夠有效提高操作者的工作效率和檢查質(zhì)量。與傳統(tǒng)的平面顯視器相比，本系統(tǒng)采用的光學(xué)技術(shù)可以減少不必要的視線轉(zhuǎn)移，提高醫(yī)務(wù)人員操作效率。

圖3 光路結(jié)構(gòu)圖

投屏模塊是本系統(tǒng)實(shí)現(xiàn)HUD技術(shù)的核心組成部分。該模塊結(jié)構(gòu)如圖4 所示，其中包括2.8寸TFT 顯示屏、深色反射鏡片、調(diào)距玻璃和投屏棱鏡等部分。在內(nèi)窺鏡檢查過程中，TFT 顯示屏可以實(shí)時顯示由樹莓派4 獲取的內(nèi)鏡WEB 視頻。顯示屏的影像經(jīng)過深色反射鏡片反射，改變了影像的方向，并經(jīng)過調(diào)距玻璃的調(diào)節(jié)，將影像折射在投屏棱鏡上。投屏棱鏡可以將圖像聚焦在操作者的視網(wǎng)膜上，實(shí)現(xiàn)內(nèi)鏡圖像的直接分享，讓醫(yī)務(wù)人員可以在操作過程中觀察內(nèi)鏡實(shí)時圖像。采用這種光學(xué)反射技術(shù)，可以減少不必要的視線轉(zhuǎn)移，提高操作的準(zhǔn)確性和效率。

圖4 投屏模塊結(jié)構(gòu)圖

4 軟件設(shè)計(jì)

本系統(tǒng)采用了基于應(yīng)用層的RTSP 協(xié)議，由Real Network 和Netscape 公司共同開發(fā)。RTSP 協(xié)議提供了傳輸流媒體數(shù)據(jù)和控制流媒體服務(wù)器的遠(yuǎn)程控制功能，支持暫停、快進(jìn)、多用戶播放等，在多種網(wǎng)絡(luò)應(yīng)用場合下具有廣泛的應(yīng)用前景。同時，該協(xié)議還具有服務(wù)器端網(wǎng)絡(luò)用量小、支持視頻實(shí)時播放等特點(diǎn)。

主機(jī)模塊采用樹莓派4 運(yùn)行Debian 操作系統(tǒng)，實(shí)現(xiàn)從網(wǎng)絡(luò)RTSP 協(xié)議視頻流抓取到本地樹莓派4。Debian是一種廣泛使用的基于Linux 的操作系統(tǒng)，具有開源、高自由度和穩(wěn)定性等特點(diǎn)。在本系統(tǒng)中，主機(jī)模塊通過Python3.7.3 配合OpenCV 庫實(shí)現(xiàn)對視頻流的讀取、解碼和渲染，同時實(shí)現(xiàn)攝像頭錄制視頻上傳功能?？梢詫?shí)現(xiàn)圖像處理和多種計(jì)算算法的開源計(jì)算機(jī)視覺庫，由C 語言等構(gòu)成。OpenCV 是一個基于BSD 許可發(fā)行的跨平臺計(jì)算機(jī)視覺庫，廣泛應(yīng)用于人臉識別、視頻處理等方面。

下面是實(shí)現(xiàn)讀取WEB 視頻并進(jìn)行解碼的Python 代碼：

import cv2

# 定義捕捉器對象

cap=cv2.VideoCapture('HDMI 編碼器網(wǎng)絡(luò)地址')

print(cap)

# 讀取視頻流中的一幀

ret, frame = cap.read()

out_win = “”

cv2.namedWindow(out_win, cv2.WINDOW_NORMAL)

cv2.setWindowProperty(out_win,

8月2日，中國農(nóng)業(yè)科學(xué)院國家薯類作物研究中心揭牌儀式在京舉行。中國主要薯類作物年種植占全國可用耕地8%左右，其中馬鈴薯和甘薯的種植面積和總產(chǎn)量均居世界第一位。薯類作物是我國糧食作物的重要組成部分，其產(chǎn)業(yè)發(fā)展對促進(jìn)我國種植業(yè)調(diào)整，支持農(nóng)業(yè)發(fā)展具有重要意義。國家薯類作物研究中心是在整合農(nóng)科院在馬鈴薯和甘薯領(lǐng)域研究力量的基礎(chǔ)上，建立的國家級薯類作物研究公共平臺。建立該中心旨在有效整合薯類作物科技資源，探索建立新形勢下高效農(nóng)業(yè)科技協(xié)同創(chuàng)新的組織模式，建成具有世界先進(jìn)水平的薯類作物研發(fā)與成果展示平臺。

cv2.WND_PROP_FULLSCREEN, cv2.WINDOW_FULLSCREEN)

# 循環(huán)將每一幀顯示出來

while ret:

ret, frame = cap.read()

cv2.imshow(“current frame”, frame)

cv2.imwrite(‘frame.jpg’, frame)

# 按下‘q’鍵退出程序

if cv2.waitKey(1) & 0xFF == ord(‘q’):

break

# 關(guān)閉窗口，并釋放資源

cv2.destroyAllWindows()

cap.release()

在上述代碼中，首先構(gòu)建了一個捕捉器對象，將流媒體服務(wù)器地址傳遞給VideoCapture 函數(shù)進(jìn)行視頻流的捕捉。while 循環(huán)中，每次循環(huán)都會捕捉一幀視頻，并通過imshow 函數(shù)顯示。同時，調(diào)用imwrite 函數(shù)將每一幀圖像寫入本地，實(shí)現(xiàn)了攝像頭錄制視頻上傳的功能。如果用戶按下‘q’鍵，則直接退出程序。

通過上述代碼的實(shí)現(xiàn)，可以實(shí)現(xiàn)對WEB 視頻的讀取和解碼，并將視頻流渲染為連續(xù)的幀顯示出來。與此同時，還可以實(shí)現(xiàn)攝像頭錄制視頻并將其上傳到本地。這種程序結(jié)構(gòu)在實(shí)際應(yīng)用中具有穩(wěn)定性和可靠性，并能為醫(yī)務(wù)人員提供高質(zhì)量的視頻流，實(shí)現(xiàn)對患者狀態(tài)和內(nèi)鏡檢查過程的實(shí)時監(jiān)控和錄制。

5 結(jié)語

本文介紹了一種采用HUD 技術(shù)的多功能醫(yī)用內(nèi)窺鏡防護(hù)面屏。相比普通一次性防護(hù)面屏，優(yōu)勢多，提高了工作效率和檢查精度，為醫(yī)務(wù)人員檢查提供一種新的方法。本設(shè)計(jì)主要運(yùn)用在五官科內(nèi)窺鏡，當(dāng)此產(chǎn)品成熟使用后，可以考慮運(yùn)用在胃腸鏡、腹腔鏡等其他內(nèi)窺鏡場景，此面屏設(shè)計(jì)的拓展性好，有一定的推廣價值。本設(shè)計(jì)也存在一些缺陷可以后期改進(jìn)之處有：（1）材質(zhì)可以更輕巧便攜，使得醫(yī)務(wù)人員佩戴更舒適，接受程度更好。（2）在保障傳輸圖像的質(zhì)量前提下，提高圖像傳輸?shù)乃俣群头€(wěn)定性，盡量避免醫(yī)務(wù)人員出現(xiàn)眩暈現(xiàn)象。我們將在實(shí)踐中不斷改進(jìn)產(chǎn)品設(shè)計(jì)，做出性能穩(wěn)定又能運(yùn)用廣泛的多功能醫(yī)用內(nèi)窺鏡防護(hù)面屏。