基于機(jī)器視覺(jué)的核酸采樣自助裝置

鄒慶奧，李 潔，李小龍，周長(zhǎng)見(jiàn)，冀海博，王新軍

（濱州學(xué)院航空工程學(xué)院，山東 濱州 256600）

0 引言

目前新冠病毒不斷變異，病毒的感染者多且癥狀嚴(yán)重，全國(guó)各地疫情防控任務(wù)不斷加重。全國(guó)部分地區(qū)出現(xiàn)了醫(yī)護(hù)人員緊張甚至短缺的問(wèn)題，嚴(yán)重影響到核酸檢測(cè)的進(jìn)程與患者的救治，對(duì)地區(qū)疫情防控形式提出了巨大的挑戰(zhàn)，同時(shí)給當(dāng)?shù)厣鐣?huì)治理經(jīng)濟(jì)發(fā)展帶來(lái)不小壓力[1]。因此，針對(duì)社會(huì)疫情防控形勢(shì)與核酸檢測(cè)需求，各大高校與科技創(chuàng)新型企業(yè)都展開(kāi)了對(duì)自動(dòng)核酸采樣機(jī)器人的研究[2]。開(kāi)展核酸檢測(cè)自助裝置的研究，提出了面向廣大的市民與社區(qū)的“基于機(jī)器視覺(jué)的核酸檢測(cè)自助裝置”。利用單片機(jī)基于PID 算法、蟻群算法等算法去控制并修正機(jī)械臂的運(yùn)動(dòng)，同時(shí)搭配機(jī)器視覺(jué)與神經(jīng)網(wǎng)絡(luò)的訓(xùn)練勘測(cè)人體口腔咽喉位置[3]，并搭配無(wú)線(xiàn)通信裝置將被采樣人信息上傳至大數(shù)據(jù)庫(kù)中。

1 總體設(shè)計(jì)方案

基于機(jī)器視覺(jué)的核酸檢測(cè)裝置是以STM32 單片機(jī)為控制核心，采用OpenMV 視覺(jué)模塊識(shí)別人臉嘴部特征以實(shí)現(xiàn)在市民張嘴時(shí)咽喉位置的精確定位[4]，通過(guò)串口通信將咽喉位置數(shù)據(jù)傳遞給單片機(jī)去控制機(jī)械臂運(yùn)動(dòng)對(duì)市民進(jìn)行咽拭子核酸檢測(cè)，同時(shí)通過(guò)OpenMV 視覺(jué)模塊識(shí)別身份信息并由OLED 屏幕顯示，通過(guò)WIFI 模塊將采集的市民身份信息進(jìn)行發(fā)送實(shí)時(shí)傳送至大數(shù)據(jù)庫(kù)[5]。該系統(tǒng)的設(shè)計(jì)關(guān)鍵在于被檢測(cè)者口腔咽喉部位關(guān)鍵點(diǎn)提取以及機(jī)械臂雙臂的精確控制與配合，完成核酸采樣工作，同時(shí)避免對(duì)檢測(cè)者的口腔造成傷害。其中基于機(jī)器視覺(jué)的核酸檢測(cè)裝置系統(tǒng)總體框圖如圖1 所示。

圖1 系統(tǒng)總體框圖

圖2 圖像采集電路原理圖

圖3 機(jī)械臂控制電路原理圖

2 系統(tǒng)設(shè)計(jì)

基于機(jī)器視覺(jué)的核酸檢測(cè)裝置的系統(tǒng)設(shè)計(jì)實(shí)現(xiàn)是通過(guò)硬件電路的設(shè)計(jì)連接與軟件程序設(shè)計(jì)實(shí)現(xiàn)兩個(gè)重要部分。

2.1 硬件電路設(shè)計(jì)

2.1.1 圖像采集電路設(shè)計(jì)

該系統(tǒng)的圖像采集識(shí)別功能是通過(guò)Open MV 視覺(jué)模塊設(shè)計(jì)實(shí)現(xiàn)的，可以完成核酸檢測(cè)二維碼上身份信息的系別與發(fā)送和被檢測(cè)者口腔咽喉部位的位置識(shí)別發(fā)送等相關(guān)任務(wù)，其圖像采集電路原理圖如2 所示。單片機(jī)通過(guò)PA9（USART_TX）引腳與OpenMV 的P5 （UART_RX）引腳相連，接收端PA10（USART1_RX）與OpenMV 的發(fā)送端P4（UART_TX）相連，以此來(lái)實(shí)現(xiàn)串行通信。

2.1.2 機(jī)械臂控制電路設(shè)計(jì)

機(jī)械臂是該系統(tǒng)的執(zhí)行器，是完成核酸檢測(cè)任務(wù)的一大關(guān)鍵，通過(guò)控制核心的控制完成咽拭子采樣器的抓取、核酸樣本的采樣與安置等相關(guān)功能，它主要有機(jī)械構(gòu)件與舵機(jī)L298N 等組成，機(jī)械臂控制電路原理圖如3 所示，單片機(jī)通過(guò)驅(qū)動(dòng)器L298N 輸出4路PWM 信號(hào)控制4 個(gè)舵機(jī)[6]。

3 路PWM 信號(hào)由單片機(jī)的TIM5 定時(shí)器產(chǎn)生，通過(guò)PA0、PA1、PA2、PA3 四個(gè)引腳輸出。四個(gè)引腳分別連接到L298N 四個(gè)輸入端IN1～I(xiàn)N4，通電工作后，L298N 的四個(gè)輸出端就能夠?qū)⒐β史糯蠛蟮腜WM信號(hào)送至舵機(jī)的控制端，從而實(shí)現(xiàn)舵機(jī)的轉(zhuǎn)動(dòng)控制效果。舵機(jī)（MG995）的控制由PWM 信號(hào)占空比來(lái)決定。PWM 信號(hào)的周期為20 ms，占空比在2.5% ～12.5%范圍內(nèi)。

2.1.3 無(wú)線(xiàn)傳輸電路設(shè)計(jì)

WiFi 模塊作為該核酸檢測(cè)系統(tǒng)的傳輸橋梁，可以高性能地實(shí)現(xiàn)Open MV 圖像處理模塊與STM32單片機(jī)之間的通信完成身份信息和咽喉位置信息的發(fā)送與接受任務(wù)，避免干擾的發(fā)生；同時(shí)該模塊也可以將身份信息傳出至智能終端中進(jìn)行數(shù)據(jù)的存儲(chǔ)。該系統(tǒng)中采用的無(wú)線(xiàn)傳輸為ESP8266 WIFI 模塊，其發(fā)送引腳和接收引腳分別與單片機(jī)的PC11（USART4_RX）和PC10（USART4_TX）相連，通過(guò)AT 指令配置模塊后，即可實(shí)現(xiàn)數(shù)據(jù)的收發(fā)，其無(wú)線(xiàn)傳輸電路原理如圖4 所示。

圖4 無(wú)線(xiàn)傳輸電路原理圖

2.2 軟件程序設(shè)計(jì)

基于機(jī)器視覺(jué)的核酸采樣自助裝置要完成一次核酸檢測(cè)主要程序包括以下兩部分：

2.2.1 機(jī)械臂控制咽拭子采集與儲(chǔ)存

機(jī)械臂的控制過(guò)程主要通過(guò)配置PWM 信號(hào)控制舵機(jī)的運(yùn)動(dòng)，同時(shí)復(fù)制PID 算法等進(jìn)行校正，PWM信號(hào)配置流程圖如圖5 所示。首先對(duì)STM32 單片機(jī)上定時(shí)器TIM5 進(jìn)行基本配置，主要包括周期、預(yù)分頻值、時(shí)鐘分割參數(shù)、計(jì)數(shù)模式4 個(gè)方面。為了實(shí)現(xiàn)PWM 功能，需要將PA0、PA1、PA2、PA3 四個(gè)通道使能，將引腳模式設(shè)置為推挽輸出（GPIO_Mode_AF_PP）速度設(shè)為50 MHz（GPIO_Speed_50MHz）做完基本的配置之后，只需要改變庫(kù)函數(shù)“TIM_SetCompare2（TIM5，X）”中的第二個(gè)參數(shù)，即可更改占空比，從而改變舵機(jī)轉(zhuǎn)動(dòng)的角度。機(jī)械臂抓取咽拭子的控制核心程序?yàn)椋?/p>

圖5 PWM 信號(hào)配置流程圖

2.2.2 OpenMV 識(shí)別健康碼與OLED 顯示屏顯示

通過(guò)OpenMV 對(duì)全民核酸檢測(cè)二維碼進(jìn)行掃描，識(shí)別出姓名、電話(huà)、身份證號(hào)碼等信息經(jīng)過(guò)處理后信息在OLED 顯示屏顯示，可以與被檢測(cè)者進(jìn)行交互確保檢測(cè)身份信息的正確。二維碼身份信息的識(shí)別設(shè)計(jì)過(guò)程如圖6 所示，其二維碼信息讀取主程序?yàn)椋?/p>

圖6 二維碼身份信息識(shí)別

3 系統(tǒng)性能測(cè)試

該系統(tǒng)可完成身份信息采集、口腔與咽喉部位的識(shí)別、咽拭子采集與儲(chǔ)存等功能，并對(duì)待測(cè)者嘴巴張開(kāi)時(shí)檢測(cè)裝置對(duì)咽喉位置識(shí)別的精度、機(jī)械臂抓取咽拭子采樣器觸碰咽喉部的采樣成功率進(jìn)行了測(cè)試。

3.1 身份信息采集

采樣者首先根據(jù)語(yǔ)音提示利用IC 卡身份證信息采集器收集基本信息并進(jìn)行展示和比對(duì)，其次通過(guò)WIFI 模塊將收集的身份信息儲(chǔ)存并上傳至云端。

本裝置采用的是I2C 通信的OLED 顯示屏，在單片機(jī)主程序通過(guò)指令向顯示屏發(fā)送字符，由顯示屏進(jìn)行顯示，圖7 為被檢測(cè)人員身份信息識(shí)別過(guò)程。經(jīng)驗(yàn)證身份信息采集成功率100%，減少了醫(yī)護(hù)人員采集身份信息的工作量。

圖7 身份信息識(shí)別過(guò)程

3.2 口腔與咽喉部位的識(shí)別

采用OpenMV 機(jī)器視覺(jué)模塊，掃描人臉圖像，提取出被檢測(cè)者嘴部關(guān)鍵點(diǎn)數(shù)據(jù)，通過(guò)串口通信將關(guān)鍵點(diǎn)數(shù)據(jù)傳送到主控芯片，處理修正相關(guān)數(shù)據(jù)參數(shù)，進(jìn)一步引導(dǎo)機(jī)械手運(yùn)動(dòng)姿態(tài)，使機(jī)械臂與嘴部處于最佳的位置關(guān)系。

OpenMV 通過(guò)調(diào)用Hara 面部識(shí)別算子，通過(guò)調(diào)節(jié)程序中thresholds 參數(shù)實(shí)現(xiàn)面部識(shí)別，嘴部識(shí)別增加調(diào)用嘴部的Hara 算子，設(shè)置roi 參數(shù)來(lái)實(shí)現(xiàn)，圖8為本裝置采集的人臉及咽喉部位識(shí)別圖。

圖8 咽喉部位識(shí)別圖

3.3 咽拭子采集與儲(chǔ)存核酸樣本采集

機(jī)械臂運(yùn)動(dòng)主要靠的是機(jī)械臂關(guān)節(jié)處的舵機(jī)旋轉(zhuǎn)角度，主要靠程序中設(shè)定輸出的PWM 信號(hào)來(lái)控制的。機(jī)械臂首先從咽拭子儲(chǔ)存裝置中取出咽拭子，然后根據(jù)視覺(jué)信息運(yùn)動(dòng)到口腔夾取咽拭子進(jìn)行采集并取出咽拭子放到提取管中存儲(chǔ)。經(jīng)過(guò)視覺(jué)訓(xùn)練引導(dǎo)機(jī)械臂將拭子運(yùn)送到試管的上方釋放拭子，完成一次檢測(cè)，圖9 為機(jī)械臂夾取、采集、存儲(chǔ)咽拭子樣本過(guò)程。

圖9 機(jī)械臂夾取、采集、存儲(chǔ)咽拭子樣本過(guò)程

4 總結(jié)

該裝置主要應(yīng)對(duì)當(dāng)下新冠疫情防控的嚴(yán)峻局勢(shì)，需要定期的核酸檢測(cè)進(jìn)行排查保證社會(huì)層面的動(dòng)態(tài)清零，該檢測(cè)裝置集高端智能化、多元化、采樣大眾化、人機(jī)協(xié)同化思想于一體[7]。通過(guò)OpenMV 視覺(jué)模塊采取實(shí)時(shí)人臉圖像與咽喉位置，讀取嘴部關(guān)鍵點(diǎn)數(shù)據(jù)，精準(zhǔn)識(shí)別采樣位置；利用STM32 單片機(jī)控制機(jī)械臂模塊抓取拭子采樣并收集器中，機(jī)械臂將抓獲新的咽拭子，進(jìn)行下一輪采集。同時(shí)該裝置可利用語(yǔ)音播報(bào)模塊，提前錄入友好親切語(yǔ)音的信息并在核酸采集過(guò)程中進(jìn)行播報(bào)指導(dǎo)完成核酸檢測(cè)地相關(guān)動(dòng)作。目前，系統(tǒng)身份信息采集系統(tǒng)和儲(chǔ)存核酸樣本過(guò)程已完成，但咽拭子采集功能未在醫(yī)院或者社區(qū)對(duì)被測(cè)試者進(jìn)行試驗(yàn)，無(wú)法給出采樣準(zhǔn)確率的相關(guān)數(shù)據(jù)。后續(xù)系統(tǒng)功能完善后，可以實(shí)現(xiàn)核酸采樣全過(guò)程，從而減輕醫(yī)護(hù)人員的工作壓力，提升采集的效率。