基于PYNQ 和STM32 的智能化衛(wèi)生防控車的設計

張洪瑋，夏鯤，李翔，李一凡，顧玉琦

（上海理工大學電氣工程系，上海 200093）

疫情爆發(fā)對人們的日常生活、經(jīng)濟、社會造成了嚴重的影響，如何高效地實現(xiàn)區(qū)域衛(wèi)生管理防控成為當下亟待解決的問題[1]。智能衛(wèi)生防控車正是一個集環(huán)境感知、動態(tài)決策、智能控制與執(zhí)行等功能于一體的移動式機器人[2]，將智能車的強機動性與防控功能相結合，可替代人工應用于商場、學校等多種公共區(qū)域進行移動式衛(wèi)生防控保護工作。

隨著人們對衛(wèi)生防控操作無接觸安全性、防控效率高效性、功能多樣性要求的需求增長，智能化、快速化、高效化、云處理已成為新型智能防控車的發(fā)展趨勢[3]。經(jīng)過設計改進的防控車在外形上小巧靈活，可采用自動巡邏模式或遙控運行模式進行作業(yè)，配合麥克納姆輪車的強機動性，彌補了固定位置點檢測消毒裝置的局限性，同時將口罩識別和測溫消毒的功能相結合，節(jié)省了人力和時間，提升了工作效率[4]。除此之外，監(jiān)管人員可以實時通過小程序得知溫度異常和口罩佩戴情況，溫度數(shù)據(jù)將在云端進行收集處理，增強了衛(wèi)生防控工作的高效性。

1 外殼結構

所提出的智能車采用SolidWorks 軟件進行外殼建模設計，主體結構如圖1 所示。內(nèi)嵌多個傳感器模塊，實現(xiàn)一體化設計。正面有攝像頭槽，揚聲器槽，超聲波探測器發(fā)生口，以及內(nèi)嵌紅外測溫探頭和消毒洗手液泵出口的防控檢測通道。頂部配有OLED 屏幕對測溫結果進行顯示，并嵌有由舵機控制的口罩倉。底部通過榫卯式結構與底盤相連接。外殼整體采用圓滑的設計方案，避免棱角對行人造成傷害。

圖1 智能車的外殼設計圖

2 系統(tǒng)硬件設計

該智能車硬件部分主要由PYNQ-Z2 開發(fā)板、以STM32 為核心的控制板、圖像采集單元、紅外感應單元、超聲波測量單元、OLED 顯示屏、水泵、舵機等組成，系統(tǒng)整體框圖如圖2 所示。

圖2 系統(tǒng)整體框圖

2.1 基于PYNQ-Z2的離線口罩識別系統(tǒng)

PYNQ 是一款開源框架，它不僅可以應用于底層開發(fā)，還適用于上層應用[5-6]。該文使用一款基于該框架的FPGA 硬件開發(fā)平臺PYNQ-Z2，優(yōu)勢在于可以在不設計底層邏輯電路的情況下直接在Jupyter Notebook 上使用Python 語言編寫來完成項目的設計[7-8]。

作為類腦計算領域的一項重要研究成果，深度卷積神經(jīng)網(wǎng)絡已經(jīng)廣泛應用于計算機視覺、自然語言處理、信息檢索、語音識別、語義理解等多個領域[9]。但卷積神經(jīng)網(wǎng)絡具有顯著的冗余性，即使將權值和激活從十六位浮點精度降為二進制值，也能獲得較高的分類精度。文中使用了一種快速可擴展的二值化神經(jīng)網(wǎng)絡框架FINN[10]。

FINN 生成的加速器每秒可執(zhí)行數(shù)百萬次分類，延遲時間為亞微秒，因此非常適合支持實時嵌入式應用，如增強現(xiàn)實、自動駕駛和機器人技術。在PYNQ-Z2上搭載的ubuntu 系統(tǒng)中構建基于FINN 框架的二值卷積神經(jīng)網(wǎng)絡訓練的模型，能夠在資源約束較大的情況下進行較高精度的離線人臉特征的口罩識別[11-12]。

首先通過防控車搭載的高清720P/120°廣角無畸變防逆光攝像頭獲取圖像，傳輸?shù)絇YNQ-Z2 上調用人臉檢測的級聯(lián)分類器預篩選人臉分塊[13]，然后使用基于二值神經(jīng)網(wǎng)絡的分類加速器進行口罩佩戴檢測，經(jīng)過處理判斷得到相關人員是否佩戴口罩的信息，具體識別測試如圖3 所示。

圖3 口罩識別測試圖

當檢測到未佩戴口罩特征時，立即停車，打開口罩倉倉門，語言播報提示行人前來領取佩戴口罩，并為行人進行溫度檢測及消毒。

2.2 車輛底盤設計

智能衛(wèi)生防控車主要應用于商場、學校等人員密集的公共場合，自身需要移動靈活，同時可以穩(wěn)定地調控車速以防沖撞行人。

為解決以上問題采用了如圖4 所示的可以依靠各自機輪的方向和速度配合使得車體全方位移動的麥克納姆輪來替代普通車輪。同時，為了使得速度控制精準穩(wěn)定，該車采用增量式比例、積分、微分（Proportional Integral Derivative,PID）控制，如式（1），這種控制方法不直接控制系統(tǒng)的輸出，能減小因控制出問題導致的誤動作影響[14-15]。

超聲波傳感器模塊US-100 利用超聲波探測技術，可實現(xiàn)2～4 cm 的非接觸測距功能，并自帶溫度傳感器對測距結果進行校正[16]，同時由于超聲波的波束截面類似于橢圓形，可以檢測到較廣范圍內(nèi)的障礙，因此將超聲波模塊安置在防控車前方用于避開前方障礙。

如圖4 所示，在麥克納姆輪底盤四個角裝有四個紅外避障傳感器模塊，用于檢測較低障礙物，防止碾壓路人的腳或磕碰底盤。配合超聲波傳感器，當二者有一檢測到障礙物信息時，立即將信號發(fā)送給主控芯片控制剎車，及時避讓行人，以保證防控車自身的安全。

采用四字節(jié)并行處理,可由40B32B模塊給出的K_qb信號在一個四字節(jié)時鐘內(nèi)進行檢測,并根據(jù)Valid_qb信號進行正確/K/字節(jié)個數(shù)統(tǒng)計,不需要根據(jù)單字節(jié)時鐘去檢測和計數(shù),降低了電路運行頻率和實現(xiàn)難度。

圖4 麥克納姆輪底盤

為了緩沖由不平路面?zhèn)鹘o車架或車身的沖擊力，并衰減由此引起的震動，讓防控車能夠平穩(wěn)地行駛，該車底盤上加入了懸掛系統(tǒng)，可以適用于較顛簸的路型，同時保證四個輪子永遠同時著地。

2.3 檢測消毒通道

如圖5 所示為檢測消毒功能通道，將無接觸和消毒相結合，以更好地適應無接觸式防控測溫的安全環(huán)境。當用戶將手伸入到消毒槽中，內(nèi)嵌在通道上方的紅外感應模塊被觸發(fā)，隨后啟動水泵將消毒洗手液泵出到用戶掌心，同時內(nèi)嵌在檢測通道入口處的溫度傳感器可以檢測到用戶手腕處的溫度，而后將溫度顯示在車身的OLED 屏幕上，同時語音播報當前體溫。如果溫度高于閾值，將警報信號發(fā)送給小程序，請求安保人員來處理。

圖5 檢測消毒通道

溫度傳感器采用GY-MCU90614，這是一款低成本的溫度傳感器。實際測量范圍為-40～+125 ℃，環(huán)境溫度范圍為-70～+280 ℃，測量距離范圍為50～100 cm。

配合防控車的高機動性，可以實現(xiàn)在室內(nèi)快速地測溫消毒，提高了防控的效率和安全性。

2.4 口罩倉

防控車的頂部嵌有一個隱藏式的口罩倉，由兩側舵機進行控制開關，其結構如圖6 所示。當監(jiān)測到未佩戴口罩的信息后，發(fā)送指令給主控芯片，主控芯片則輸出信號控制雙路舵機打開口罩倉倉門，同時語音播報提示人們佩戴口罩。

圖6 口罩倉的3D結構

舵機模塊采用SG90，此舵機為模擬舵機，需要主控芯片不斷重復地發(fā)送相同的方波，直到舵機旋轉到指定的位置。

3 系統(tǒng)軟件設計

3.1 微信小程序

圖7 小程序報警界面

小程序包含對于防控車的操控模塊，可以人為地通過小程序操控防控車運動，更好地適應了不同的復雜環(huán)境，加強了防控監(jiān)測的效率。

3.2 OneNET云平臺

OneNET 是由中國移動打造的PaaS 物聯(lián)網(wǎng)開放平臺。平臺能夠幫助開發(fā)者輕松實現(xiàn)設備接入與設備連接，快速完成產(chǎn)品的開發(fā)部署，為智能硬件、智能家居產(chǎn)品提供完善的物聯(lián)網(wǎng)解決方案。

利用OneNET 物聯(lián)網(wǎng)平臺所設計的溫度測量數(shù)據(jù)管理系統(tǒng)UI 部分界面如圖8 所示。小程序通過HTTP 協(xié)議訪問OneNET 云服務器、數(shù)據(jù)庫，建立數(shù)據(jù)流來傳輸溫度數(shù)據(jù)，實時顯示在界面上，并且可以選擇生成溫度讀數(shù)的歷史測量數(shù)據(jù)表和折線圖。

圖8 溫度測量數(shù)據(jù)管理系統(tǒng)UI部分界面

4 系統(tǒng)工作流程

4.1 系統(tǒng)控制及信息傳遞方式

信息板由PYNQ-Z2 開發(fā)板擔任，主控板和驅動板都以STM32 為主控，系統(tǒng)控制與信息傳遞方式框圖如圖9 所示。

圖9 系統(tǒng)控制與信息傳遞方式框圖

1）驅動板：控制麥克納姆輪的運動，控制轉速PID 以及避障功能。

2）主控板：接收信息板傳來的圖像監(jiān)測信息；保證揚聲器、舵機、OLED 等各模塊的運行并進行數(shù)據(jù)處理；與上位機進行通信，傳輸必要的數(shù)據(jù)和接收指令。

3）信息板：對行人口罩佩戴情況進行檢測。

4.2 口罩識別流程

口罩識別流程如圖10 所示。首先，圖像識別區(qū)域啟動，調用攝像頭獲取圖像，使用級聯(lián)分類器進行人臉檢測并分割人臉的局部區(qū)域，然后使用分類加速器對人臉是否佩戴口罩這一特征進行分類。當檢測到存在行人未佩戴口罩的特征時，防控車向驅動板發(fā)送停車指令進行制動停車，調用揚聲器模塊發(fā)送語音播報提示行人前來測溫、消毒，并領取口罩，同時驅動舵機打開口罩倉倉門提供口罩。

圖10 口罩識別流程

4.3 系統(tǒng)整體運作流程

圖11 為系統(tǒng)整體運作框圖。當智能衛(wèi)生防控車接收到開機信號后進行初始化并檢測電池電量信息。自檢完畢后防控車將按照既定的軌跡進行巡邏，同時啟動圖像識別功能，隨時等待目標識別結果。在防控車巡邏的同時進行紅外避障與超聲波避障檢測，當檢測到障礙物即停車或繞行。如果監(jiān)測到有行人未佩戴口罩時則進行語音播報、測溫、消毒并打開口罩倉倉門提供口罩。系統(tǒng)不斷刷新狀態(tài)，將信息更新在OLED 顯示屏上，并且上傳到小程序和云端。同時小程序控制可以隨時介入防控車的運動過程。

圖11 防控車系統(tǒng)整體運作框圖

5 結束語

該文提出一種衛(wèi)生防控智能車，綜合運用了圖像識別、嵌入式、傳感器、微信小程序、云存儲等技術，具備識別人群是否佩戴口罩并進行播報預警、人體測溫、酒精消毒、無接觸遞送口罩，物聯(lián)網(wǎng)云端傳輸?shù)裙δ?。實現(xiàn)了無接觸防控，更好地推進了衛(wèi)生防控工作的開展，可以勝任人員密集場所的防控任務，提高了防控效率，為現(xiàn)階段及未來的衛(wèi)生防控工作提供了一種可行方案。