基于視覺(jué)技術(shù)的區(qū)域安全監(jiān)測(cè)裝置設(shè)計(jì)

許俊杰，蔡凡，林城浩，檀鴻亮

閩南理工學(xué)院，福建 石獅 362700

0 引言

我國(guó)經(jīng)濟(jì)快速發(fā)展，對(duì)于電力的需求也在逐年增加，電力設(shè)施出現(xiàn)故障的幾率也隨之增加[1]。在實(shí)際的電力施工和檢修工作中，電力線路受到外力或者其他因素的破壞，此時(shí)需要進(jìn)行檢修和維護(hù)，而安全應(yīng)該時(shí)刻擺在第一位。工作人員除了應(yīng)該提升安全意識(shí)外，外部環(huán)境的監(jiān)測(cè)也十分重要。特別是高壓設(shè)備在維護(hù)、維修期間，是不允許動(dòng)物和人靠近的[2]。因此設(shè)計(jì)一個(gè)設(shè)備，能夠動(dòng)態(tài)識(shí)別人體和動(dòng)物，并且發(fā)出警報(bào)，作為安全監(jiān)督的一種輔助手段，是非常有必要的。該項(xiàng)目使用機(jī)器視覺(jué)技術(shù)，通過(guò)攝像頭動(dòng)態(tài)識(shí)別人體和動(dòng)物，并且發(fā)出警報(bào)，聯(lián)動(dòng)其他設(shè)備進(jìn)行報(bào)警信息的傳遞。使用的技術(shù)包括機(jī)器視覺(jué)、無(wú)線組網(wǎng)技術(shù)、物聯(lián)網(wǎng)技術(shù)等。當(dāng)檢測(cè)端監(jiān)測(cè)到人或者動(dòng)物靠近時(shí)，設(shè)備端通過(guò)無(wú)線組網(wǎng)進(jìn)行報(bào)警提醒現(xiàn)場(chǎng)執(zhí)勤人員。設(shè)備便攜，易安裝，一定程度上提升工作人員的安全系數(shù)。

1 區(qū)域安全監(jiān)測(cè)系統(tǒng)總體設(shè)計(jì)

該裝置使用機(jī)器視覺(jué)替代人工觀測(cè)，適合戶(hù)外工作使用。該裝置的硬件主要由發(fā)送端和接收端組成。采用多對(duì)一的組網(wǎng)方式，多個(gè)發(fā)送端發(fā)送數(shù)據(jù)到接收端。發(fā)送端包含K210攝像頭模塊（驗(yàn)證模式下可接液晶屏方便觀察，實(shí)際應(yīng)用則無(wú)需液晶屏）、微波雷達(dá)模塊、鋰電池以及主控芯片和無(wú)線模塊。接收端包含高音蜂鳴器、鋰電池、語(yǔ)音播放模塊、液晶屏、主控芯片和無(wú)線模塊。為增加系統(tǒng)的可靠性，每個(gè)發(fā)射端配置了微波雷達(dá)，主要監(jiān)測(cè)移動(dòng)物體，與視覺(jué)方案形成雙重檢測(cè)。在顯示端采用液晶屏顯示監(jiān)測(cè)到的靠近的動(dòng)物種類(lèi)，同時(shí)蜂鳴器和語(yǔ)音喇叭提醒工作人員。

系統(tǒng)的運(yùn)作方式：將多個(gè)發(fā)送端以一定高度放置在工作地點(diǎn)四周，接收端由一人手持看管之后便可以進(jìn)行戶(hù)外作業(yè)。若有運(yùn)動(dòng)物體靠近，經(jīng)過(guò)微波雷達(dá)探測(cè)到異常信號(hào)后，通過(guò)K210芯片執(zhí)行目標(biāo)檢測(cè)，得出接近物是人或者牛、羊等動(dòng)物，隨后數(shù)據(jù)通過(guò)發(fā)送端的無(wú)線模塊發(fā)送到接收端，接收端接收到信號(hào)后，蜂鳴器會(huì)發(fā)聲警示工作人員，同時(shí)語(yǔ)音播放所接近物的名稱(chēng)，液晶屏顯示接近物的象征性圖片與文字，多重示警確保工作人員得到警報(bào)信息。考慮到設(shè)備需要便攜和長(zhǎng)續(xù)航，發(fā)送端與接收端均使用可拆卸鋰電池供電。由于采用視覺(jué)方案，該系統(tǒng)適用于戶(hù)外光線條件較好的場(chǎng)合，另外，如果不使用視覺(jué)檢測(cè)功能，也可以單獨(dú)使用微波雷達(dá)傳感器實(shí)現(xiàn)運(yùn)動(dòng)物體的接近檢測(cè)。

2 區(qū)域安全監(jiān)測(cè)系統(tǒng)硬件設(shè)計(jì)

發(fā)送端電路原理圖設(shè)計(jì)如圖1所示。

圖1 監(jiān)測(cè)發(fā)送端硬件設(shè)計(jì)圖

基于低功耗考慮，發(fā)送端采用STM32L0101 C6T6作為主控芯片。該芯片具備2個(gè)串口和12位ADC接口。STM32L010C6T6使用了超低功耗的Arm Cortex-M0+MCU，并具有32-KB Flash存儲(chǔ)器和32MHz CPU。供電部分由12V鋰電池經(jīng)過(guò)LM2596進(jìn)行穩(wěn)壓，再由680uf電容與100nf電容進(jìn)行濾波，得到5V電源。由于攝像頭部分耗電較大，所以采用了MOS管控制攝像頭電源，當(dāng)微波雷達(dá)檢測(cè)到有物體靠近時(shí)，MOS管導(dǎo)通，輸出5V電壓供給攝像頭模塊運(yùn)行，攝像頭模塊包含1個(gè)OV2640 CMOS攝像頭和1個(gè)使用RISC-V指令的K210芯片，該芯片內(nèi)部包含1個(gè)神經(jīng)網(wǎng)絡(luò)加速KPU[3]，能夠以較快速度執(zhí)行卷積、批歸一化、激活以及池化的基礎(chǔ)運(yùn)算。在1W的功耗條件下，該KPU算力能達(dá)0.8TFLOPS[4]。通過(guò)AMS1117-3.3芯片進(jìn)一步降壓，對(duì)主芯片NRF無(wú)線模塊3.3V器件供電。電池電壓檢測(cè)電路使用了簡(jiǎn)單的電阻分壓檢測(cè)，為了確保精確性，增加C2濾波電容，分壓電阻使用精度為1%。當(dāng)電池電量過(guò)低時(shí)，蜂鳴器響起提醒使用者電量不足。

接收顯示端硬件原理圖設(shè)計(jì)如圖2所示。

圖2 接收端電路設(shè)計(jì)圖

接收端采用與發(fā)送端相同的主控芯片、電源芯片，接收端的2.8寸LCD顯示屏采用3.3V供電。電池采用12V、2800mAH鋰電池。

3 區(qū)域安全監(jiān)測(cè)系統(tǒng)軟件設(shè)計(jì)

發(fā)射端程序設(shè)計(jì)思路：設(shè)定微波雷達(dá)輸出信號(hào)為中斷信號(hào)，當(dāng)中斷信號(hào)觸發(fā)時(shí)，程序流程如圖3所示。

圖3 發(fā)射端程序流程圖

其中，K210攝像頭模塊與主控芯片的通信方式為串口通信，通信協(xié)議自定義，格式為幀頭+報(bào)警發(fā)射端編號(hào)+移動(dòng)物體編號(hào)+電池電量+檢驗(yàn)和。例如4號(hào)發(fā)射端檢測(cè)到有人靠近，此時(shí)電量為飽滿狀態(tài)（100%），則K210攝像頭通過(guò)串口發(fā)送給主控芯片的數(shù)據(jù)為0XFF 0X04 0X01 0X64 0X6D。幀頭不算入校驗(yàn)和字節(jié)。如有需要，后續(xù)可增加字節(jié)發(fā)送目標(biāo)出現(xiàn)在攝像頭中位置的坐標(biāo)。

其中，發(fā)射端的攝像頭模塊內(nèi)部K210芯片識(shí)別目標(biāo)使用了YOLOv2算法。YOLOv2是YOLO（You Only Look Once）系列目標(biāo)檢測(cè)算法中的第二版[5]。實(shí)現(xiàn)該功能的流程為準(zhǔn)備數(shù)據(jù)集，圖片標(biāo)注，圖片訓(xùn)練，導(dǎo)出模型，轉(zhuǎn)化為K210模塊可運(yùn)行的Kmodel模型，加載模型進(jìn)行圖片推理。將不同分辨率的圖片統(tǒng)一調(diào)整分辨率為224*224，使用LabelImg軟件進(jìn)行標(biāo)注。該項(xiàng)目使用的數(shù)據(jù)集圖片為800張，標(biāo)注的類(lèi)別有Person、Cow、Sheep、Dog四類(lèi)，每一類(lèi)圖片200張。為了減少出現(xiàn)過(guò)擬合現(xiàn)象，得到泛化能力更好的模型，使用imgaug庫(kù)對(duì)數(shù)據(jù)集進(jìn)行增廣，增廣方法并未完全按照imgaug庫(kù)中提供的方法，選擇性使用了包括用高斯模糊，均值模糊，中值模糊，銳化處理，加入高斯噪聲，將1%到10%的像素設(shè)置為黑色，每個(gè)像素隨機(jī)加減-10到10之間的數(shù)，像素乘上0.5或者1.5之間的數(shù)字，將整個(gè)圖像的對(duì)比度變?yōu)樵瓉?lái)的一半或者二倍等以上的方法。

數(shù)據(jù)集中，目標(biāo)物體已有標(biāo)注好的目標(biāo)框，錨框是對(duì)于預(yù)測(cè)目標(biāo)框的潛在候選框，為使錨框長(zhǎng)寬形狀更接近真實(shí)的目標(biāo)框，根據(jù)YOLOv5的算法采用k-means聚類(lèi)方法形成新的錨框參數(shù)。本次使用TensorFlow2.5.1框架訓(xùn)練數(shù)據(jù)集，訓(xùn)練結(jié)束后導(dǎo)出.h5格式的模型，將模型轉(zhuǎn)為.tflite格式，在NNCase中編譯模型為.kmodel格式后通過(guò)復(fù)制到SD卡上運(yùn)行。K210芯片支持運(yùn)行MicroPython代碼。

接收端程序設(shè)計(jì)思路：接收端默認(rèn)處于接收狀態(tài)，當(dāng)檢測(cè)到無(wú)線數(shù)據(jù)后對(duì)數(shù)據(jù)解析，執(zhí)行對(duì)應(yīng)的報(bào)警程序?？紤]到極端情況下，多個(gè)發(fā)射端同時(shí)發(fā)送數(shù)據(jù)導(dǎo)致沖突，因此在發(fā)送端和接收端定義握手協(xié)議。當(dāng)發(fā)射端發(fā)送一次數(shù)據(jù)后，無(wú)線模塊轉(zhuǎn)為接收狀態(tài)，此時(shí)等待接收端回饋數(shù)據(jù)。接收端接收到發(fā)射端發(fā)來(lái)的數(shù)據(jù)時(shí)，轉(zhuǎn)為發(fā)射狀態(tài)，回饋2個(gè)字節(jié)，幀頭+接收到的發(fā)送端編號(hào)，之后再轉(zhuǎn)為接收狀態(tài)。當(dāng)發(fā)送端發(fā)送數(shù)據(jù)以后，5秒鐘之內(nèi)未接收到回饋數(shù)據(jù)，則認(rèn)為數(shù)據(jù)沖突或者丟失，隨機(jī)延時(shí)100～500ms之后重新發(fā)送。當(dāng)接收端開(kāi)機(jī)之后10分鐘內(nèi)未接收到發(fā)射端的數(shù)據(jù)，則認(rèn)為發(fā)射端設(shè)備故障，在接收端液晶屏上顯示。

接收端顯示靠近的物體類(lèi)型、例如人或牛。同時(shí)顯示發(fā)射端的編號(hào)，例如2號(hào)發(fā)射端檢測(cè)到人以后發(fā)射信號(hào)，接收端顯示屏顯示人的圖片且顯示數(shù)字2（表示移動(dòng)物體在2號(hào)發(fā)射端方向），蜂鳴器報(bào)警、語(yǔ)音喇叭播放相關(guān)的語(yǔ)音信號(hào)。

4 測(cè)試結(jié)果與分析

訓(xùn)練損失在深度學(xué)習(xí)中是衡量網(wǎng)絡(luò)模型性能優(yōu)良的重要指標(biāo)[6]。本次訓(xùn)練網(wǎng)絡(luò)訓(xùn)練超參數(shù)設(shè)置如下：批次大小為8，迭代次數(shù)為300，學(xué)習(xí)率為0.001，顯卡使用RTX1080Ti，8G顯存，基于本數(shù)據(jù)集訓(xùn)練得到的Loss值如圖4所示。

圖4 Loss值

當(dāng)?shù)螖?shù)在100次時(shí)，Loss值基本不再明顯下降，網(wǎng)絡(luò)達(dá)到收斂效果，在驗(yàn)證集中最高Accuracy達(dá)到100%，當(dāng)然驗(yàn)證集中樣本數(shù)量較少也會(huì)導(dǎo)致Accuracy數(shù)值偏高。

系統(tǒng)實(shí)物圖如圖3所示，其中紅色圈圈內(nèi)的設(shè)備表示發(fā)送端，方框內(nèi)的設(shè)備表示接收端。

圖3 系統(tǒng)實(shí)物圖

為探究裝置的有效性，確保裝置在戶(hù)外能夠運(yùn)行，進(jìn)行了如下測(cè)試（表1）。測(cè)試時(shí)間為下午4點(diǎn)左右，環(huán)境為空曠操場(chǎng)。由于牛、羊、狗等家畜不方便進(jìn)行實(shí)驗(yàn)測(cè)試，因此使用打印的彩色照片，以人手持出現(xiàn)在鏡頭前的方式作模擬，由于是照片模擬，與實(shí)際生物的大小差別較大，因此不對(duì)人以外的家禽做檢測(cè)距離測(cè)試，只做識(shí)別測(cè)試。測(cè)試發(fā)送端A和B以及C以“Y”形放置，接收端放置于三個(gè)發(fā)送端中心，每個(gè)種類(lèi)測(cè)試100次識(shí)別效果。

表1 目標(biāo)檢測(cè)測(cè)試

測(cè)試中，微波雷達(dá)可以在8米范圍內(nèi)有效檢測(cè)到移動(dòng)物接近。測(cè)試結(jié)果可知，攝像頭可以在5米范圍內(nèi)識(shí)別目標(biāo)準(zhǔn)確率達(dá)到91%，當(dāng)距離為8米時(shí)較難有效識(shí)別目標(biāo)物體，主要原因是光線和圖片采集質(zhì)量導(dǎo)致的，光線原因是所有采用視覺(jué)方案遇到的共性問(wèn)題，圖片質(zhì)量則和芯片的計(jì)算能力以及攝像頭參數(shù)相關(guān)，因此根據(jù)應(yīng)用場(chǎng)景，如無(wú)需對(duì)接近物做分類(lèi)識(shí)別，則可依靠微波雷達(dá)作為接近物監(jiān)測(cè)的判斷條件。另外，測(cè)試的準(zhǔn)確率很大程度依賴(lài)于模型，因此數(shù)據(jù)集的質(zhì)量也對(duì)檢測(cè)效果有較大影響。

5 結(jié)語(yǔ)

本文對(duì)區(qū)域安全監(jiān)測(cè)系統(tǒng)的整體硬件結(jié)構(gòu)進(jìn)行了說(shuō)明，描述了目標(biāo)識(shí)別的過(guò)程，最終通過(guò)實(shí)驗(yàn)測(cè)試驗(yàn)證了系統(tǒng)的穩(wěn)定性和準(zhǔn)確性，在特定環(huán)境下具備一定的市場(chǎng)應(yīng)用前景。目前系統(tǒng)實(shí)現(xiàn)了區(qū)域安全檢測(cè)功能，后續(xù)還可豐富功能，例如將圖像信息發(fā)送到云端、記錄接近物的種類(lèi)情況等功能。