夏慧雯,趙中雨,王卓爾*,張清勇,彭峰
基于邊緣計(jì)算的公共交通工具疫情監(jiān)測(cè)系統(tǒng)
夏慧雯1,趙中雨2,王卓爾2*,張清勇1,彭峰3
(1.武漢理工大學(xué) 自動(dòng)化學(xué)院,武漢 430070; 2.武漢理工大學(xué) 信息工程學(xué)院,武漢 430070; 3.武漢理工大學(xué) 智能交通系統(tǒng)研究中心,武漢 430063)( ? 通信作者電子郵箱288484@whut.edu.cn)
現(xiàn)有監(jiān)測(cè)系統(tǒng)無(wú)法很好地應(yīng)對(duì)疫情環(huán)境下存在的交叉?zhèn)魅疽约白匪堇щy等問題,因此提出了一套基于邊緣計(jì)算的公共交通檢測(cè)系統(tǒng)的設(shè)計(jì)方案。首先,建立圖數(shù)據(jù)庫(kù)來儲(chǔ)存乘車人員與乘車信息,同時(shí)使用雙數(shù)據(jù)庫(kù)模型防止建立索引帶來的阻塞,從而完成插入效率與搜索效率的均衡;其次,在車輛人像信息提取中,采用HSV色彩空間對(duì)圖片進(jìn)行預(yù)處理,并建立人臉三維空間模型來提升神經(jīng)網(wǎng)絡(luò)的識(shí)別準(zhǔn)確率,在目標(biāo)佩戴口罩時(shí),通過較明顯的鼻尖特征點(diǎn)、下頜特征點(diǎn)與未遮擋的鼻梁部特征點(diǎn)回歸出其口鼻等特征點(diǎn)信息;最后,通過度搜索快速找出密切接觸乘客。在特征對(duì)比測(cè)試中,該方案在BioID數(shù)據(jù)集和PubFig數(shù)據(jù)集上分別達(dá)到了99.44%和99.23%的正確率,且在兩數(shù)據(jù)集上的假陰性率均小于0.01%;在圖搜索效率測(cè)試中,在淺層次搜索的時(shí)候,圖數(shù)據(jù)庫(kù)與關(guān)系型數(shù)據(jù)庫(kù)并無(wú)較大差異,當(dāng)搜索層次變深時(shí),圖數(shù)據(jù)庫(kù)效率更高;在驗(yàn)證理論可行性之后,模擬了公交車與公交站的實(shí)際環(huán)境,經(jīng)測(cè)試所提系統(tǒng)在其中的識(shí)別準(zhǔn)確率為99.98%,識(shí)別時(shí)間平均約為21 ms,符合疫情監(jiān)測(cè)的要求。所提系統(tǒng)設(shè)計(jì)可以滿足疫情時(shí)期公共安全的特殊需求,能夠?qū)崿F(xiàn)人員甄別、路徑記錄、潛在接觸者搜索等功能,從而有效地保證公共交通安全。
邊緣計(jì)算;公共交通;面部特征;圖數(shù)據(jù)庫(kù);神經(jīng)網(wǎng)絡(luò);HSV色彩空間;疫情監(jiān)測(cè)
城市公共交通發(fā)展程度標(biāo)志著城市的現(xiàn)代化程度,它不僅提供了大容量的交通運(yùn)輸,也改善了居民的出行條件。其節(jié)約能源、減緩擁堵等優(yōu)點(diǎn)使得公共交通在現(xiàn)代生活中扮演著不可或缺的角色。
公共交通覆蓋面廣、交叉點(diǎn)多、人員可控性弱等特點(diǎn)使得其若成為疫情傳播途徑,則會(huì)造成危害強(qiáng)度大、范圍廣、群體廣泛的嚴(yán)重后果。流行性傳染及疾病可能通過直接傳播、接觸傳播、氣溶膠傳播等多種方式將病原體傳遞給易感染者。而在乘客進(jìn)入公共交通后,其搭乘空間相對(duì)自由、登乘時(shí)間與地點(diǎn)較為無(wú)序,可以有效控制傳染的“保持距離”更多靠乘客自覺,司機(jī)對(duì)乘客測(cè)溫的方法繁瑣且易受環(huán)境干擾。因而,若有乘客攜帶傳染病病原體,則可能通過四通八達(dá)的公共交通線路傳遞至城市各角落,帶來較大的衛(wèi)生安全隱患。所以,在新型冠狀病毒疫情中,公共交通的衛(wèi)生安全成為了防控等方面的重點(diǎn)與難點(diǎn)。
大規(guī)模的公共交通安全系統(tǒng)領(lǐng)域研究始于2018年,而正式系統(tǒng)方案的提出則始于2020年。2020年,趙曉樸[1]針對(duì)軌道交通的安全問題提出了視頻監(jiān)控系統(tǒng)方案,然而該方案僅能夠完成視頻數(shù)據(jù)的采集與儲(chǔ)存,因而存在智能化程度低、儲(chǔ)存成本高、搜索效率低、不易精準(zhǔn)定位個(gè)體等問題;2021年初,林曉偉等[2]提出了智慧安防系統(tǒng),引入了智慧決策,但仍無(wú)法解決計(jì)算延遲大、儲(chǔ)存成本高、搜索效率低的問題。同時(shí),現(xiàn)有的系統(tǒng)都無(wú)法很好地應(yīng)對(duì)傳染性疾病帶來的個(gè)體快速定位與接觸網(wǎng)追溯的新考驗(yàn)。
也正因此,繼續(xù)研究如何監(jiān)督、追溯公共交通的數(shù)據(jù)信息對(duì)于公共安全與衛(wèi)生事業(yè)具有重要意義。若能對(duì)病原體攜帶者進(jìn)行精確識(shí)別與記錄,高效地搜索潛在的接觸者,則可以為最大限度減少傳染風(fēng)險(xiǎn)提供有力支撐,因而如何對(duì)乘客特征進(jìn)行提取,如何快速地對(duì)大量數(shù)據(jù)進(jìn)行深層次的搜索便成為了值得研究的問題。針對(duì)該問題的研究也將對(duì)提高城市軌道交通運(yùn)營(yíng)安全、保障社會(huì)穩(wěn)定發(fā)展具有實(shí)踐價(jià)值。
針對(duì)以上問題,本文提出了一套基于邊緣計(jì)算的公共交通檢測(cè)系統(tǒng)的設(shè)計(jì)方案。該方案可以快速提取與對(duì)比人體關(guān)鍵特征點(diǎn),高效搜索可能接觸過感染者的其他乘客。
對(duì)于常時(shí)運(yùn)作,公交車會(huì)在乘客搭乘時(shí)采集乘客的體溫、數(shù)字化原始生理特征等信息。隨后,上傳至邊緣計(jì)算節(jié)點(diǎn),使用特征點(diǎn)檢測(cè)神經(jīng)網(wǎng)絡(luò)對(duì)面部不可變特征信息進(jìn)行提取。若邊緣計(jì)算節(jié)點(diǎn)存有云端下發(fā)的攜帶者信息,則將提取的特征點(diǎn)信息與其求取距離,若總距離小于閾值則發(fā)出預(yù)警,阻止乘客登乘;若無(wú)異常,則上傳數(shù)據(jù)到云端雙數(shù)據(jù)庫(kù)服務(wù)器,為數(shù)據(jù)挖掘等操作提供基礎(chǔ)。同時(shí),針對(duì)信息安全的問題,本文方案全程提供了基于Token的合法性驗(yàn)證。其系統(tǒng)方案功能框圖如圖1所示。
圖1 系統(tǒng)方案功能框圖
硬件部分,本文方案使用車載端與邊緣計(jì)算節(jié)點(diǎn)分離的方式,兩者用2.4 GHz進(jìn)行通信傳輸。車載端負(fù)責(zé)采集人臉數(shù)據(jù),處理后呈遞至邊緣計(jì)算節(jié)點(diǎn),邊緣計(jì)算節(jié)點(diǎn)負(fù)責(zé)主體算法的運(yùn)行。當(dāng)公交車??寇囌緯r(shí),會(huì)自動(dòng)嘗試使用2.4 GHz頻段對(duì)邊緣計(jì)算設(shè)備提供的無(wú)線網(wǎng)絡(luò)進(jìn)行無(wú)線連接。當(dāng)公交車連接上該網(wǎng)絡(luò)后,會(huì)向局域網(wǎng)中的計(jì)算節(jié)點(diǎn)發(fā)送數(shù)據(jù)。
本文方案提出的特征點(diǎn)檢測(cè)神經(jīng)網(wǎng)絡(luò)具有準(zhǔn)確率較高、深度低、計(jì)算量小、適于邊緣計(jì)算的特點(diǎn)。雙數(shù)據(jù)庫(kù)設(shè)計(jì)能夠適應(yīng)數(shù)據(jù)庫(kù)操作量大、查詢層數(shù)深的特點(diǎn),能夠提高讀寫與查詢效率。信息安全設(shè)計(jì)可以保護(hù)數(shù)據(jù)安全與清潔,保證搜索結(jié)果的可靠性。
由于運(yùn)算的實(shí)時(shí)性要求較高,因而云端服務(wù)器不承擔(dān)較復(fù)雜的運(yùn)算任務(wù),僅需維護(hù)數(shù)據(jù)庫(kù)并執(zhí)行可能存在的深層查詢。關(guān)系型數(shù)據(jù)庫(kù)(Relational Database)是基于關(guān)系模型建立的數(shù)據(jù)儲(chǔ)存系統(tǒng),其使用列(字段)與行(記錄)儲(chǔ)存結(jié)構(gòu)化信息。當(dāng)有多類信息間存在關(guān)聯(lián)性時(shí),則可使用外鍵等約束將之有機(jī)地聯(lián)系到一起。但當(dāng)遇到關(guān)系復(fù)雜或?qū)哟谓Y(jié)構(gòu)較深的查詢操作時(shí),此類型數(shù)據(jù)庫(kù)則會(huì)消耗可觀的時(shí)間。
為解決不同數(shù)據(jù)結(jié)構(gòu)的存儲(chǔ)問題,非關(guān)系型數(shù)據(jù)庫(kù)——NoSQL(Not Only SQL)被提出。圖數(shù)據(jù)庫(kù)是一種使用圖結(jié)構(gòu)的NoSQL,它以節(jié)點(diǎn)(Node)、邊(Edge)與相應(yīng)的屬性(Properties)的形式存儲(chǔ)數(shù)據(jù);因而,它可以將儲(chǔ)存的數(shù)據(jù)有機(jī)地連接在一起,同時(shí)也提供了較高的查詢效率。
對(duì)于本文方案,人員信息與公交車信息可以儲(chǔ)存為節(jié)點(diǎn)。其中乘車人員數(shù)據(jù)從公交車信息獲取節(jié)點(diǎn)與邊緣計(jì)算卡中獲取。為保證人員節(jié)點(diǎn)的唯一性,則可以對(duì)人員節(jié)點(diǎn)的身份證號(hào)添加唯一約束。公交車則分配唯一識(shí)別碼作為記錄標(biāo)志。對(duì)于每一個(gè)登車的乘客,公交車上的采集系統(tǒng)可以獲得用戶的面部信息與登車時(shí)間等信息,并儲(chǔ)存為節(jié)點(diǎn)間的邊。若乘客搭乘公交車,則記錄其當(dāng)前相關(guān)信息并存入數(shù)據(jù)庫(kù);而當(dāng)乘客與公交車沒有乘車行為時(shí),則兩節(jié)點(diǎn)間沒有邊相連。
對(duì)于進(jìn)一步的大數(shù)據(jù)分析,本文可以對(duì)某一節(jié)點(diǎn)及與其相連的邊進(jìn)行數(shù)據(jù)挖掘。當(dāng)出現(xiàn)緊急疫情時(shí),云端服務(wù)器也可以根據(jù)乘車時(shí)間等數(shù)據(jù)進(jìn)行潛在感染者分析。
因傳染性疾病在公共區(qū)域內(nèi)有交叉?zhèn)魅镜娘L(fēng)險(xiǎn),所以需要對(duì)乘客進(jìn)行高效的查詢與跟蹤。為提高圖數(shù)據(jù)庫(kù)的搜索效率,則必須對(duì)圖建立索引,但建立索引的代價(jià)是插入與修改效率的下降。
為解決上述矛盾,本文提出了雙數(shù)據(jù)庫(kù)方法,記錄數(shù)據(jù)庫(kù)負(fù)責(zé)接收所有上傳信息,但僅對(duì)信息的合法性做篩查,同時(shí)以記錄增量的方式儲(chǔ)存信息;查詢數(shù)據(jù)庫(kù)定期從記錄數(shù)據(jù)庫(kù)獲取增量記錄,并對(duì)表更新索引。其執(zhí)行方法框圖如圖2所示。此方法可以保證記錄的及時(shí)性與查詢的高效性,避免了因更新索引帶來的插入效率下降[3]。
圖2 雙數(shù)據(jù)庫(kù)執(zhí)行方法框圖
對(duì)于邊緣計(jì)算節(jié)點(diǎn),在與公交車進(jìn)行通信后獲得其圖片與相關(guān)信息。在對(duì)圖片進(jìn)行信息提取后,將所有信息提交到云端數(shù)據(jù)庫(kù)。若乘客中存在云端數(shù)據(jù)庫(kù)存在的病原體攜帶者或疑似感染者,則可以在乘客完成識(shí)別后的極短時(shí)間內(nèi)完成判斷,并提示司機(jī)或直接阻止搭乘。其響應(yīng)速度能達(dá)到秒級(jí),與云端服務(wù)器處理方案高壓力下分鐘級(jí)響應(yīng)相比,邊緣計(jì)算節(jié)點(diǎn)可以更有效地保護(hù)公共衛(wèi)生安全。
對(duì)于車輛人像信息提取,本文使用CenterNet方法的輕量級(jí)的神經(jīng)網(wǎng)絡(luò)模型,并針對(duì)公交車的特殊光照環(huán)境進(jìn)行了色彩空間的轉(zhuǎn)換,從而進(jìn)一步提升神經(jīng)網(wǎng)絡(luò)的識(shí)別精度。同時(shí),增加眼、眉部特征點(diǎn)個(gè)數(shù),輔以深度較為明顯的特征點(diǎn),實(shí)現(xiàn)了口罩遮擋條件下的特征點(diǎn)識(shí)別與特征匹配。
人類面部特征包括可變特征與不可變特征兩大類??勺兲卣骼缑娌垦b飾品、妝容等,而不可變特征則以面部特征點(diǎn)(landmark)為主。
面部特征點(diǎn)是指人類面部能保持長(zhǎng)期不變的、具有較高識(shí)別度與判別性的特征點(diǎn)信息。特征點(diǎn)大部分處于骨骼或軟骨邊緣,在解剖學(xué)上具有一定的不變性,適于進(jìn)行匹配[4-5]。邊緣節(jié)點(diǎn)特征提取流程如圖3所示。
圖3 邊緣節(jié)點(diǎn)特征提取流程
在先前的研究中,有研究人員使用過梯度方向直方圖特征進(jìn)行匹配。此外,也有使用局部二值化模式(Local Binary Pattern, LBP)特征進(jìn)行識(shí)別的方法,如圓形LBP特征與旋轉(zhuǎn)不變LBP特征可以更好地應(yīng)對(duì)多樣化的面部特征。
但對(duì)于環(huán)境相對(duì)復(fù)雜、面部角度多變的公交車面部識(shí)別環(huán)境,以上幾種方法都不能精確地完成高準(zhǔn)確率特征點(diǎn)的匹配,因此本文系統(tǒng)選擇使用深度神經(jīng)網(wǎng)絡(luò)對(duì)人臉特征進(jìn)行檢測(cè)。
對(duì)于攝像頭采集到的畫面,可能存在環(huán)境光照不穩(wěn),如過度曝光或曝光不足、模糊等現(xiàn)象,因而需要對(duì)圖片進(jìn)行簡(jiǎn)單的預(yù)處理。
面部特征識(shí)別需要對(duì)光線具有較高魯棒性的算法或色彩空間,而常用的RGB色彩空間雖然可以連續(xù)地表示任意顏色,但對(duì)光照比較敏感,輕微的光照擾動(dòng)便會(huì)影響色彩值。而HSV(Hue Saturation Value)對(duì)光照條件具有較高的魯棒性。實(shí)驗(yàn)結(jié)果表明面部識(shí)別在HSV色彩空間下具有較高的準(zhǔn)確率[6-7]。
HSV空間,也被稱作HSB(Hue Saturation Brightness)空間,其三通道分別是色調(diào)、飽和度、亮度。
色調(diào)的取值范圍為0~360,表征了色彩的顏色信息;飽和度即色彩的純度,當(dāng)其值較低時(shí),圖像更偏向灰度圖;亮度指的是整個(gè)圖像明暗程度,亮度越大,則更偏向白色,亮度越小,則更偏向黑色。
同時(shí),對(duì)于HSV色彩空間,色調(diào)通道會(huì)帶來最大的準(zhǔn)確率損失,原因在于皮膚的部分區(qū)域如果過亮,則會(huì)與背景混淆,進(jìn)而影響準(zhǔn)確率[7]。在公交車環(huán)境中,前景與背景顏色差異明顯,且主體可由相機(jī)光源補(bǔ)光,進(jìn)一步增大對(duì)比,所以HSV色彩空間可以在該環(huán)境中達(dá)到更高的準(zhǔn)確率。
邊緣計(jì)算節(jié)點(diǎn)算力有限,通勤高峰期算力需求激增,部分學(xué)者提出的包括沙漏網(wǎng)絡(luò)在內(nèi)的多種網(wǎng)資源消耗嚴(yán)重[8]??偤臅r(shí)亦會(huì)顯著增加。因而選用MobileNet V3以提高讀取與處理速度,同時(shí)也能保證可接受的準(zhǔn)確率。
對(duì)于建立面部特征點(diǎn)模型,本文提出了一個(gè)計(jì)算簡(jiǎn)單、精確度較高的方法,同時(shí)通過公交車信息節(jié)點(diǎn)獲取距離,進(jìn)而可以獲得人臉的尺寸信息,進(jìn)一步提高模型建立準(zhǔn)確率。
3.3.1CenterNet特征點(diǎn)提取
因?yàn)槿祟惷娌刻卣髅鞔_、邊緣信息與中心點(diǎn)信息突出,所以可以直接使用特征點(diǎn)檢測(cè)的方式對(duì)目標(biāo)特征點(diǎn)進(jìn)行定位,CenterNet便可以提供檢測(cè)方法[9-10]。
對(duì)于檢測(cè)方案,本文系統(tǒng)將HSV色彩空間的圖像輸入神經(jīng)網(wǎng)絡(luò)。有多種面部特征點(diǎn)方案可以表征個(gè)人的生物特征。對(duì)于任一分類特征,其期望輸出是分類熱力圖,而任一像素,有歸一化置信度,如式(1):
其中:是輸出圖像的期望縮放比例;為輸出的總通道數(shù),即特征點(diǎn)數(shù)量;圖像寬高分別為與[10]。
面部特征點(diǎn)識(shí)別中,特征點(diǎn)熱力圖重合的現(xiàn)象并不罕見,因而需要在重合的情況下選取可能性最大的點(diǎn)進(jìn)行分類,同時(shí)也需要對(duì)圖像進(jìn)行像素分割,其焦點(diǎn)損失如下。
為保證計(jì)算準(zhǔn)確率,本文系統(tǒng)也需要修正下采樣帶來的偏差,因而對(duì)特征點(diǎn)添加一個(gè)偏移來保證定位的準(zhǔn)確性。
所有預(yù)測(cè)偏差共用一個(gè)平均損失,其計(jì)算方法如下:
因需要用特征點(diǎn)估計(jì)來得到所有的中心點(diǎn),所以還需要回歸出目標(biāo)的尺寸,同樣存在損失函數(shù)如下:
最后,可以獲得總損失函數(shù)如下:
3.3.2三維模型建立
三維(Three-Dimensional, 3D)檢測(cè)是對(duì)每個(gè)目標(biāo)進(jìn)行寬高與額外的深度估計(jì),因而每個(gè)中心點(diǎn)需要3個(gè)附加信息:深度(Depth)、三維尺度(Scale)、方向(Orientation)[11]。
深度值是常量,但很難通過回歸得到,因而可以對(duì)輸出做變換。在特征點(diǎn)估計(jì)網(wǎng)絡(luò)上添加一個(gè)深度計(jì)算通道,該通道使用了兩個(gè)卷積層與反Sigmoid實(shí)現(xiàn)。而物體對(duì)三維尺度是3個(gè)常量,所以可以根據(jù)特征點(diǎn)的深度值恢復(fù)物體的三維尺寸。對(duì)于物體的方向估計(jì),則可通過對(duì)特征點(diǎn)下采樣的方法使特征點(diǎn)的距離尺度減小,從而被感知[11-12]。而人類面部的相似性較大,因而可以通過其距離尺度回歸出角度。對(duì)于人類面部存在旋轉(zhuǎn)的現(xiàn)象,可以通過對(duì)稱檢測(cè)的方式回歸出人臉的單應(yīng)性矩陣,進(jìn)而得到面部映射關(guān)系,以修正所獲得的面部矢量[13]。
綜上,本文系統(tǒng)使用深度學(xué)習(xí)的方法建立人臉的三維空間模型,進(jìn)而將人的面部特征點(diǎn)更準(zhǔn)確地在空間中描繪。
當(dāng)人們佩戴口罩的時(shí)候,其面部特征點(diǎn)會(huì)被遮擋,無(wú)法通過未佩戴口罩時(shí)的關(guān)鍵點(diǎn)監(jiān)測(cè)得出。同時(shí),口罩整體顏色相近、特征不明顯,因而使用傳統(tǒng)神經(jīng)網(wǎng)絡(luò)識(shí)別的方式可能會(huì)出現(xiàn)較大損失。
本系統(tǒng)可以估計(jì)面部的三維信息,因而,模型可以在目標(biāo)佩戴口罩時(shí),通過較明顯的鼻尖特征點(diǎn)、下頜特征點(diǎn)與未遮擋的鼻梁部特征點(diǎn)回歸出其口鼻等特征點(diǎn)信息;同時(shí),為保證此時(shí)的判斷準(zhǔn)確率,可以對(duì)眼、眉部增加特征點(diǎn)采樣數(shù),以保證識(shí)別準(zhǔn)確率。
為增強(qiáng)系統(tǒng)魯棒性、減少人物面部?jī)A角對(duì)判斷結(jié)果的影響,本文系統(tǒng)引入當(dāng)前人臉與標(biāo)準(zhǔn)人臉的單應(yīng)性矩陣以實(shí)現(xiàn)標(biāo)準(zhǔn)化。首先,根據(jù)醫(yī)學(xué)與統(tǒng)計(jì)數(shù)據(jù)建立人種標(biāo)準(zhǔn)臉型,當(dāng)獲得目標(biāo)的關(guān)鍵點(diǎn)向量后,計(jì)算單應(yīng)性矩陣,此時(shí)可以列出最多為采樣點(diǎn)個(gè)數(shù)的方程組,求解后,可以通過此映射將人臉規(guī)范到統(tǒng)一的標(biāo)準(zhǔn),即標(biāo)準(zhǔn)化面部特征向量集合[14]。
對(duì)于人類面部信息比較,則可以將采集到的面部信息中所有特征點(diǎn)信息保存為向量,通過對(duì)比向量之間的距離,得出面部特征點(diǎn)信息的相似度,當(dāng)距離小于閾值時(shí),則認(rèn)為兩個(gè)面部歸屬于同一個(gè)體。
因需要應(yīng)對(duì)面部存在遮擋物的情況,故本文系統(tǒng)選取了較高的采樣點(diǎn)數(shù)。當(dāng)出現(xiàn)個(gè)別極端值(誤識(shí)別或其他原因)時(shí),其對(duì)整體的影響相對(duì)較小。同時(shí),本文系統(tǒng)根據(jù)人類顱骨特征建立了一個(gè)標(biāo)準(zhǔn)人臉模型,其每個(gè)采樣點(diǎn)都有一個(gè)分布范圍,若某采樣點(diǎn)遠(yuǎn)超正常范圍時(shí),系統(tǒng)也將其舍棄。在極端值出現(xiàn)概率較小的前提下:若關(guān)鍵點(diǎn)誤差較小,則對(duì)結(jié)果幾乎沒有影響;若誤差較大,則無(wú)法通過標(biāo)準(zhǔn)人臉模型判定。因此,此方法可以快速且較為準(zhǔn)確地完成關(guān)鍵點(diǎn)提取任務(wù)。
雖然在使用神經(jīng)網(wǎng)絡(luò)進(jìn)行人臉對(duì)比可以達(dá)到更高的精確度,但受限于邊緣計(jì)算卡的算力與較高的實(shí)時(shí)性要求,同時(shí)考慮到假陰性的危險(xiǎn)程度較大,因而在應(yīng)用中,系統(tǒng)可以通過降低判斷閾值的方式提高安全性。當(dāng)懷疑某乘客疑似病原體攜帶者,則通過多次拍照、核驗(yàn)乘車碼綁定的身份信息等方式進(jìn)一步確認(rèn)身份。而當(dāng)事態(tài)較為嚴(yán)重時(shí),可適當(dāng)犧牲實(shí)時(shí)性,引入人臉對(duì)比深度神經(jīng)網(wǎng)絡(luò)以取得更精確的結(jié)果。
當(dāng)感染者登乘某班次公共交通工具后,會(huì)使大量乘客成為潛在感染者、病原體攜帶者等密切接觸者,而此類密切接觸者可能將病毒再次傳播,進(jìn)而造成大面積感染。因此,本文系統(tǒng)需要在獲得相關(guān)信息后,盡快找出直接接觸者、經(jīng)一次傳播的接觸者等。這種搜索方式即為度(-hop)搜索。
一個(gè)節(jié)點(diǎn)的度鄰居為距離該節(jié)點(diǎn)最短距離為的所有節(jié)點(diǎn)的集合。在圖4中,一個(gè)節(jié)點(diǎn)的度鄰居為距離該節(jié)點(diǎn)最短距離為的所有節(jié)點(diǎn)的集合。對(duì)于目標(biāo)節(jié)點(diǎn),其1度關(guān)系為除外內(nèi)的節(jié)點(diǎn),2度關(guān)系為除外、內(nèi)的所有節(jié)點(diǎn)[15]。
圖4 節(jié)點(diǎn)k度關(guān)系示意圖
對(duì)于度鄰居的搜索度本質(zhì)上是圖論中的搜索問題,可在無(wú)環(huán)或去環(huán)的情況下應(yīng)用各種搜索算法,如深度優(yōu)先搜索、廣度優(yōu)先搜索或混合使用兩者進(jìn)行搜索。
以廣度優(yōu)先搜索為例,其核心思想在于,從初始節(jié)點(diǎn)開始,獲取當(dāng)前節(jié)點(diǎn)的所有直接鄰居節(jié)點(diǎn),即1度鄰居。再?gòu)?度鄰居中的每個(gè)節(jié)點(diǎn)出發(fā),搜索每個(gè)節(jié)點(diǎn)的1度鄰居,同時(shí)排除已搜索過的節(jié)點(diǎn)。重復(fù)此過程,直到達(dá)到第度。
若使用深度優(yōu)先搜索,則需要注意計(jì)算重復(fù)路徑的最短距離,取最短路徑計(jì)入。因而單純的深度優(yōu)先搜索很少用于度搜索中,深度優(yōu)先搜索往往與廣度優(yōu)先搜索共同使用。
在實(shí)際生產(chǎn)環(huán)境中,數(shù)據(jù)必然需要持久化,因而必然需要數(shù)據(jù)庫(kù)來存儲(chǔ)數(shù)據(jù)。關(guān)系型數(shù)據(jù)庫(kù)中使用了B+樹、B*樹等數(shù)據(jù)結(jié)構(gòu),使檢索成本有所降低,但關(guān)系型數(shù)據(jù)庫(kù)的陣列結(jié)構(gòu)決定了對(duì)于每一個(gè)個(gè)體都要單獨(dú)查詢,而在數(shù)據(jù)量較大的情況下,這樣的代價(jià)是難以接受的。如索引單個(gè)節(jié)點(diǎn)的時(shí)間復(fù)雜度為對(duì)數(shù)級(jí),若想找出所有與該節(jié)點(diǎn)有直接關(guān)聯(lián)的節(jié)點(diǎn),則需要對(duì)所有節(jié)點(diǎn)進(jìn)行搜索,進(jìn)而會(huì)帶來較大的代價(jià)。
圖數(shù)據(jù)庫(kù)則使用了免索引鄰接引擎,這意味著每個(gè)節(jié)點(diǎn)都會(huì)記錄相鄰節(jié)點(diǎn),整個(gè)數(shù)據(jù)庫(kù)是一張圖。因此全局索引便簡(jiǎn)化為節(jié)點(diǎn)對(duì)直接相鄰節(jié)點(diǎn)的索引,從而使得尋找相鄰節(jié)點(diǎn)的復(fù)雜度與總節(jié)點(diǎn)數(shù)無(wú)關(guān)。
對(duì)于圖數(shù)據(jù)庫(kù),其節(jié)點(diǎn)、屬性、關(guān)系往往儲(chǔ)存在不同文件中,從而可保證大部分?jǐn)?shù)據(jù)的長(zhǎng)度為定值,進(jìn)而通過單位長(zhǎng)度乘以序號(hào)的方式直接計(jì)算偏置,快速定位目標(biāo)數(shù)據(jù)位置。因而,此設(shè)計(jì)可以使數(shù)據(jù)的度搜索效率獲得極大提升。
對(duì)于無(wú)線網(wǎng)絡(luò),邊緣計(jì)算節(jié)點(diǎn)不進(jìn)行廣播。同時(shí),對(duì)于每一個(gè)熱點(diǎn),可以使用定期更改密碼的方式防止暴力破解。可以使用某一段規(guī)律變化的字符串值作為元數(shù)據(jù),計(jì)算其MD5信息摘要算法(MD5 message-digest algorithm, MD5)摘要得到長(zhǎng)度為32位的密碼。
同時(shí),對(duì)于發(fā)送的信號(hào)包,設(shè)計(jì)幀結(jié)構(gòu)如圖5。
圖5 幀設(shè)計(jì)
對(duì)于中間人攻擊,本文系統(tǒng)在幀中設(shè)計(jì)了僅允許單次使用的token,即對(duì)于每一次傳輸,都為該公交車的以后的車站與該公交車分發(fā)唯一的token。通信時(shí),雙方通過校驗(yàn)token的一致性以保證數(shù)據(jù)的合法。
對(duì)于任意token,是一個(gè)鍵值(Key-value)對(duì),其中鍵是公交車的UID,值是當(dāng)前token的數(shù)據(jù)。為保證公交車在無(wú)法與某一邊緣計(jì)算節(jié)點(diǎn)通信時(shí),仍可以與其后節(jié)點(diǎn)進(jìn)行數(shù)據(jù)交換,可以將公交車運(yùn)行路線組成環(huán)路(cycle)。token將向后廣播一定長(zhǎng)度(或整個(gè)環(huán)路廣播),以避免某個(gè)車站出現(xiàn)異常后無(wú)法繼續(xù)傳遞信息。
每日啟動(dòng)時(shí),公交車將獲取或計(jì)算車站邊緣計(jì)算節(jié)點(diǎn)網(wǎng)絡(luò)密碼表。當(dāng)進(jìn)入邊緣計(jì)算節(jié)點(diǎn)的無(wú)線通信范圍后,嘗試與節(jié)點(diǎn)建立通信。通信建立成功后,公交車便會(huì)發(fā)送封裝好的數(shù)據(jù)包,其中包含校驗(yàn)用token。
公交車站接收到第一個(gè)檢驗(yàn)信息后,立刻向公交車節(jié)點(diǎn)回發(fā)新token并在計(jì)算節(jié)點(diǎn)網(wǎng)中聲明新token的合法性。若當(dāng)公交車無(wú)法與當(dāng)前車站建立通信時(shí),因token并未作廢,公交車便可與下一節(jié)點(diǎn)繼續(xù)使用原token通信。而當(dāng)公交車未傳完便離開時(shí),因其已獲取新token,則可以繼續(xù)使用新token完成傳輸。而對(duì)于新舊數(shù)據(jù)同時(shí)存在的情況,應(yīng)優(yōu)先傳送新數(shù)據(jù),當(dāng)新數(shù)據(jù)發(fā)送完畢后,回傳舊數(shù)據(jù)。
使用本文方法訓(xùn)練的深度學(xué)習(xí)模型在數(shù)據(jù)集上進(jìn)行人臉對(duì)比,將數(shù)據(jù)集依次輸入進(jìn)系統(tǒng),將系統(tǒng)認(rèn)為是同一人的所有人臉歸于一類,若有多個(gè)人,則輸出多類及各類所包含的圖片。正確率為分類正確的人臉個(gè)數(shù)與數(shù)據(jù)集中人臉個(gè)數(shù)的比值。
以此方法進(jìn)行測(cè)試,在BioID數(shù)據(jù)集上達(dá)到了99.44%的正確率,在PubFig數(shù)據(jù)集上達(dá)到了99.23%的正確率,且在兩數(shù)據(jù)集上的假陰性率均小于0.01%。在實(shí)驗(yàn)中,平均每張圖片的識(shí)別時(shí)間小于20 ms。
對(duì)于邊緣計(jì)算節(jié)點(diǎn),若能滿足數(shù)據(jù)樣本代表性強(qiáng)、傳輸量小、模型算力占用較低的條件即可以較高速度對(duì)輸入量進(jìn)行處理,實(shí)現(xiàn)即時(shí)計(jì)算、減少等待延時(shí)。對(duì)于數(shù)據(jù)庫(kù),系統(tǒng)需要在保證讀寫速度的同時(shí)提高數(shù)據(jù)的組織性、優(yōu)化深度搜索的效率,這可以更好地適應(yīng)對(duì)數(shù)據(jù)關(guān)系的挖掘與整理,便利系統(tǒng)的智能化決策。最后,系統(tǒng)也需要具有較強(qiáng)的可擴(kuò)展性,以便后續(xù)加入更多模塊,進(jìn)行多來源數(shù)據(jù)的融合。
現(xiàn)有的公共交通疫情監(jiān)測(cè)系統(tǒng)往往使用服務(wù)器集群進(jìn)行數(shù)據(jù)處理、或者將數(shù)據(jù)處理的任務(wù)交予值守的專人,不僅提高了運(yùn)行成本,也降低了執(zhí)行效率。此外,其系統(tǒng)也并未對(duì)數(shù)據(jù)進(jìn)行特征提取,直接將元數(shù)據(jù)儲(chǔ)存在服務(wù)器中,這會(huì)帶來可搜索性的下降與儲(chǔ)存成本的上升,當(dāng)需要搜索特定目標(biāo)的相關(guān)信息時(shí),往往需要專人花費(fèi)大量的時(shí)間閱覽數(shù)據(jù)庫(kù)中的記錄,若要尋找到存在關(guān)聯(lián)的其他數(shù)據(jù),其難度可想而知。最后,現(xiàn)有系統(tǒng)往往布線固定、數(shù)據(jù)格式固定,若要添加新模塊,則需要重新規(guī)劃設(shè)計(jì)與儲(chǔ)存方案。
綜上,現(xiàn)有系統(tǒng)存在需專人值守、數(shù)據(jù)通信量大、時(shí)延大、不便查詢、不便擴(kuò)展、成本高等缺點(diǎn)。而本文提出的系統(tǒng)盡可能克服了以上缺點(diǎn),具有實(shí)時(shí)性強(qiáng)、準(zhǔn)確率高、搜索效率高、可擴(kuò)展性強(qiáng)等優(yōu)點(diǎn)。各系統(tǒng)方案的對(duì)比,如表1所示。
表1系統(tǒng)設(shè)計(jì)方案對(duì)比
Tab.1 Comparison of system design schemes
注:可搜索性表征了指定某一屬性(如姓名、身份證號(hào)、面部特征等)后,是否容易找到對(duì)應(yīng)結(jié)果。
使用圖數(shù)據(jù)庫(kù)Neo4j與關(guān)系型數(shù)據(jù)庫(kù)MySQL進(jìn)行對(duì)比。對(duì)于Neo4j,使用單數(shù)據(jù)表,內(nèi)含人員節(jié)點(diǎn)、車輛節(jié)點(diǎn)數(shù)共500萬(wàn)。對(duì)于MySQL,使用3張數(shù)據(jù)表,分別為人員信息、車輛信息與乘車關(guān)系表,其中人員與車輛數(shù)量相同,表間使用外鍵約束。
設(shè)計(jì)任務(wù)為指定某一乘客為感染者,找出度關(guān)系內(nèi)可能被感染的乘客。測(cè)試結(jié)果如表2所示。可見對(duì)于度關(guān)系問題,在淺層次搜索時(shí),圖數(shù)據(jù)庫(kù)與關(guān)系型數(shù)據(jù)庫(kù)并無(wú)較大差異;而當(dāng)搜索層次變深時(shí),差異急劇增大。
表2度關(guān)系搜索效率對(duì)比 單位:s
Tab.2 Comparison of search efficiency of k-hop relation unit:s
若面部特征點(diǎn)被口罩遮擋,識(shí)別模型仍可以保證一定的準(zhǔn)確率。同時(shí),本文系統(tǒng)也增加了眉、眼部采樣點(diǎn)來保證對(duì)比準(zhǔn)確率。
使用本文方法訓(xùn)練的深度學(xué)習(xí)模型數(shù)據(jù)進(jìn)行面部特征點(diǎn)檢測(cè),將模型所檢測(cè)到的關(guān)鍵點(diǎn)與數(shù)據(jù)集標(biāo)注關(guān)鍵點(diǎn)進(jìn)行比較,并計(jì)算得到像素誤差,即真實(shí)中心點(diǎn)和預(yù)測(cè)中心點(diǎn)的歐氏距離。經(jīng)測(cè)試,本文方法在BioID上的平均誤差為2.32像素。
驗(yàn)證了本文所提出的訓(xùn)練方法的理論可行性之后,將以此方法訓(xùn)練出的神經(jīng)網(wǎng)絡(luò)模型部署至Nvidia Jetson AGX Xavier平臺(tái),進(jìn)行實(shí)物測(cè)試。測(cè)試條件為30 cm人臉間距,光線條件為正常室內(nèi)光線。在實(shí)驗(yàn)中,平均每張圖片的識(shí)別時(shí)間約為18 ms。
車載端與邊緣端的鏈接采用2.4 GHz無(wú)線網(wǎng)絡(luò),對(duì)通信過程進(jìn)行測(cè)試,測(cè)試條件為15 m有障礙通信測(cè)試。其圖片內(nèi)容經(jīng)過base64加密后置于信道傳輸。
實(shí)際測(cè)試中,批量上傳面部特征信息的任務(wù)未達(dá)到邊緣計(jì)算節(jié)點(diǎn)處理能力上限,因而可以認(rèn)為邊緣計(jì)算節(jié)點(diǎn)可以及時(shí)給出乘客比對(duì)結(jié)果,阻止可能攜帶有病原體的乘客登乘。
在實(shí)際測(cè)試中,僅信號(hào)強(qiáng)度高于閾值時(shí)啟動(dòng)數(shù)據(jù)傳輸,根據(jù)估算與測(cè)試,在公交車站這樣較為空曠的地帶、使用12 dB增益天線時(shí),其范圍覆蓋公交車停靠區(qū)間,丟包率<0.01%。
經(jīng)分析,空間中存在大量無(wú)線信號(hào),使用強(qiáng)度探測(cè)等方法,可以確定公交站節(jié)點(diǎn)的無(wú)線網(wǎng)絡(luò)信息,并使用kali常用字典與暴力窮舉法攻擊該無(wú)線網(wǎng)絡(luò),在1 h內(nèi)無(wú)法破解密碼。對(duì)嗅探工具設(shè)置監(jiān)聽模式進(jìn)行全信號(hào)抓包分析。對(duì)通信內(nèi)容進(jìn)行分析,可見其內(nèi)容加密,無(wú)法獲得具體信息。
對(duì)于大中型城市,其主要公交車站客流量較大,對(duì)邊緣計(jì)算節(jié)點(diǎn)算力要求較高,所以選擇Nvidia Jetson AGX Xavier作為計(jì)算卡。該設(shè)備使用Linux的Ubuntu發(fā)行版,在硬件層面,該設(shè)備具有64個(gè)Tensor核心、32 GB的LPDDR4X內(nèi)存,可以高速完成推理任務(wù)。車流量較小的車站可以酌情使用Nvidia Jetson Nano、Nvidia Jetson TX2等型號(hào)。車載端考慮到成本問題,采用K210實(shí)現(xiàn),其具有快速、準(zhǔn)確識(shí)別人臉的能力。
測(cè)試環(huán)境模擬了公交車與公交站的實(shí)際環(huán)境,車載端布置于公交車內(nèi),邊緣計(jì)算節(jié)點(diǎn)布置于公交站外。測(cè)試對(duì)象隨機(jī)選取了不同年齡段的多人,按照1∶1的比例進(jìn)行標(biāo)記,記錄中包含身份信息。
經(jīng)測(cè)試,本系統(tǒng)識(shí)別準(zhǔn)確率99.98%,識(shí)別時(shí)間平均約為21 ms,符合疫情監(jiān)測(cè)的要求。
本文提出了一套基于邊緣計(jì)算的公共交通安全監(jiān)控系統(tǒng)。在云端,為提升深層搜索搜索效率,本文系統(tǒng)建立了圖數(shù)據(jù)庫(kù),儲(chǔ)存乘車人員與乘車信息,同時(shí)使用雙數(shù)據(jù)庫(kù)模型防止了建立索引帶來的阻塞,完成了插入與搜索效率的均衡。在邊緣節(jié)點(diǎn),為優(yōu)化邊緣計(jì)算節(jié)點(diǎn)計(jì)算效率,本文系統(tǒng)對(duì)三維模型建模進(jìn)行了優(yōu)化,使得模型能夠快速且精確地獲得面部特征點(diǎn)的深度與旋轉(zhuǎn)角度等信息,實(shí)現(xiàn)了高實(shí)時(shí)性的數(shù)據(jù)處理與決策。在公交與邊緣節(jié)點(diǎn)的通信過程中,提出了一套基于安全的信息交換系統(tǒng),在一定程度上抵抗了臟數(shù)據(jù)攻擊,保證了云端數(shù)據(jù)的清潔性,為以后的數(shù)據(jù)挖掘等操作提供了良好的數(shù)據(jù)。在算法層面,下一步將繼續(xù)提高識(shí)別準(zhǔn)確度,尤其是對(duì)于相似者的對(duì)比與分析;在硬件層面,還需進(jìn)行相關(guān)的工程化改進(jìn),例如通過對(duì)各運(yùn)算單元進(jìn)行專一化處理降低其成本,提高其穩(wěn)定性。
[1] 趙曉樸. 上海城市軌道交通網(wǎng)絡(luò)級(jí)視頻監(jiān)控系統(tǒng)的研制[J]. 城市軌道交通研究, 2020, 23(S2):132-137.(ZHAO X P. Research and development of Shanghai urban rail transit network video surveillance system[J]. Urban Mass Transit, 2020, 23(S2):132-137.)
[2] 林曉偉,王俠. 城市軌道交通智慧安防系統(tǒng)的建設(shè)[J]. 工業(yè)控制計(jì)算機(jī), 2021, 34(3):112-114.(LIN X W, WANG X. Construction of smart security system for urban rail transit[J]. Industrial Control Computer, 2021, 34(3):112-114.)
[3] HUANG H C, DONG Z Y. Research on architecture and query performance based on distributed graph database Neo4j[C]// Proceedings of the 3rd International Conference on Consumer Electronics, Communications and Networks. Piscataway: IEEE, 2013: 533-536.
[4] WU Y, JI Q. Facial landmark detection: a literature survey[J]. International Journal of Computer Vision, 2019, 172(2): 115-142.
[5] DONG X Y, YAN Y, OUYANG W L, et al. Style aggregated network for facial landmark detection[C]// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE, 2018:379-388.
[6] ROY S, BANDYOPADHYAY S K. Face detection using a hybrid approach that combines HSV and RGB[J]. International Journal of Computer Science and Mobile Computing, 2013, 2(3): 127-136.
[7] CHAVES-GONZáLEZ J M, VEGA-RODRíGUEZ M A, GóMEZ-PULIDO J A, et al. Detecting skin in face recognition systems: a colour spaces study[J]. Digital Signal Processing, 2010, 20(3): 806-823.
[8] YANG J, LIU Q S, ZHANG K H. Stacked hourglass network for robust facial landmark localisation[C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Piscataway: IEEE, 2017:2025-2033.
[9] DUAN K W, BAI S, XIE L X, et al. CenterNet: keypoint triplets for object detection[C]// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway: IEEE, 2019:6568-6577.
[10] ZHOU X Y, WANG D Q, KR?HENBüHL P. Objects as points[EB/OL]. (2019-04-25) [2021-04-21].https://arxiv.org/pdf/1904.07850.pdf.
[11] WANG Q, CHEN J, DENG J Q, et al. 3D-CenterNet: 3D object detection network for point clouds with center estimation priority[J]. Pattern Recognition, 2021, 115: No.107884.
[12] EIGEN D, PUHRSCH C, FERGUS R. Depth map prediction from a single image using a multi-scale deep network[C]// Proceedings of the 27th International Conference on Neural Information Processing Systems. Cambridge: MIT Press, 2014:2366-2374.
[13] SU Y, LIU Z, BAN X J. Symmetric face normalization[J] Symmetry, 2019, 11(1): No.96.
[14] SHI X P, SHAN S G, KAN M N, et al. Real-time rotation-invariant face detection with progressive calibration networks[C]// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE, 2018:2295-2303.
[15] MENG T, CAI L J, HE T Q, et al. K-hop community search based on local distance dynamics[J]. KSII Transactions on Internet and Information Systems, 2018, 12(7): 3041-3063.
XIA Huiwen, born in 1992, M. S. candidate, experimentalist. Her research interests include intelligent control, machine learning.
ZHAO Zhongyu, born in 1999. Her research interests include machine learning, data science.
WANG Zhuoer, born in 2000. His research interests include embedded system, machine vision.
ZHANG Qingyong, born in 1984, Ph. D., senior experimentalist. Her research interests include intelligent optimization and control.
PENG Feng, born in 1990, Ph. D. candidate, engineer. His research interests include new energy vehicle, intelligent control.
Public transportation epidemic monitoring system based on edge computing
XIA Huiwen1, ZHAO Zhongyu2, WANG Zhuoer2*, ZHANG Qingyong1, PENG Feng3
(1,,430070,;2,,430070,;3,,430063,)
In view of the existing monitoring system’s inability to cope with the problems of cross-infection and traceability difficulties in the epidemic environment, a design scheme for a public transportation detection system based on edge computing was proposed. Firstly, a graph database was established to store passengers and ride information, and at the same time a dual database model was used to prevent the blockage caused by building index, thereby achieving the balance between insertion efficiency and search efficiency. Then, in the extraction of vehicle and human image information, the HSV (Hue Saturation Value) color space was used to preprocess the image, and a three-dimensional space model of face was established to improve the recognition accuracy of the neural network. When the object wore a mask, the feature point information was able to be regressed through the obvious nose tip feature points, lower jaw feature points, and unobstructed nose bridge feature points. Finally,-hop search was used to find close contacts quickly. In the feature comparison test, the correct rates of this model are 99.44% and 99.23% on BioID dataset and PubFig dataset, respectively, and the false negative rates of the model on the two datasets are both less than 0.01%. In the graph search efficiency test, there is no big difference between the graph database and the relational database when searching at a shallow level. When the search level becomes deeper, the graph database is more efficient. After verifying the theoretical feasibility, the actual environment of buses and bus stops was simulated. In the test, the proposed system has the recognition accuracy of 99.98%, and the average recognition time of about 21 ms, which meets the requirements of epidemic monitoring. The proposed system design can meet the special needs of public safety during the epidemic period, and can realize the functions of person recognition, route recording, and potential contact search, which can effectively ensure public transportation safety.
edge computing; public transportation; facial feature; graph database; neural network; HSV (Hue Saturation Value) color space; epidemic monitoring
This work is partially supported by Hubei Natural Science Foundation (2019CFB571).
TP274.5
A
1001-9081(2022)07-2132-07
10.11772/j.issn.1001-9081.2021050727
2021?05?08;
2021?11?16;
2021?11?23。
湖北省自然科學(xué)基金資助項(xiàng)目(2019CFB571)。
夏慧雯(1992—),女,湖北仙桃人,實(shí)驗(yàn)師,碩士研究生,主要研究方向:智能控制、機(jī)器學(xué)習(xí); 趙中雨(1999—),女,山東菏澤人,主要研究方向:機(jī)器學(xué)習(xí)、數(shù)據(jù)科學(xué); 王卓爾(2000—),男,湖北武漢人,主要研究方向:嵌入式系統(tǒng)、機(jī)器視覺; 張清勇(1984—),女,湖北仙桃人,高級(jí)實(shí)驗(yàn)師,博士,主要研究方向:智能優(yōu)化與控制; 彭峰(1990—),男,湖北黃岡人,工程師,博士研究生,主要研究方向:新能源汽車、智能控制。