潘欣欣,陳長清,周亞偉,錢思宇
航天信息江蘇有限公司 (無錫 214000)
隨著《中華人民共和國國民經(jīng)濟(jì)和社會(huì)發(fā)展第十四個(gè)五年規(guī)劃和2035年遠(yuǎn)景目標(biāo)綱要》的提出,視頻智能分析已經(jīng)在各個(gè)行業(yè)中得到應(yīng)用,而糧庫目前視頻監(jiān)控只作為糧庫安防和倉儲(chǔ)智能化管理系統(tǒng)的一部分,這就暴露出很多不足和缺陷,糧庫管理者每天面對(duì)大量的視頻數(shù)據(jù),僅依靠人工進(jìn)行檢索和分析效率低下,需要人工智能作為專家或助手,探測異常信息,進(jìn)而預(yù)測風(fēng)險(xiǎn),保障糧庫日常的作業(yè)安全和倉儲(chǔ)保管安全。
視頻智能分析系統(tǒng)能夠?qū)蛹Z庫現(xiàn)有的視頻監(jiān)控系統(tǒng),對(duì)安防視頻進(jìn)行結(jié)構(gòu)化處理,然后采用國際先進(jìn)的人工智能算法進(jìn)行后臺(tái)分析,探測出異常視頻信息進(jìn)行預(yù)警并存儲(chǔ)備份。通過將基于計(jì)算機(jī)視覺的AI深度學(xué)習(xí)技術(shù)應(yīng)用在糧食倉儲(chǔ)行業(yè),增強(qiáng)對(duì)視頻圖像的智能分析,解決糧食倉儲(chǔ)行業(yè)的一些實(shí)際問題,視頻智能分析系統(tǒng)將成為糧庫日常安全管理的智能化中樞系統(tǒng)。
視頻智能分析其實(shí)是仿生學(xué)的一個(gè)分支,也是人工智能的一個(gè)分支。視頻智能分析是通過對(duì)視頻信號(hào)的處理、分析及內(nèi)容理解,攫取出范圍內(nèi)的運(yùn)動(dòng)個(gè)體的運(yùn)動(dòng)特征,通過將運(yùn)動(dòng)特征與一定預(yù)設(shè)規(guī)貝的比較,讓計(jì)算機(jī)自動(dòng)理解識(shí)別視頻內(nèi)容,當(dāng)發(fā)現(xiàn)滿足一定規(guī)則條件的“行為”時(shí)實(shí)現(xiàn)智能化自動(dòng)報(bào)警。
視頻智能分析系統(tǒng)以數(shù)字化、網(wǎng)絡(luò)化視頻監(jiān)控為基礎(chǔ),用戶可以設(shè)置某些特定的規(guī)則,系統(tǒng)識(shí)別不同的物體,同時(shí)識(shí)別目標(biāo)行為是否符合這些規(guī)則,一旦發(fā)現(xiàn)監(jiān)控畫面中的異常情況,系統(tǒng)能夠以最快和最佳的方式發(fā)出警報(bào)并提供有用信息,從而能夠更加有效的協(xié)助安全人員處理危機(jī),最大限度的降低誤報(bào)和漏報(bào)現(xiàn)象。智能視頻分析是在傳統(tǒng)的視頻監(jiān)控中,加入視頻分析、視頻處理技術(shù),系統(tǒng)硬件分布如圖1所示[1]。前端硬件主要由攝像機(jī)、NVR、網(wǎng)絡(luò)智能存儲(chǔ)和視頻解碼器等功能單元組成。
圖1 系統(tǒng)硬件設(shè)備分布圖
前端重要組成設(shè)備,用于視頻圖像的采集,主要分為高清槍式網(wǎng)絡(luò)攝像機(jī)、高清半球攝像機(jī)、云臺(tái)槍機(jī)、網(wǎng)絡(luò)紅外高清球型攝像機(jī)、根據(jù)應(yīng)用場合采用不同的攝像機(jī),合理配置以滿足圖像采集的效果要求與經(jīng)濟(jì)性要求。
即網(wǎng)絡(luò)視頻錄像機(jī),是網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)的存儲(chǔ)轉(zhuǎn)發(fā)部分,NVR與網(wǎng)絡(luò)攝像機(jī)協(xié)同工作,完成視頻的錄像、存儲(chǔ)及轉(zhuǎn)發(fā)功能。
通過RJ45網(wǎng)絡(luò)接口與網(wǎng)絡(luò)交換機(jī)相連接的存儲(chǔ)設(shè)備,主要用于局域網(wǎng)環(huán)境中多臺(tái)計(jì)算機(jī)主機(jī)共享存儲(chǔ)空間和為局域網(wǎng)中的設(shè)備提供存儲(chǔ)服務(wù)。
視頻解碼器是對(duì)已編碼的數(shù)字視頻進(jìn)行還原解碼操作程序(視頻播放器)或設(shè)備。
系統(tǒng)軟件主要有視頻源、中心服務(wù)模塊、國標(biāo)網(wǎng)關(guān)模塊、數(shù)據(jù)網(wǎng)關(guān)模塊、視頻分析模塊、客戶端模塊等組成,各模塊主要配置說明如下。
視頻源的主要功能是通過前端攝像機(jī)對(duì)關(guān)鍵區(qū)域?qū)崟r(shí)視頻進(jìn)行采集,通過網(wǎng)絡(luò)、光纖傳回監(jiān)控中心。同時(shí)硬盤錄像機(jī)通過內(nèi)部視頻搜索控件根據(jù)報(bào)警開始時(shí)間、報(bào)警類型、報(bào)警地點(diǎn)、報(bào)警視頻片段的存儲(chǔ)路徑等信息查詢報(bào)告。
中心服務(wù)模塊,是核心的基礎(chǔ)服務(wù)模塊,主要實(shí)現(xiàn)系統(tǒng)各服務(wù)數(shù)據(jù)的集中匯總、數(shù)據(jù)的注冊、用戶注冊等多種功能。
國標(biāo)網(wǎng)關(guān)模塊,主要實(shí)現(xiàn)視頻的平臺(tái)對(duì)接功能,主要通過標(biāo)準(zhǔn)的國標(biāo)28181協(xié)議,實(shí)現(xiàn)在其他平臺(tái)上獲取實(shí)時(shí)視頻的服務(wù)。
數(shù)據(jù)網(wǎng)關(guān)模塊,主要實(shí)現(xiàn)平臺(tái)實(shí)時(shí)視頻數(shù)據(jù)及分析模塊之間的裸流傳輸及分析后視頻的接收回傳功能。
分析模塊,主要實(shí)現(xiàn)各種算法的實(shí)時(shí)分析功能,同時(shí)將分析的結(jié)果實(shí)時(shí)進(jìn)行推送給平臺(tái)。
客戶端模塊,是主要人機(jī)交互模塊,實(shí)時(shí)視頻的查看,分析結(jié)果的查看,報(bào)警記錄的查詢、用戶的配置、設(shè)備的配置等多在此模塊中完成。
在以往的視頻監(jiān)控系統(tǒng)中,操作人員盯著視頻監(jiān)控畫面超過10 min后將漏掉90%的視頻信息,而使視頻監(jiān)控工作失去意義。隨著社會(huì)發(fā)展,視頻監(jiān)控被越來越廣泛地應(yīng)用到各行各業(yè)中,攝像機(jī)數(shù)量越來越龐大,這給傳統(tǒng)的視頻監(jiān)控帶來嚴(yán)峻的挑戰(zhàn)。針對(duì)目前糧食倉儲(chǔ)行業(yè)發(fā)展趨勢推出智能視頻分析系統(tǒng),可為糧庫解決很多實(shí)際問題。
本系統(tǒng)能夠提供黑暗視頻增強(qiáng)和粉塵環(huán)境視頻增強(qiáng)功能,分別針對(duì)微光弱光環(huán)境和粉塵作業(yè)環(huán)境,提高視頻畫面的質(zhì)量[2]。
(1)黑暗視頻增強(qiáng)功能
針對(duì)糧庫倉內(nèi)光線不足等惡劣環(huán)境下的監(jiān)管問題,通過圖像增強(qiáng)技術(shù),對(duì)視頻畫面的實(shí)時(shí)增強(qiáng),提高視頻的亮度和清晰度,可以做到不用燈光、紅外夜視等設(shè)備,高度還原糧庫內(nèi)的實(shí)情實(shí)景。
(2)粉塵增強(qiáng)功能
針對(duì)糧庫倉內(nèi)或其它作業(yè)現(xiàn)場在灰塵較大造成視頻畫面不清晰的惡劣場景,通過圖像增強(qiáng)技術(shù),對(duì)視頻畫面的實(shí)時(shí)增強(qiáng),提高清晰度,高度還原作業(yè)現(xiàn)場的實(shí)情實(shí)景。
為逃避監(jiān)管,糧庫的管理人員有時(shí)候會(huì)在糧庫內(nèi)安裝的攝像機(jī)前進(jìn)行遮擋或者使用塑料袋套袋,遮擋視頻畫面。本系統(tǒng)能夠提供視頻遮擋的自動(dòng)檢測,主要包括視頻遮擋實(shí)時(shí)檢測和歷史遮擋記錄功能。
(1)視頻遮擋檢測
可以采用實(shí)時(shí)檢測和后臺(tái)定時(shí)輪詢的方式,對(duì)系統(tǒng)中的攝像頭遮擋行為進(jìn)行檢測。通過圖像模糊度檢測的方式,針對(duì)糧庫對(duì)攝像頭套袋、遮擋等行為進(jìn)行巡查,一旦發(fā)現(xiàn)糧庫有相關(guān)行為,立即預(yù)警并記錄。
(2)歷史遮擋記錄查詢
可對(duì)有遮擋行為的攝像頭信息進(jìn)行記錄,并提供查詢展示的界面。歷史遮擋記錄主要有兩類組成,一類是在視頻遮擋實(shí)時(shí)檢測中檢測出有遮擋的視頻窗口,會(huì)自動(dòng)新增一條歷史遮擋記錄;另一類是后臺(tái)的自動(dòng)輪詢檢測系統(tǒng),對(duì)所有的攝像頭設(shè)備進(jìn)行掃碼,發(fā)現(xiàn)有遮擋行為時(shí),會(huì)自動(dòng)記錄一條歷史遮擋記錄。
在糧庫倉內(nèi)安裝高倍變焦攝像頭時(shí),通過糧面蟲害分析功能,可對(duì)糧面蟲害進(jìn)行監(jiān)測,實(shí)現(xiàn)糧面單位面積下蟲子數(shù)量、密度及種類的大致統(tǒng)計(jì),并提供實(shí)時(shí)蟲害分析功能和歷史蟲害記錄查看功能。
(1)糧面蟲害實(shí)時(shí)分析
主要是對(duì)糧庫倉內(nèi)糧面上的蟲害情況進(jìn)行實(shí)時(shí)的檢測,采用實(shí)時(shí)檢測和后臺(tái)定時(shí)輪詢的方式,對(duì)倉內(nèi)糧面上的蟲害情況進(jìn)行檢測分析。
(2)蟲害歷史記錄查詢
系統(tǒng)對(duì)檢測出有蟲害記錄的歷史視頻信息進(jìn)行記錄,并提供查詢展示的界面。
糧庫倉內(nèi)違規(guī)行為檢測分析是對(duì)庫區(qū)內(nèi)目標(biāo)的行為進(jìn)行綜合判斷,確認(rèn)判斷糧庫內(nèi)是否存在抽煙、不戴安全帽等行為。本系統(tǒng)可以提供抽煙行為實(shí)時(shí)檢測、不戴安全帽實(shí)時(shí)檢測以及歷史違規(guī)行為查看的功能[3]。
(1)不戴安全帽檢測
針對(duì)糧庫倉內(nèi)人員目標(biāo)的行為進(jìn)行綜合判斷,確認(rèn)是否存在不戴安全帽等行為并進(jìn)行預(yù)警。通過提取特征進(jìn)行分析,進(jìn)行人頭檢測、安全帽檢測,并通過安全帽與人頭的相對(duì)位置、角度,顏色來判斷人員佩戴安全帽情況。
(2)抽煙行為檢測
進(jìn)行動(dòng)作識(shí)別、煙頭檢測、煙霧檢測綜合判斷人員是否存在抽煙或其他違規(guī)行為,動(dòng)作識(shí)別主要分析手臂運(yùn)動(dòng)情況,煙頭檢測和煙霧檢測則是為了確定抽煙行為的發(fā)生。
(3)歷史記錄查詢
針對(duì)檢測出有不戴安全帽和抽煙等違規(guī)記錄的歷史視頻信息進(jìn)行記錄,并提供查詢展示的界面。
重點(diǎn)區(qū)域異動(dòng)監(jiān)測主要是對(duì)倉房厫間內(nèi)、藥劑庫等重點(diǎn)監(jiān)控部位進(jìn)行智能監(jiān)控,視頻監(jiān)控?cái)z像機(jī)實(shí)時(shí)的監(jiān)測倉門、藥劑庫門的開啟狀態(tài),從而確定是否有人員進(jìn)入到庫內(nèi),當(dāng)發(fā)現(xiàn)有人員進(jìn)入后,監(jiān)控系統(tǒng)會(huì)自動(dòng)與業(yè)務(wù)系統(tǒng)中的倉儲(chǔ)作業(yè)信息進(jìn)行比對(duì),一旦發(fā)現(xiàn)人員屬于非法進(jìn)入,立即預(yù)警。系統(tǒng)提供實(shí)時(shí)監(jiān)測和歷史記錄查看的功能。
倉內(nèi)作業(yè)人員在發(fā)生緊急情況時(shí),觸發(fā)求救信號(hào),該信號(hào)立即發(fā)送至監(jiān)控中心及管理人員,同時(shí)倉內(nèi)視頻監(jiān)控系統(tǒng)自動(dòng)對(duì)作業(yè)人員視頻巡查,并在對(duì)應(yīng)倉門口產(chǎn)生聲光報(bào)警,以便及時(shí)組織施救,保障倉內(nèi)作業(yè)人員人身安全。
(1)目標(biāo)識(shí)別與分類
通過圖像識(shí)別、圖像比對(duì)及模式匹配等技術(shù),實(shí)現(xiàn)對(duì)人、車、物等相關(guān)特征信息的提取與分析。如人臉識(shí)別技術(shù),車牌識(shí)別技術(shù),人物特征識(shí)別等[4]。
(2)視頻質(zhì)量分析
主動(dòng)發(fā)現(xiàn)視頻圖像中的雪花、條紋、模糊、偏色、亮度異常、畫面遮擋、畫面凍結(jié)等常見的現(xiàn)象、并產(chǎn)生報(bào)警事件。
(3)行為分析
主要是對(duì)實(shí)時(shí)視頻進(jìn)行分析處理,典型的應(yīng)用有:車輛逆行及相關(guān)交通違章檢測、防區(qū)入侵檢測、圍墻翻越檢測、絆線檢測、物品遺留檢測、客流統(tǒng)計(jì)等。
(4)圖像處理分析
主要是后期對(duì)圖像進(jìn)行優(yōu)化處理以達(dá)到更好的觀看效果,比如視頻增強(qiáng)(去噪、去霧、銳化、加亮,去模糊,畸變教正),殘缺圖像處理后達(dá)到看得清的效果。
視頻智能分析系統(tǒng)通過AI的技術(shù)手段,利用視頻監(jiān)控實(shí)時(shí)采集并進(jìn)行識(shí)別,發(fā)現(xiàn)違規(guī)自動(dòng)報(bào)警,可以及時(shí)發(fā)現(xiàn)并制止違規(guī)現(xiàn)象,解決安全隱患。以此同時(shí)可以通過自動(dòng)識(shí)別,替代人工抽查,降低監(jiān)管人員工作強(qiáng)度,保障糧庫安全。